Набор заданий с однозначными ответами, позволяющими делать автоматическую проверку.
Задания в SuperGLUE такого вида: Текст и вопрос по нему, где нужно ответить да или нет Текст и по нему вопрос, нужно ответить словом из текста. Текст, в нём пропущено одно слово, нужно его вставить. Текст, после него утверждение, нужно ответить следует ли оно из текста или нет. Пара текстов, где одно слово может быть использовано в одинаковом смысле или в разном, нужно это указать. Текст, в котором появляется местоимение (он/она/они), нужно указать, кто имеется ввиду. Связь двух предложений: есть описание первого события, нужно выбрать одну из двух альтернатив, продолжающих первое.
Про SuperGLUE на английском https://super.gluebenchmark.com/diagnostics Про SuperGLUE на русском https://skine.ru/articles/657834/
