Тест SuperGLUE включает в себя ряд задач, которые разработаны для оценки способности ИИ-моделей распознавать и понимать естественный язык, например, дать правильный ответ на вопрос на базе прочитанного абзаца, определить, правильно ли используется многозначное слово в определенном контексте и т.д. Тест был разработан группой исследователей в 2019 году. Когда был представлен SuperGLUE, разрыв между самой эффективной моделью и показателями человека в таблице лидеров составлял почти 20 баллов
https://habr.com/en/company/microsoft/blog/537992/
#SuperGLUE #DeBERTa #microsoft #NLU
https://habr.com/en/company/microsoft/blog/537992/
#SuperGLUE #DeBERTa #microsoft #NLU
Хабр
ИИ-модель Microsoft превзошла результат человека в тесте на понимание естественного языка SuperGLUE
Алгоритм понимания естественного языка (Natural Language Understanding, NLU) Microsoft DeBERTa превзошел человеческие возможности в одном из самых сложных тестов...