Гугловый DeepMind опубликовал в своём блоге скромный пост со ссылками на три очень важные и очень крутые научные публикации. Во-первых, описана созданная ими языковая модель по имени Gopher, которая в тестах оказывается круче уже ставшей знаменитой GPT-3. Во-вторых, описана очень вдумчивая классификация этических и социальных рисков и провалов, связанных с использованием языковых моделей в реальном мире. Подчёркивается, что риски надо рассматривать комплексно: сфокусировавшись на каком-то одном, легко усугубить остальные и в итоге испортить всё. Третья работа основана на двух первых и предлагает новую улучшенную архитектуру, которая еще и энергоэффективнее в процессе обучения.
Очень хочется увидеть приложения Gopher к реальным задачам - ну и вообще конкуренция двигатель прогресса — и прогресс в области языковых моделей впечатляет.
https://deepmind.com/blog/article/language-modelling-at-scale