Огромный массив данных, индекс из слов и фраз, встречающихся в научных и исследовательских публикациях на английском языке выложен в свободный доступ. В таблице n-грамм 355 миллиардов записей, всего проиндексировано более ста миллионов статей. Я не знаю где они взяли документы для индексации (вероятнее всего это Sci-Hub, да продлится онлайн его вечно), но это очень большое дело. С таким индексом можно не только банально аналитикой заниматься, но и пытаться строить штуки похожие на GPT-3 с разной степенью полезности. Представьте, систему которая за вас дописывает научные статьи. Или доливает воды по вкусу 🙂 https://archive.org/details/GeneralIndex