Phi-3 теперь работает из браузера на базе ML-тулкита Ratchet с ускорением на базе WebGPU. Нужно всего лишь закачать почти три гигабайта модели и иметь достаточно памяти для выполнения.

Не то, чтобы это было прямо массовым сценарием. Но, вообще говоря, стоит ожидать медленного движения в сторону webml, когда на стороне браузера/пользователя будет локальная модель, а приложения и сайты смогут к ней обращаться. Через пару лет. :)