Quantum Quintum
Phi-3 теперь работает из браузера на базе ML-тулкита Ratchet с ускорением на базе WebGPU. Нужно всего лишь закачать почти три гигабайта модели и иметь достаточно памяти для выполнения. Не то, чтобы это было прямо массовым сценарием. Но, вообще говоря, стоит…
Если тема с Phi-3 в браузере была экспериментом, то локальная (!) Gemini Nano в Chrome — уже абсолютная скорая реальность.
https://developer.chrome.com/docs/ai/built-in
https://developer.chrome.com/docs/ai/built-in
Chrome for Developers
Built-in AI | AI on Chrome | Chrome for Developers
Built-in AI is the latest offering for bringing powerful models to users, while protecting sensitive data and improving latency.