Продолжаем тему распознавания реальности. Команда исследователей из Института Макса Планка научились восстанавливать трехмерную модель человека по монокулярному видео (посмотрите ролик). Вся схема работает в несколько шагов:
1. Сделать базовую трехмерную модель (отсканировать человека в одежде), включая скелет.
2. По видео предсказать расположение (видимых) опорных точек, перенести это на полную модель скелета, включая предсказание движений и учет ограничений.
3. Восстановить движение модели с разных точек обзора.

http://gvv.mpi-inf.mpg.de/projects/wxu/MonoPerfCap #video #analysis #ml #ai

Сегодня пара ссылок про генерацию графики.

Начнем с NVidia. Исследователи компании натренировали сеточки для генерации недостающих кадров для создания супер-медленного видео. В итоге видео в 30fps становится замедленным видео в 240fps. Хотя, в принципе, с некоторых смартфонов можно снимать видео со схожей частотой кадров, AI-решение, как говорят ученые, позволяет 1) обрабатывать существующие видео и 2) получить удовлетворительный результат, не тратя ценное место и вычислительные мощности на стороне смартфона.

Кажется, сценарий из фильмов с анализом кадров из съемки в духе "ну-ка замедли этот фрагмент" становится вполне реалистичным.

Обзор на The Verge: https://www.theverge.com/2018/6/19/17478110/fake-slow-motion-ai-nvidia-research
Технические детали: https://arxiv.org/pdf/1712.00080.pdf

#ai #image #video #generation

Начнем сегодня с AI и генерации видео. Тут ребята из университета Berkeley развлекаются и пытаются научить людей танцевать. Точнее так: сделать перенос стилей с видео танцующего человека на подопытного пытающегося. Пока хромает в мелких деталях, но в целом трекинг скелета по контрольным точкам вполне кажется неплохим: https://www.youtube.com/watch?v=PCBTZh41Ris

Обзор на Engadget: https://www.engadget.com/2018/08/26/ai-alters-video-to-make-people-dance/ #ai #video #generation

О, причудливый мир метаверса! Пока одна неравная половина человечества фантасмагорирует призраками метаверсов, матриц и ухода из реальности, другая не менее неравная половина человечества мечтает, кажется, о вполне физических скеуморфненьких инструментах управления.

Вот свежий кейс с Кикстартера (не рекламирую и не предлагаю): 2000+ креативщиков готовы долларами вписаться в проект TourBox Elite — специальный контроллер с кнопочками, колесиками и стрелочками, который можно подключить к любимому редактору, чтобы менять настройки, пока второй рукой вы рисуете.

Такой Surface Dial, если помните эту штуку, на стероидах.

https://www.kickstarter.com/projects/toutbox/tourbox-elite-the-ultimate-bluetooth-controller-for-creators