Продолжаем тему распознавания реальности. Команда исследователей из Института Макса Планка научились восстанавливать трехмерную модель человека по монокулярному видео (посмотрите ролик). Вся схема работает в несколько шагов:
1. Сделать базовую трехмерную модель (отсканировать человека в одежде), включая скелет.
2. По видео предсказать расположение (видимых) опорных точек, перенести это на полную модель скелета, включая предсказание движений и учет ограничений.
3. Восстановить движение модели с разных точек обзора.
http://gvv.mpi-inf.mpg.de/projects/wxu/MonoPerfCap #video #analysis #ml #ai
1. Сделать базовую трехмерную модель (отсканировать человека в одежде), включая скелет.
2. По видео предсказать расположение (видимых) опорных точек, перенести это на полную модель скелета, включая предсказание движений и учет ограничений.
3. Восстановить движение модели с разных точек обзора.
http://gvv.mpi-inf.mpg.de/projects/wxu/MonoPerfCap #video #analysis #ml #ai
gvv.mpi-inf.mpg.de
MonoPerfCap: Human Performance Capture from Monocular Video, TOG 2018
We present the first marker-less approach for temporally coherent 3D performance capture of a human with general clothing from monocular video. Our approach reconstructs articulated human skeleton motion as well as medium-scale non-rigid surface deformations…
Сегодня пара ссылок про генерацию графики.
Начнем с NVidia. Исследователи компании натренировали сеточки для генерации недостающих кадров для создания супер-медленного видео. В итоге видео в 30fps становится замедленным видео в 240fps. Хотя, в принципе, с некоторых смартфонов можно снимать видео со схожей частотой кадров, AI-решение, как говорят ученые, позволяет 1) обрабатывать существующие видео и 2) получить удовлетворительный результат, не тратя ценное место и вычислительные мощности на стороне смартфона.
Кажется, сценарий из фильмов с анализом кадров из съемки в духе "ну-ка замедли этот фрагмент" становится вполне реалистичным.
Обзор на The Verge: https://www.theverge.com/2018/6/19/17478110/fake-slow-motion-ai-nvidia-research
Технические детали: https://arxiv.org/pdf/1712.00080.pdf
#ai #image #video #generation
Начнем с NVidia. Исследователи компании натренировали сеточки для генерации недостающих кадров для создания супер-медленного видео. В итоге видео в 30fps становится замедленным видео в 240fps. Хотя, в принципе, с некоторых смартфонов можно снимать видео со схожей частотой кадров, AI-решение, как говорят ученые, позволяет 1) обрабатывать существующие видео и 2) получить удовлетворительный результат, не тратя ценное место и вычислительные мощности на стороне смартфона.
Кажется, сценарий из фильмов с анализом кадров из съемки в духе "ну-ка замедли этот фрагмент" становится вполне реалистичным.
Обзор на The Verge: https://www.theverge.com/2018/6/19/17478110/fake-slow-motion-ai-nvidia-research
Технические детали: https://arxiv.org/pdf/1712.00080.pdf
#ai #image #video #generation
The Verge
Nvidia uses AI to create convincing slo-mo video by filling in extra frames
New research from Nvidia shows how
Начнем сегодня с AI и генерации видео. Тут ребята из университета Berkeley развлекаются и пытаются научить людей танцевать. Точнее так: сделать перенос стилей с видео танцующего человека на подопытного пытающегося. Пока хромает в мелких деталях, но в целом трекинг скелета по контрольным точкам вполне кажется неплохим: https://www.youtube.com/watch?v=PCBTZh41Ris
Обзор на Engadget: https://www.engadget.com/2018/08/26/ai-alters-video-to-make-people-dance/ #ai #video #generation
Обзор на Engadget: https://www.engadget.com/2018/08/26/ai-alters-video-to-make-people-dance/ #ai #video #generation
YouTube
Everybody Dance Now
Full paper - https://arxiv.org/pdf/1808.07371.pdf
Website - https://carolineec.github.io/everybody_dance_now/
Website - https://carolineec.github.io/everybody_dance_now/
О, причудливый мир метаверса! Пока одна неравная половина человечества фантасмагорирует призраками метаверсов, матриц и ухода из реальности, другая не менее неравная половина человечества мечтает, кажется, о вполне физических скеуморфненьких инструментах управления.
Вот свежий кейс с Кикстартера (не рекламирую и не предлагаю): 2000+ креативщиков готовы долларами вписаться в проект TourBox Elite — специальный контроллер с кнопочками, колесиками и стрелочками, который можно подключить к любимому редактору, чтобы менять настройки, пока второй рукой вы рисуете.
Такой Surface Dial, если помните эту штуку, на стероидах.
https://www.kickstarter.com/projects/toutbox/tourbox-elite-the-ultimate-bluetooth-controller-for-creators
Вот свежий кейс с Кикстартера (не рекламирую и не предлагаю): 2000+ креативщиков готовы долларами вписаться в проект TourBox Elite — специальный контроллер с кнопочками, колесиками и стрелочками, который можно подключить к любимому редактору, чтобы менять настройки, пока второй рукой вы рисуете.
Такой Surface Dial, если помните эту штуку, на стероидах.
https://www.kickstarter.com/projects/toutbox/tourbox-elite-the-ultimate-bluetooth-controller-for-creators
Kickstarter
TourBox Elite:The Ultimate Bluetooth Controller for Creators
Delivers an intuitive editing experience and accelerates your workflow.#photographers#illustrators #video/audio editors#designers