Наконец-то дошли руки перевести в текст мой рассказ на AVRA Days в Skolkovo. Про будущее AR/MR/VR, следующие большие битвы и направления, множество открытых вопросов и судьбы человечества. https://outofline.ru/5-важных-направлений-в-развитии-ar-mr-vr-и-прочих-реальностей-b702758ee104 #ar #mr #vr #future

В начале года Microsoft купила шведскую компанию Simplygon, разрабатывающие технологии оптимизации трехмерных моделей. После некоторого периода внутренней инкубации, теперь технологии Simplygon доступны в виде облачного сервиса - Simplygon Cloud! На вход принимаются GLTF, FBX и OBJ, на выходе модели для HoloLens и Windows Mixed Reality, ARKit на iOS, ARCore на Android, и WebGL для браузеров. https://blogs.windows.com/buildingapps/2017/12/07/microsoft-announces-simplygon-cloud-optimizes-mixed-reality-development/ #ar #mr #vr #graphics #optimization

p.s. Работает в вариантах Azure и Azure Stack

Ну и чтобы два раза не вставать — обзор медицинских проектов с Hololens: https://news.microsoft.com/apac/features/hololens-medicine-surgery-no-surprises/ #hololens #mr #medicine

Про новый 845 чипсет от Qualcomm - обратите внимание на развитие возможностей для обработки изображений с явным фокусом на AR/MR/VR-сценарии: обработка глубины, трекинг рук и пространства, 3D-звук, голосовые команды и вот это все. https://www.slashgear.com/qualcomm-snapdragon-845-official-06511037/ #chipset #hardware #ar #mr #vr

Переключаемся с AI на MR. VRScout рассказывает про новый кейс применения Hololens в строительных работах - от компании Object Theory. Идея прикрутить сделать из защитного шлема и очков единую конструкцию давно витала, но суть, конечно, в программной начинке и возможности показать рабочим в реальном времени, что куда нужно приделывать и что там уже сделано в прошлые разы (актуально для задач по реконструкции, например). https://vrscout.com/news/mixed-reality-hard-hat/ #mr #construction

Минутка рекламы про MR - коллеги делают в Москве хакатон по Mixed Reality для студентов и школьников. 9-10 февраля. https://events.techdays.ru/Mixed-Reality/2018-02/ #mr #hackathon

Продолжая тему Mixed Reaity - Sh//ft World рассказывает вместе с Microsoft про 9 интересных проектов на Hololens: от приложения для погружения в точку зрения исторического персонажа до системы проекции изображений на стены для художников. www.shiift.world/shft-spotlight-microsoft/ #mr

Всех с началом бодрой недели, сегодня говорим про MR/VR.

Начнем с управления. Как-то Алекс Кипман, рассказывая, что случилось с Kinect, привел такую историю: когда создавалась его первая версия, команда в голове уже держала мысль о чем-то, что впоследствии стали называть Mixed Reality — смеси физического и цифрового миров в едином представлении.

И вот возникает вопрос: где на этом пути Kinect и как вообще построить полноценный MR? Тут Алекс рисует журналисту простую схему: вот поле 3x3 клеток. По вертикали: что мы хотим распознавать - тело и движение рук, пространство вокруг и отдельные объекты. Каждая следующая задача, условно, в 10 раз сложнее предыдущей. По горизонтали: как мы взаимодействуем при этом - просто видим (через камеру), накладываем изображения, получаем отдачу от взаимодействия (haptic experience) с цифровыми объектами. Аналогично каждая следующая задача на порядок сложнее.

Вот теперь, если вы нарисуете это по осям, получится, что блок 1x1 — это кинект. Проходит еще почти 10 лет, первая версия Kinect фактически уменьшается до размера плашки в iPhone X, а мы, благодаря прогрессу технологий наблюдаем следующий блок 2x2 — это Hololens.

Вот теперь большой вопрос, с одной стороны, с распознаванием разнообразных объектов (сейчас основной акцент делается на системы машинного зрения), а с другой, с физическим взаимодействием с цифровыми объектами.

В связи с последним: вот подборка исследований Microsoft Research на тему взаимодействия с виртуальным. https://www.microsoft.com/en-us/research/blog/touching-virtual-microsoft-research-making-virtual-reality-tangible #mr #vr #haptic #experience

Продолжаем. Пара подборок тематичных кейсов в AR/MR/VR:

Первая - про кейсы в медицине: от поддержки хирургических операций до визуализации УЗИ-снимков в 3D. https://blogs.windows.com/windowsexperience/2018/03/08/how-mixed-reality-is-changing-the-game-for-healthcare-from-performing-live-surgeries-to-delivering-ultrasounds-in-3d #medicine #vr #mr

Вторая - про кейсы в образовании: от классических дополненных учебников до интерактивных стенок в спортзале.

https://medium.com/inborn-experience/usage-of-augmented-reality-in-education-be783e0159a #education #ar

Еще один интересный вариант наложения реальностей, теперь из игровой индустрии. Honda для продвижения последней модели из серии Civic решила устроить соревнование между профессиональным водителем и профессиональным игроком и стриммером в Forza, на одной и той же трассе и на "одной и той же" машине. Интересен сетап: сначала трассу проехал ютюбер, после чего цифровой профиль его заезда проецировался на лобовое стекло реальной машины с учетом ее текущего местоположения. Фактически реальный водитель мог видеть "призрак" своего конкурента.

Пока это просто рекламная история, но, возможно, в будущем мы увидим что-то подобное, например, в тренинговых центрах обучения вождению или на тренировках профессиональных гонщиков. https://vrscout.com/news/honda-mixed-reality-race-pro-driver-youtuber/ #mr #mixed #reality #moto #auto

Про дополненное зрение (пока с помощью Hololens). Примерно как в фантастических фильмах какой-нибудь очередной герой с помощью продвинутого слуха, специального прибора или супер-зрения смотрит на человека и видит, как пульсирует его лицо (пульс) или едва заметные изменения в окраске лица в зависимости от настроения субъекта. Я помню были даже исследовательские работы, которые визуально усиливали изменения в оттенках лицах по видео-ряду.

Проект Cardiolens от AI&Research (Microsoft) позволяет в реальном времени и без дополнительных приборов (кроме Hololens) измерять и визуализировать флуктуации подкожных потоков крови и жизненных показателей для нескольких людей в области видимости. https://www.microsoft.com/en-us/research/video/cardiolens-pulse-and-vital-sign-measurement-in-mixed-reality-using-a-hololens/ #mr #hololens #medicine

В дополнение: интервью с Dr. Daniel McDuff про проектирование агентов, чувствительных к эмоциям, технологии, стоящие за Cardiolens, и о пролеме приватности и доверия в мире с устройствами, знающими ваши (скрытые) чувства. https://www.microsoft.com/en-us/research/blog/when-psychology-meets-technology-with-dr-daniel-mcduff/

Немного истории Hololens от создателей, включая фотки прототипов! https://blogs.microsoft.com/bayarea/2018/04/03/new-lens-on-reality-hololens-system-design-team/ #hololens #mr #history

Про прикладной AR/MR/VR. А ближайшие выходные (13-15 апреля) наши друзья из AVRA проводят в Москве новый хакатон для проектов по дополненной и виртуальной реальности.

Если вы, как говорится, в теме, и думаете, чем полезным заняться, очень рекомендую заглянуть и сделать что-нибудь прикольное, скажем, под Windows Mixed Reality. 😉

https://avrahackathon.ru #ar #mr #vr #hacking

Тут ребята из Graz University of Technology в Австрии развлекаются с дронами и Hololens, симулируя "рентгеновское зрение" через стенку.

Представьте, что у вас есть схематичная модель помещения (например, сделанная по 3D-планам или формируемая динамично из облака точек). Вы стоите за стенкой, а внутри летает небольшой дрон с камерой. Через очки виртуальной реальности вы можете указывать дрону, куда ему подлететь и что показать. А сами можете переключаться между видами: от своего первого лица, со стороны, или от лица дрона.

Вся эта история может также реализовываться в VR.

https://spectrum.ieee.org/automaton/robotics/drones/see-straight-through-walls-by-augmenting-your-eyeballs-with-drones #drones #vr #mr #hololens

Почему это круто?
1. Иметь рентгеновское зрение — мечта людей со времен появления Супермена, если не раньше.
2. Это еще один эксперимент в области удаленных аватаров, когда мы можем не просто смотреть 360-видео какого-то места, а получаем эффект удаленного присутствия с погружением. Причем, дрон дает даже больше динамических возможностей по сравнению с человеко-подобными аватарами. (Отдельный вопрос — это восприятие такого наблюдателя участниками фактической сцены.)
3. Ну и масса применений — от военных операций и пейнтболла до "залезть через узкий проход в пирамиду Хеопса и увидеть все как бы своими глазами".

Если вы вдруг пропустили (примерно как я неделю назад проглядел полноту анонса за крутыми гифками мелькавшими в ленте): Leap Motion разрабатывает свой шлем дополненной реальности. Причем железо и связанное программное железо будут опенсорсными.

Почему это важно?
1. Каждый новый игрок в сфере AR/MR/VR расширяет общую историю, вносит новую перспективу или точку зрения. Leap Motion тут неслучайный игрок — компания давно сидит в нише естественных интерфейсов, которые критичны для AR/MR/VR. А их сенсоры для захвата движения рук начали приделывать к шлемам виртуальной реальности еще до того, как они сами выпустили соответствующую редакцию.
2. Путь Leap Motion от сенсоров удаленного считывания информации к шлемам в чем-то похож на путь Microsoft от Kinect к шлемам Hololens. Но примерно так же, как технологии Kinect были важны для построения карты пространства, технологии Leap Motion (или аналогов) становятся важны для трекинга движения рук, как более естественного способа управления, чем контроллеры (хотя я лично думаю, что тут всегда будет какая-то смесь).
3. Не понятно, насколько история с собственным шлемом важна для Leap Motion как отдельный продукт, так как сейчас это скорее позиционируется как исследовательский проект. Но даже тут видна амбиция вывести на новый уровень именно UX-составляющую, что особенно важно, когда в индустрии явно наблюдается кризис развития систем управления.

Анонс: http://blog.leapmotion.com/northstar
Детали: http://blog.leapmotion.com/our-journey-to-the-north-star
#ar #mr #vr #hands #tracking

Я уже как-то писал про движение Bose в сторону аудио-дополненной реальности, включая выпуск специальных очков со встроенными динамиками. Одно из самых очевидных применений подобных технологий — это туры по городам. Поэтому не удивительно, что Bose пошла в это направление, прикупив наработки стартапа Detour.

TechCrunch пишет немного о странностях данной покупки. Detour взлетел в 2015 году с гидами по Сан-Франциско, выпустив интерактивные туры по городу, привязанные к гео-локациям. Внутри команда Detour не просто готовила нарезку аудио-фрагментов и делала мобильные приложения для персональных гидов, но и сделала специальные инструменты для подготовки таких гидов. Одна из наработок - инструмент для редактирования аудио-фрагментов через транскрибированные тексты, которая в конечном счете вылилась в новый стартап - Descript.

В общем, Bose оказалась как раз вовремя заинтересованной в контенте для своей новой платформы Bose AR и выкупила у основателей Detour гиды и часть тулинга. А команда последнего продолжила независимо заниматься развитием Descript.

Почему это интересно?
1. Пока основной фокус индустрии крутится вокруг зрительного канала, много интересного происходит в остальных направлениях - дополнение аудио, запахов, ощущений и т.п. Мне кажется, тут огромный потенциал сам по себе, не говоря уже о том, что AR/MR, без этих каналов, будет неполноценной.
2. С точки зрения стартап-индустрии, эта история является хорошей иллюстрации паттерна перехода от узкого интереса к более массовому рынку. Команда начала с узкой собственной боли: как готовить аудио-гиды быстрее. Для этого они сделали простой тулинг, позволяющий редактировать аудио через текст. Дальше оказалось, что эта потребность расширяется и на другие ниши - подкасты, аудио-версии статей, расшифровка интервью и т.п. В этот момент команда решила полностью сконцентрироваться на самом тулинге, а не конечном продукте.

https://techcrunch.com/2018/04/24/bose-acquires-andrew-masons-walking-tour-startup-detour/
#audio #ar #mr #tooling

Если вы делаете проекты под Windows Mixed Reality, то, наверняка, вы сталкиваетесь постоянно с одними и теми же задачами, вроде "а как привязать объект к контроллеру" или "как сделать управляющий бокс для манипуляций с объектами". Возможно, вы даже начали писать собственные компоненты для таких типовых задач.

Так вот, у нас есть открытый Mixed Reality ToolKit (MRTK) под Unity, покрывающий большую часть того, с чем вы сталкиваетесь каждый день. Вот тут выложили отличный обзор возможностей: https://medium.com/@dongyoonpark/open-source-building-blocks-for-windows-mixed-reality-experiences-hololens-mixedrealitytoolkit-28a0a16ebb61

MRTK @ GitHub: https://github.com/Microsoft/MixedRealityToolkit-Unity

p.s. Не забудьте проверить ветку v-next: https://github.com/Microsoft/MixedRealityToolkit-Unity/tree/MRTK-Version-Next, там готовится много вкусного, включая поддержку дополнительных платформ (Steam VR и платформы OpenXR).

#MR #OpenSource #Unity #Toolkit

Еще один кусочек будущего, в котором системы компьютерного зрения понимают мир вокруг и могут перевести его в нужный для человека формат. Группа исследователей из Калтеха и Университета Южной Калифорнии используют Hololens, чтобы динамично анализировать пространство вокруг слепого человека и для распознанных объектов (от стен до предметов интерьера) давать человеку аудио-подсказки в виде звуков (что-то похожее не белый шум от стен) или названий ("стул"). За счет пространственного звучания устройство также может давать аудио-подсказки: например, "следуй за мной" звучит впереди человека, позволяя ему действительно следовать за звуком. https://techcrunch.com/2018/05/29/hololens-acts-as-eyes-for-blind-users-and-guides-them-with-audio-prompts/ #mr #audio #accessibility

Еще футбола! Помните, я тут выше писал про восстановление (реконструкцию) 3D-сцены по 2D-съемки? Группа исследователей из университета Вашингтона (+Google, +Facebook) сделали еще один шаг в этом направлении:
* взяли ролики игры в FIFA2017
* обучили сеточки распознавать поле, игроков и т.п.
* транслировали движения фигур в движения скелетов и карты глубины
* реконструировали игру в 3D
* перевели сцену в MR (Hololens)

А теперь представьте, что вы можете смотреть чемпионат мира по футболу на своем столе в 3D, как будто у вас на поверхности стола копия футбольного поля, вокруг которой вы можете ходить, приближаться и т.п.

http://www.i-programmer.info/news/190-augmentedvirtual-reality-arvr/11868-watch-soccer-games-in-3d-on-your-table-top-.html

Детали и публикация: https://arxiv.org/pdf/1806.00890.pdf

#ai #ml #mr #vision