Всех с началом бодрой недели, сегодня говорим про MR/VR.
Начнем с управления. Как-то Алекс Кипман, рассказывая, что случилось с Kinect, привел такую историю: когда создавалась его первая версия, команда в голове уже держала мысль о чем-то, что впоследствии стали называть Mixed Reality — смеси физического и цифрового миров в едином представлении.
И вот возникает вопрос: где на этом пути Kinect и как вообще построить полноценный MR? Тут Алекс рисует журналисту простую схему: вот поле 3x3 клеток. По вертикали: что мы хотим распознавать - тело и движение рук, пространство вокруг и отдельные объекты. Каждая следующая задача, условно, в 10 раз сложнее предыдущей. По горизонтали: как мы взаимодействуем при этом - просто видим (через камеру), накладываем изображения, получаем отдачу от взаимодействия (haptic experience) с цифровыми объектами. Аналогично каждая следующая задача на порядок сложнее.
Вот теперь, если вы нарисуете это по осям, получится, что блок 1x1 — это кинект. Проходит еще почти 10 лет, первая версия Kinect фактически уменьшается до размера плашки в iPhone X, а мы, благодаря прогрессу технологий наблюдаем следующий блок 2x2 — это Hololens.
Вот теперь большой вопрос, с одной стороны, с распознаванием разнообразных объектов (сейчас основной акцент делается на системы машинного зрения), а с другой, с физическим взаимодействием с цифровыми объектами.
В связи с последним: вот подборка исследований Microsoft Research на тему взаимодействия с виртуальным. https://www.microsoft.com/en-us/research/blog/touching-virtual-microsoft-research-making-virtual-reality-tangible #mr #vr #haptic #experience
Начнем с управления. Как-то Алекс Кипман, рассказывая, что случилось с Kinect, привел такую историю: когда создавалась его первая версия, команда в голове уже держала мысль о чем-то, что впоследствии стали называть Mixed Reality — смеси физического и цифрового миров в едином представлении.
И вот возникает вопрос: где на этом пути Kinect и как вообще построить полноценный MR? Тут Алекс рисует журналисту простую схему: вот поле 3x3 клеток. По вертикали: что мы хотим распознавать - тело и движение рук, пространство вокруг и отдельные объекты. Каждая следующая задача, условно, в 10 раз сложнее предыдущей. По горизонтали: как мы взаимодействуем при этом - просто видим (через камеру), накладываем изображения, получаем отдачу от взаимодействия (haptic experience) с цифровыми объектами. Аналогично каждая следующая задача на порядок сложнее.
Вот теперь, если вы нарисуете это по осям, получится, что блок 1x1 — это кинект. Проходит еще почти 10 лет, первая версия Kinect фактически уменьшается до размера плашки в iPhone X, а мы, благодаря прогрессу технологий наблюдаем следующий блок 2x2 — это Hololens.
Вот теперь большой вопрос, с одной стороны, с распознаванием разнообразных объектов (сейчас основной акцент делается на системы машинного зрения), а с другой, с физическим взаимодействием с цифровыми объектами.
В связи с последним: вот подборка исследований Microsoft Research на тему взаимодействия с виртуальным. https://www.microsoft.com/en-us/research/blog/touching-virtual-microsoft-research-making-virtual-reality-tangible #mr #vr #haptic #experience
Microsoft Research
Touching the Virtual: How Microsoft Research is Making Virtual Reality Tangible - Microsoft Research
“Ask yourself how you really want to interact with virtual objects? The simple answer is that we want to handle them as if they are real, just reach out a hand to grasp them, pick them up, feel what they’re made of, and do all that in a natural way that requires…
Продолжаем. Пара подборок тематичных кейсов в AR/MR/VR:
Первая - про кейсы в медицине: от поддержки хирургических операций до визуализации УЗИ-снимков в 3D. https://blogs.windows.com/windowsexperience/2018/03/08/how-mixed-reality-is-changing-the-game-for-healthcare-from-performing-live-surgeries-to-delivering-ultrasounds-in-3d #medicine #vr #mr
Вторая - про кейсы в образовании: от классических дополненных учебников до интерактивных стенок в спортзале.
https://medium.com/inborn-experience/usage-of-augmented-reality-in-education-be783e0159a #education #ar
Первая - про кейсы в медицине: от поддержки хирургических операций до визуализации УЗИ-снимков в 3D. https://blogs.windows.com/windowsexperience/2018/03/08/how-mixed-reality-is-changing-the-game-for-healthcare-from-performing-live-surgeries-to-delivering-ultrasounds-in-3d #medicine #vr #mr
Вторая - про кейсы в образовании: от классических дополненных учебников до интерактивных стенок в спортзале.
https://medium.com/inborn-experience/usage-of-augmented-reality-in-education-be783e0159a #education #ar
Windows Experience Blog
How mixed reality is changing the game for healthcare, from performing live surgeries to delivering ultrasounds in 3D
2018 is already proving to be a transformative year for doctors and healthcare organizations through mixed reality
Пара около-фейсбучных статей про VR (не все же про приватность мусолить). Первая — от Екатерины Костюковой, VR-дизайнера в Facebook, про VR и FB Spaces как возможность оставаться на связи в любое время и любом месте.
Катя рассказывает личную историю эволюции коммуникаций в разорванной расстоянием семье: от дорогих телефонных международных звонков к первым видео-звонкам в Skype, когда стало возможным видеть друг друга, и к VR, как следующему шагу.
Хотя сегодня VR не является массовым продуктом (в масштабе "есть у каждого дома"), команда Facebook нацелена именно на такое будещее. С помощью FB Space вы сможете почувствовать, как будто вы находитесь в одной комнате вместе со своими друзьями, семьей и т. п. В основе такого опыта лежат люди.
Команда выделает 3 типа ощущения присутствия:
— Само-ощущение: "я чувствуют, что это именно я в VR"
— Социальное ощущение: "я чувствую, что я с другими людьми"
— Пространственное ощущение: "я чувствую, что я именно здесь"
Само-ощущение ставит множество вопросов по трансляции индивидуальности: от системы настройки аватаров до степени их реалистичности (оказывается, что излишняя реалистичность наоборот отпугивает). Социальное ощущение требует наличия узнаваемых черт (лица, поведения и т.п.), выражения социального контакта (жесты, взгляд, эмоции). Сегодня тут много аспектов, которые в силу технических ограничений приходится симулировать. Пространственное ощущение оказывается влияет на диалог (одно дело общаться внутри собора или храма, другое — в темном подвале). Текущее решение — нейтральное окружение с возможностью настроить его с помощью 360 фото или видео.
Другое направление поиска — это синхронные и асинхронные коммуникации. Если первое — это "просто" встречи в VR, когда все собрались в одно время. То второе — это отложенный эффект через селфи, видео и живые трансляции.
Еще одна тема: симметричность и ассиметричность связи. Симметричная связь — это когда все участники используют сопоставимые VR-устройства и получают схожий опыт. Но мы пока не тут. Поэтому возникает вопрос, как сделать ассиметричную коммуникацию, когда кто-то в шлеме, а кто-то, скажем, просто с камерой мобильного устройства или веб-камерой.
https://medium.com/facebook-design/how-vr-and-facebook-spaces-helps-us-stay-connected-anytime-anywhere-11b2732e0ed9 #vr #design #experience
Катя рассказывает личную историю эволюции коммуникаций в разорванной расстоянием семье: от дорогих телефонных международных звонков к первым видео-звонкам в Skype, когда стало возможным видеть друг друга, и к VR, как следующему шагу.
Хотя сегодня VR не является массовым продуктом (в масштабе "есть у каждого дома"), команда Facebook нацелена именно на такое будещее. С помощью FB Space вы сможете почувствовать, как будто вы находитесь в одной комнате вместе со своими друзьями, семьей и т. п. В основе такого опыта лежат люди.
Команда выделает 3 типа ощущения присутствия:
— Само-ощущение: "я чувствуют, что это именно я в VR"
— Социальное ощущение: "я чувствую, что я с другими людьми"
— Пространственное ощущение: "я чувствую, что я именно здесь"
Само-ощущение ставит множество вопросов по трансляции индивидуальности: от системы настройки аватаров до степени их реалистичности (оказывается, что излишняя реалистичность наоборот отпугивает). Социальное ощущение требует наличия узнаваемых черт (лица, поведения и т.п.), выражения социального контакта (жесты, взгляд, эмоции). Сегодня тут много аспектов, которые в силу технических ограничений приходится симулировать. Пространственное ощущение оказывается влияет на диалог (одно дело общаться внутри собора или храма, другое — в темном подвале). Текущее решение — нейтральное окружение с возможностью настроить его с помощью 360 фото или видео.
Другое направление поиска — это синхронные и асинхронные коммуникации. Если первое — это "просто" встречи в VR, когда все собрались в одно время. То второе — это отложенный эффект через селфи, видео и живые трансляции.
Еще одна тема: симметричность и ассиметричность связи. Симметричная связь — это когда все участники используют сопоставимые VR-устройства и получают схожий опыт. Но мы пока не тут. Поэтому возникает вопрос, как сделать ассиметричную коммуникацию, когда кто-то в шлеме, а кто-то, скажем, просто с камерой мобильного устройства или веб-камерой.
https://medium.com/facebook-design/how-vr-and-facebook-spaces-helps-us-stay-connected-anytime-anywhere-11b2732e0ed9 #vr #design #experience
Medium
How VR and Facebook Spaces help us stay connected anytime, anywhere
For me, the theme of connectivity starts with my personal story of connecting to my family and friends. I left my hometown in Russia when I…
Вторая история, всплавшая в моей ленте, от Gabriel Valdivia из дизайн-команды JigSaw (дочка Alphabet). Статья, как ни странно, годичной давности, когда Габриель работал в Facebook. Соответственно, рассказ посвящен опыту проектирования FB для мобильного VR.
Миссия команды иммерсивного дизайна — помочь людям пережить моменты как будто они в них действительно участвовали. Все началось с возможности добавить и смотреть фото и видео в 360 просто в ленте пользователей (в том числе из мобильных приложений). Для еще большего погружения команда сделала приложение Facebook 360 (тогда для Savsung Gear VR).
Уроки:
— Контекст просмотра 360-контента существенно отличается в VR. С мобильными устройствами люди смотрят ленту по несколько раз в день. В VR это скорее более выборочные и длинные сессии. Люди обычно специально выделяют время для иммерсивного опыта.
— Хотя людям нравится смотреть 360-контент с мобильных устройств, взаимодействовать с ним, двигая телефоном, может быть неудобно. Особенно в публичных местах. Отсюда появилась сквозная интеграция с возможностью отложить контент на телефоне, чтобы потом посмотреть его в шлеме.
— Когда человек уже в шлеме, возникла вторая задача — помочь ему найти классный контент, который он обычно не находил сам. Отсюда появился отдельный поток Explore. Понравившийся контент можно фоловить, поэтому в VR фактически появляется отдельная лента, независимая от обычного опыта потребления.
5 дизайн-требований, направлявших проектирование приложения:
1. Пассивный иммерсивный опыт. Оказалось, что большинство пользователей используют шлем, сидя в кресле или на кровати (а не стоя). А взаимодействие с тачпадом на шлеме утомляет. Решением стал автоматический переход к следующей порции контента, если пользователь не возвращается к сетке (контента).
2. Поддержка дополнительных путей. По возможности дизайнеры закладывали возможность достичь нужной цели несколькими способами. Например, управлять можно взглядом или с тачпада.
3. Использование глубины для поддержки иерархии. Центральная точка собирает внимание, поэтому естественным становится ранжирование информации по дальности. При этом окна превью можно использовать как "окна в другой мир".
4. Оптимизация для медлительности. Исходя из взаимодействия направлением взгляда как основным способом, нужно было снять нагрузку с точности позиционирования и тем самым облегчить пользователю жизнь. Отсюда точки притяжения в интерфейсе.
5. Все всегда нужно пробовать в шлеме. С новичками и экспертами. Проверяйте все гипотезы, предположения, комфортные зоны, ментальные модели и т.п. как можно раньше. То, что кажется очевидным в 2D на экране, часто оказывается более сложным для восприятия в шлеме в шлеме.
p.s. Иммерсивный = погружающий
https://medium.com/inborn-experience/designing-facebook-for-mobile-vr-df4823282d02 #vr #experience #design
Миссия команды иммерсивного дизайна — помочь людям пережить моменты как будто они в них действительно участвовали. Все началось с возможности добавить и смотреть фото и видео в 360 просто в ленте пользователей (в том числе из мобильных приложений). Для еще большего погружения команда сделала приложение Facebook 360 (тогда для Savsung Gear VR).
Уроки:
— Контекст просмотра 360-контента существенно отличается в VR. С мобильными устройствами люди смотрят ленту по несколько раз в день. В VR это скорее более выборочные и длинные сессии. Люди обычно специально выделяют время для иммерсивного опыта.
— Хотя людям нравится смотреть 360-контент с мобильных устройств, взаимодействовать с ним, двигая телефоном, может быть неудобно. Особенно в публичных местах. Отсюда появилась сквозная интеграция с возможностью отложить контент на телефоне, чтобы потом посмотреть его в шлеме.
— Когда человек уже в шлеме, возникла вторая задача — помочь ему найти классный контент, который он обычно не находил сам. Отсюда появился отдельный поток Explore. Понравившийся контент можно фоловить, поэтому в VR фактически появляется отдельная лента, независимая от обычного опыта потребления.
5 дизайн-требований, направлявших проектирование приложения:
1. Пассивный иммерсивный опыт. Оказалось, что большинство пользователей используют шлем, сидя в кресле или на кровати (а не стоя). А взаимодействие с тачпадом на шлеме утомляет. Решением стал автоматический переход к следующей порции контента, если пользователь не возвращается к сетке (контента).
2. Поддержка дополнительных путей. По возможности дизайнеры закладывали возможность достичь нужной цели несколькими способами. Например, управлять можно взглядом или с тачпада.
3. Использование глубины для поддержки иерархии. Центральная точка собирает внимание, поэтому естественным становится ранжирование информации по дальности. При этом окна превью можно использовать как "окна в другой мир".
4. Оптимизация для медлительности. Исходя из взаимодействия направлением взгляда как основным способом, нужно было снять нагрузку с точности позиционирования и тем самым облегчить пользователю жизнь. Отсюда точки притяжения в интерфейсе.
5. Все всегда нужно пробовать в шлеме. С новичками и экспертами. Проверяйте все гипотезы, предположения, комфортные зоны, ментальные модели и т.п. как можно раньше. То, что кажется очевидным в 2D на экране, часто оказывается более сложным для восприятия в шлеме в шлеме.
p.s. Иммерсивный = погружающий
https://medium.com/inborn-experience/designing-facebook-for-mobile-vr-df4823282d02 #vr #experience #design
Medium
Designing Facebook for Mobile VR
Lessons from the making of the Facebook 360 app for Gear VR
Про прикладной AR/MR/VR. А ближайшие выходные (13-15 апреля) наши друзья из AVRA проводят в Москве новый хакатон для проектов по дополненной и виртуальной реальности.
Если вы, как говорится, в теме, и думаете, чем полезным заняться, очень рекомендую заглянуть и сделать что-нибудь прикольное, скажем, под Windows Mixed Reality. 😉
https://avrahackathon.ru #ar #mr #vr #hacking
Если вы, как говорится, в теме, и думаете, чем полезным заняться, очень рекомендую заглянуть и сделать что-нибудь прикольное, скажем, под Windows Mixed Reality. 😉
https://avrahackathon.ru #ar #mr #vr #hacking
Если вы занимаетесь разработкой под VR, то вот отличный рассказ о том, как проектировать, точнее прототипировать решения на бумаге и дальше их тестировать. https://blog.prototypr.io/vr-paper-prototyping-9e1cab6a75f3 #VR #UX #prototype #paper
Prototyping: From UX to Front End
VR Paper Prototyping
After you sketch a VR concept, how do you take the next step to mock up a quick, low-fidelity prototype?
Тут ребята из Graz University of Technology в Австрии развлекаются с дронами и Hololens, симулируя "рентгеновское зрение" через стенку.
Представьте, что у вас есть схематичная модель помещения (например, сделанная по 3D-планам или формируемая динамично из облака точек). Вы стоите за стенкой, а внутри летает небольшой дрон с камерой. Через очки виртуальной реальности вы можете указывать дрону, куда ему подлететь и что показать. А сами можете переключаться между видами: от своего первого лица, со стороны, или от лица дрона.
Вся эта история может также реализовываться в VR.
https://spectrum.ieee.org/automaton/robotics/drones/see-straight-through-walls-by-augmenting-your-eyeballs-with-drones #drones #vr #mr #hololens
Почему это круто?
1. Иметь рентгеновское зрение — мечта людей со времен появления Супермена, если не раньше.
2. Это еще один эксперимент в области удаленных аватаров, когда мы можем не просто смотреть 360-видео какого-то места, а получаем эффект удаленного присутствия с погружением. Причем, дрон дает даже больше динамических возможностей по сравнению с человеко-подобными аватарами. (Отдельный вопрос — это восприятие такого наблюдателя участниками фактической сцены.)
3. Ну и масса применений — от военных операций и пейнтболла до "залезть через узкий проход в пирамиду Хеопса и увидеть все как бы своими глазами".
Представьте, что у вас есть схематичная модель помещения (например, сделанная по 3D-планам или формируемая динамично из облака точек). Вы стоите за стенкой, а внутри летает небольшой дрон с камерой. Через очки виртуальной реальности вы можете указывать дрону, куда ему подлететь и что показать. А сами можете переключаться между видами: от своего первого лица, со стороны, или от лица дрона.
Вся эта история может также реализовываться в VR.
https://spectrum.ieee.org/automaton/robotics/drones/see-straight-through-walls-by-augmenting-your-eyeballs-with-drones #drones #vr #mr #hololens
Почему это круто?
1. Иметь рентгеновское зрение — мечта людей со времен появления Супермена, если не раньше.
2. Это еще один эксперимент в области удаленных аватаров, когда мы можем не просто смотреть 360-видео какого-то места, а получаем эффект удаленного присутствия с погружением. Причем, дрон дает даже больше динамических возможностей по сравнению с человеко-подобными аватарами. (Отдельный вопрос — это восприятие такого наблюдателя участниками фактической сцены.)
3. Ну и масса применений — от военных операций и пейнтболла до "залезть через узкий проход в пирамиду Хеопса и увидеть все как бы своими глазами".
IEEE Spectrum: Technology, Engineering, and Science News
See Straight Through Walls by Augmenting Your Eyeballs With Drones
A drone combined with a HoloLens can simulate X-ray vision while offering easy and intuitive control
Если вы вдруг пропустили (примерно как я неделю назад проглядел полноту анонса за крутыми гифками мелькавшими в ленте): Leap Motion разрабатывает свой шлем дополненной реальности. Причем железо и связанное программное железо будут опенсорсными.
Почему это важно?
1. Каждый новый игрок в сфере AR/MR/VR расширяет общую историю, вносит новую перспективу или точку зрения. Leap Motion тут неслучайный игрок — компания давно сидит в нише естественных интерфейсов, которые критичны для AR/MR/VR. А их сенсоры для захвата движения рук начали приделывать к шлемам виртуальной реальности еще до того, как они сами выпустили соответствующую редакцию.
2. Путь Leap Motion от сенсоров удаленного считывания информации к шлемам в чем-то похож на путь Microsoft от Kinect к шлемам Hololens. Но примерно так же, как технологии Kinect были важны для построения карты пространства, технологии Leap Motion (или аналогов) становятся важны для трекинга движения рук, как более естественного способа управления, чем контроллеры (хотя я лично думаю, что тут всегда будет какая-то смесь).
3. Не понятно, насколько история с собственным шлемом важна для Leap Motion как отдельный продукт, так как сейчас это скорее позиционируется как исследовательский проект. Но даже тут видна амбиция вывести на новый уровень именно UX-составляющую, что особенно важно, когда в индустрии явно наблюдается кризис развития систем управления.
Анонс: http://blog.leapmotion.com/northstar
Детали: http://blog.leapmotion.com/our-journey-to-the-north-star
#ar #mr #vr #hands #tracking
Почему это важно?
1. Каждый новый игрок в сфере AR/MR/VR расширяет общую историю, вносит новую перспективу или точку зрения. Leap Motion тут неслучайный игрок — компания давно сидит в нише естественных интерфейсов, которые критичны для AR/MR/VR. А их сенсоры для захвата движения рук начали приделывать к шлемам виртуальной реальности еще до того, как они сами выпустили соответствующую редакцию.
2. Путь Leap Motion от сенсоров удаленного считывания информации к шлемам в чем-то похож на путь Microsoft от Kinect к шлемам Hololens. Но примерно так же, как технологии Kinect были важны для построения карты пространства, технологии Leap Motion (или аналогов) становятся важны для трекинга движения рук, как более естественного способа управления, чем контроллеры (хотя я лично думаю, что тут всегда будет какая-то смесь).
3. Не понятно, насколько история с собственным шлемом важна для Leap Motion как отдельный продукт, так как сейчас это скорее позиционируется как исследовательский проект. Но даже тут видна амбиция вывести на новый уровень именно UX-составляющую, что особенно важно, когда в индустрии явно наблюдается кризис развития систем управления.
Анонс: http://blog.leapmotion.com/northstar
Детали: http://blog.leapmotion.com/our-journey-to-the-north-star
#ar #mr #vr #hands #tracking
Leap Motion Blog
Unveiling Project North Star
The coming of virtual reality has signaled a great moment in the history of our civilization. We have found in ourselves the ability to break down the very substrate of reality and create ones anew, entirely of our own design and of our own imaginations.
Не могу пройти мимо! Новый VR-кейс от LeapMotion - эксплорер кота! Помимо того, что это просто классно и интерактивно сделано (я уже писал выше, что LM может пробить новую планку в качестве VR-интерфейсов), важен сюжет: рассматривать внутренности котов даже интереснее, чем людей.
p.s. Я теперь мечтаю, чтобы такое же было в AR/MR, когда можно навести камеру/очки на котика и получить анимированные подробности внутреннего устройства животинки. #vr #mr #ar #case #ux #cat #education
http://blog.leapmotion.com/designing-cat-explorer/
p.s. Я теперь мечтаю, чтобы такое же было в AR/MR, когда можно навести камеру/очки на котика и получить анимированные подробности внутреннего устройства животинки. #vr #mr #ar #case #ux #cat #education
http://blog.leapmotion.com/designing-cat-explorer/
Leap Motion Blog
Designing Cat Explorer - Leap Motion Blog
VR, AR and hand tracking are often considered to be futuristic technologies, but they also have the potential to be the easiest to use. For the launch of our V4 software, we set ourselves the challenge of designing an application where someone who has never…
Небольшая важная новость. Я как-то пропустил, а оказывается HTC Vive анонсировала 3DSP audio SDK для работы с пространственным звуком. Внутри много облегчающего жизнь рабработчиков VR (если, конечно, вы хотите создать по-настоящему погружающий опыт ;).
https://www.vrfocus.com/2018/06/htc-vive-introduce-spatial-audio-sdk/
#vr #spatial #audio
https://www.vrfocus.com/2018/06/htc-vive-introduce-spatial-audio-sdk/
#vr #spatial #audio
VRFocus
HTC Vive Introduce Spatial Audio SDK
HTC Vive offer developers a new software development kit to make developing immersive audio easier.
Ребята из IrisGlobal (Калифорния) делают интересный VR-проект, который, хотя и базируется на VR-технологиях, на самом деле AR. Идея простая: если на смартфоне есть хорошая камера и хороший экран, то почему бы не использовать комбинацию смартфона и специального шлема вместо очков для коррекции зрения?
Фокус в том, что искажения зрительного поля софтверно делать сильно проще, чем физически, и более того — оно оказывается динамически регулируемым. Ну и новые возможности добавляются простым обновлением вместо смены очков.
В ролике ниже Dr. Rhew из Самсунга рассказывает, как работает технология (Samsung является партнером проекта):
https://www.youtube.com/watch?v=upKZlvetou4 #vr #ar #inclusion #accessibility
Фокус в том, что искажения зрительного поля софтверно делать сильно проще, чем физически, и более того — оно оказывается динамически регулируемым. Ну и новые возможности добавляются простым обновлением вместо смены очков.
В ролике ниже Dr. Rhew из Самсунга рассказывает, как работает технология (Samsung является партнером проекта):
https://www.youtube.com/watch?v=upKZlvetou4 #vr #ar #inclusion #accessibility
YouTube
Dr. Oz and Dr. Rhew (Samsung) discussing IrisVision at the Vatican
What is IrisVision? : IrisVision is a breakthrough wearable headset that allows the vision impaired, including those living with macular degeneration, to see...