Паззл VR продолжает складываться из маленьких кусочков. Вот стартап HaptX, пытающийся сделать реалистичным опыт взаимодействия руками (haptic experience). Реалистичность означает, что в идеале это должны быть отдача, текстура, форма и даже температура.
Команда HaptX постепенно к этому приближается. Конечно, пока это все выглядит монстрообразно: тяжелые перчатки большого размера, куча проводов, сенсор от Vive для отслеживания положения рук и т.д. - и я думаю, пройдет еще год-два, прежде, чем технология дозреет до консьюмерского рынка. (И, само собой, это не единственный стартап в этой нише.) https://www.engadget.com/2017/11/20/haptx-gloves-vr/ #vr #mr #haptic #experience
Команда HaptX постепенно к этому приближается. Конечно, пока это все выглядит монстрообразно: тяжелые перчатки большого размера, куча проводов, сенсор от Vive для отслеживания положения рук и т.д. - и я думаю, пройдет еще год-два, прежде, чем технология дозреет до консьюмерского рынка. (И, само собой, это не единственный стартап в этой нише.) https://www.engadget.com/2017/11/20/haptx-gloves-vr/ #vr #mr #haptic #experience
Engadget
HaptX promises to make your virtual hands feel like real ones
The holy grail of VR is immersion: to truly feel like you're in a virtual world. While most modern VR headsets do a pretty good job of this, the experience isn'...
Как-то я пропустил новость от Toyota об использовании VR и поддерживающей управляющей системы для дистанционного контроля робота. Помимо того, что это само по себе уже круто (сценарий Суррогатов все ближе!) и вопрос качества погружения - это вопрос времени (и технологий), мне вспомнился еще один сценарий, который мы месяца два назад обсуждали с коллегами.
Я о нем вкратце уже рассказывал и мне почему-то все больше в него верится. Это дистанционные путешествия с эффектом присутствия, когда вы тут, а там вместо вас робот шагает, бегает, махает руками, говорит и т.п.: будь то Марс, Бали или в соседний магазин за хлебом, пакетом молока и пачкой солью (хотя тут скорее дрон полетит). В целом, конечно, у подобных систем масса применений: от военно-спасательных до бизнес и исследовательских, не забывая, конечно, о людях с ограниченной мобильностью.
https://www.theverge.com/2017/11/21/16684160/toyota-thr3-humanoid-robot-mimic-movement #vr #robots #surrogates
p.s. Ну и как тут не вспомнить слова Илона Маска (и он не первый в этом) о том, что, скорее всего, мы уже живем в матрице. :)
Я о нем вкратце уже рассказывал и мне почему-то все больше в него верится. Это дистанционные путешествия с эффектом присутствия, когда вы тут, а там вместо вас робот шагает, бегает, махает руками, говорит и т.п.: будь то Марс, Бали или в соседний магазин за хлебом, пакетом молока и пачкой солью (хотя тут скорее дрон полетит). В целом, конечно, у подобных систем масса применений: от военно-спасательных до бизнес и исследовательских, не забывая, конечно, о людях с ограниченной мобильностью.
https://www.theverge.com/2017/11/21/16684160/toyota-thr3-humanoid-robot-mimic-movement #vr #robots #surrogates
p.s. Ну и как тут не вспомнить слова Илона Маска (и он не первый в этом) о том, что, скорее всего, мы уже живем в матрице. :)
The Verge
Toyota’s latest humanoid robot can mimic your movements
But can it backflip?
Когда-то это должно было случиться... Тут группа товарищей из Университета Суссекса начала использовать нейронные сети, чтобы генерировать галюциногенные изображения в виртуальной реальности с целью изучения альтернативных состояний сознания без использования медикаментозного воздействия. Идея в том, чтобы с помощью т.н. Hallucination Machine воспроизвести феноменологический аспект (то есть видимость) без воссоздания других побочных и общих эффектов, все на благо науки и психиатрии, в частности. (В этой новости прекрасно все!). https://www.nature.com/articles/s41598-017-16316-2 #vision #VR #Hallucination
Nature
A Deep-Dream Virtual Reality Platform for Studying Altered Perceptual Phenomenology
Scientific Reports - A Deep-Dream Virtual Reality Platform for Studying Altered Perceptual Phenomenology
Наконец-то дошли руки перевести в текст мой рассказ на AVRA Days в Skolkovo. Про будущее AR/MR/VR, следующие большие битвы и направления, множество открытых вопросов и судьбы человечества. https://outofline.ru/5-важных-направлений-в-развитии-ar-mr-vr-и-прочих-реальностей-b702758ee104 #ar #mr #vr #future
Out of Line
5 важных направлений в развитии AR/MR/VR и прочих реальностей
Пару месяцев назад Катя Филатова и Алексей Каленчук пригласили меня выступить, соответственно, на AVRA Days в Сколково — рассказать…
В начале года Microsoft купила шведскую компанию Simplygon, разрабатывающие технологии оптимизации трехмерных моделей. После некоторого периода внутренней инкубации, теперь технологии Simplygon доступны в виде облачного сервиса - Simplygon Cloud! На вход принимаются GLTF, FBX и OBJ, на выходе модели для HoloLens и Windows Mixed Reality, ARKit на iOS, ARCore на Android, и WebGL для браузеров. https://blogs.windows.com/buildingapps/2017/12/07/microsoft-announces-simplygon-cloud-optimizes-mixed-reality-development/ #ar #mr #vr #graphics #optimization
p.s. Работает в вариантах Azure и Azure Stack
p.s. Работает в вариантах Azure и Azure Stack
Building Apps for Windows
Microsoft Announces Simplygon Cloud; Optimizes Mixed Reality Development
Earlier this year, we announced the acquisition of Simplygon, a leader in 3D model optimization based in southern Sweden. As we continue our journey to bring the benefits of mixed reality to everyone, Simplygon is an important accelerant that makes it easier…
Про новый 845 чипсет от Qualcomm - обратите внимание на развитие возможностей для обработки изображений с явным фокусом на AR/MR/VR-сценарии: обработка глубины, трекинг рук и пространства, 3D-звук, голосовые команды и вот это все. https://www.slashgear.com/qualcomm-snapdragon-845-official-06511037/ #chipset #hardware #ar #mr #vr
SlashGear
This is Snapdragon 845: 2018’s AR, VR, and HDR super-chip
Qualcomm has taken the wraps off its new super-chip, the Snapdragon 845, set to be found inside smartphones, tablets, and more come 2018. Renewing Qualcomm’s focus on virtual and augmented re…
Еще немножко рефлексии по следам CES, на тему VR. Мы сейчас наблюдаем интересный поворот в мобильном VR. Помните все эти кардборды и сотни разнообразных шлемов, в которые нужно было вставлять мобильный телефон? И у нас как-то устаканилась связка "мобильный = вставить смартфон".
Так вот вокруг платформы Daydream от Google (аналогично Oculus Go) случилось следующее. Сначала Google сделал платформу, которую можно гонять, тестировать и т.п. с мобильного устройства. Так мы получили первую волну интереса, проникновения, тестирования и .т.п. Потом там, внутри смартфона (и Android), созданный опыт упаковали в отдельную оболочку. И вот теперь мы наблюдаем поколение устройств, в которые вшиты эта оболочка и все необходимое железо. Без всяких мобильных телефонов.
Пример - Mirage Solo от Lenovo, сделанный на том же чипсете Qualcomm Snapdragon 835, который мы видим сегодня в топовых смартфонах. Там же новая технология inside-out трекинга от Google - WorldSense, не требующая внешних трекеров. Там же дополнительные камеры для съемки 180-градусных сцен.
В общем, есть большое подозрение у меня, что шлемы со смартфонами — это лишь промежуточный этап. https://www.engadget.com/2018/01/09/lenovo-mirage-solo-hands-on/
#vr #daydream #future
Так вот вокруг платформы Daydream от Google (аналогично Oculus Go) случилось следующее. Сначала Google сделал платформу, которую можно гонять, тестировать и т.п. с мобильного устройства. Так мы получили первую волну интереса, проникновения, тестирования и .т.п. Потом там, внутри смартфона (и Android), созданный опыт упаковали в отдельную оболочку. И вот теперь мы наблюдаем поколение устройств, в которые вшиты эта оболочка и все необходимое железо. Без всяких мобильных телефонов.
Пример - Mirage Solo от Lenovo, сделанный на том же чипсете Qualcomm Snapdragon 835, который мы видим сегодня в топовых смартфонах. Там же новая технология inside-out трекинга от Google - WorldSense, не требующая внешних трекеров. Там же дополнительные камеры для съемки 180-градусных сцен.
В общем, есть большое подозрение у меня, что шлемы со смартфонами — это лишь промежуточный этап. https://www.engadget.com/2018/01/09/lenovo-mirage-solo-hands-on/
#vr #daydream #future
Engadget
Lenovo’s Mirage Solo makes the case for standalone Daydream headsets
Last year, Google announced that it would be making standalone Daydream headsets with the help of HTC and Lenovo. While HTC might have bowed out of the agreemen...
В марте в Германии будет проходить конференция IEEE VR 2018, в связи с чем начали просачиваться интересные работы, которые будут там представлены. Например, вот пара публикаций от нашего исследовательского подразделения на тему ввода текста внутри VR. Изучаются два вопроса: 1) представление клавиатуры и обратной связи и 2) представление рук при печати. https://www.microsoft.com/en-us/research/blog/typing-in-the-virtual-office-environment-examining-the-effects-of-keyboard-and-hand-representation-in-vr/ #vr #design #input #ux
Microsoft Research
Typing in the Virtual Office Environment: Examining the Effects of Keyboard and Hand Representation in VR - Microsoft Research
Much of the hype around Virtual Reality, or VR, has focused on immersive gaming and entertainment, but the technology also has profound implications for enhancing the way we work. Imagine the perfect office environment: multiple large displays, proper lighting…
Всех с началом бодрой недели, сегодня говорим про MR/VR.
Начнем с управления. Как-то Алекс Кипман, рассказывая, что случилось с Kinect, привел такую историю: когда создавалась его первая версия, команда в голове уже держала мысль о чем-то, что впоследствии стали называть Mixed Reality — смеси физического и цифрового миров в едином представлении.
И вот возникает вопрос: где на этом пути Kinect и как вообще построить полноценный MR? Тут Алекс рисует журналисту простую схему: вот поле 3x3 клеток. По вертикали: что мы хотим распознавать - тело и движение рук, пространство вокруг и отдельные объекты. Каждая следующая задача, условно, в 10 раз сложнее предыдущей. По горизонтали: как мы взаимодействуем при этом - просто видим (через камеру), накладываем изображения, получаем отдачу от взаимодействия (haptic experience) с цифровыми объектами. Аналогично каждая следующая задача на порядок сложнее.
Вот теперь, если вы нарисуете это по осям, получится, что блок 1x1 — это кинект. Проходит еще почти 10 лет, первая версия Kinect фактически уменьшается до размера плашки в iPhone X, а мы, благодаря прогрессу технологий наблюдаем следующий блок 2x2 — это Hololens.
Вот теперь большой вопрос, с одной стороны, с распознаванием разнообразных объектов (сейчас основной акцент делается на системы машинного зрения), а с другой, с физическим взаимодействием с цифровыми объектами.
В связи с последним: вот подборка исследований Microsoft Research на тему взаимодействия с виртуальным. https://www.microsoft.com/en-us/research/blog/touching-virtual-microsoft-research-making-virtual-reality-tangible #mr #vr #haptic #experience
Начнем с управления. Как-то Алекс Кипман, рассказывая, что случилось с Kinect, привел такую историю: когда создавалась его первая версия, команда в голове уже держала мысль о чем-то, что впоследствии стали называть Mixed Reality — смеси физического и цифрового миров в едином представлении.
И вот возникает вопрос: где на этом пути Kinect и как вообще построить полноценный MR? Тут Алекс рисует журналисту простую схему: вот поле 3x3 клеток. По вертикали: что мы хотим распознавать - тело и движение рук, пространство вокруг и отдельные объекты. Каждая следующая задача, условно, в 10 раз сложнее предыдущей. По горизонтали: как мы взаимодействуем при этом - просто видим (через камеру), накладываем изображения, получаем отдачу от взаимодействия (haptic experience) с цифровыми объектами. Аналогично каждая следующая задача на порядок сложнее.
Вот теперь, если вы нарисуете это по осям, получится, что блок 1x1 — это кинект. Проходит еще почти 10 лет, первая версия Kinect фактически уменьшается до размера плашки в iPhone X, а мы, благодаря прогрессу технологий наблюдаем следующий блок 2x2 — это Hololens.
Вот теперь большой вопрос, с одной стороны, с распознаванием разнообразных объектов (сейчас основной акцент делается на системы машинного зрения), а с другой, с физическим взаимодействием с цифровыми объектами.
В связи с последним: вот подборка исследований Microsoft Research на тему взаимодействия с виртуальным. https://www.microsoft.com/en-us/research/blog/touching-virtual-microsoft-research-making-virtual-reality-tangible #mr #vr #haptic #experience
Microsoft Research
Touching the Virtual: How Microsoft Research is Making Virtual Reality Tangible - Microsoft Research
“Ask yourself how you really want to interact with virtual objects? The simple answer is that we want to handle them as if they are real, just reach out a hand to grasp them, pick them up, feel what they’re made of, and do all that in a natural way that requires…
Продолжаем. Пара подборок тематичных кейсов в AR/MR/VR:
Первая - про кейсы в медицине: от поддержки хирургических операций до визуализации УЗИ-снимков в 3D. https://blogs.windows.com/windowsexperience/2018/03/08/how-mixed-reality-is-changing-the-game-for-healthcare-from-performing-live-surgeries-to-delivering-ultrasounds-in-3d #medicine #vr #mr
Вторая - про кейсы в образовании: от классических дополненных учебников до интерактивных стенок в спортзале.
https://medium.com/inborn-experience/usage-of-augmented-reality-in-education-be783e0159a #education #ar
Первая - про кейсы в медицине: от поддержки хирургических операций до визуализации УЗИ-снимков в 3D. https://blogs.windows.com/windowsexperience/2018/03/08/how-mixed-reality-is-changing-the-game-for-healthcare-from-performing-live-surgeries-to-delivering-ultrasounds-in-3d #medicine #vr #mr
Вторая - про кейсы в образовании: от классических дополненных учебников до интерактивных стенок в спортзале.
https://medium.com/inborn-experience/usage-of-augmented-reality-in-education-be783e0159a #education #ar
Windows Experience Blog
How mixed reality is changing the game for healthcare, from performing live surgeries to delivering ultrasounds in 3D
2018 is already proving to be a transformative year for doctors and healthcare organizations through mixed reality
Пара около-фейсбучных статей про VR (не все же про приватность мусолить). Первая — от Екатерины Костюковой, VR-дизайнера в Facebook, про VR и FB Spaces как возможность оставаться на связи в любое время и любом месте.
Катя рассказывает личную историю эволюции коммуникаций в разорванной расстоянием семье: от дорогих телефонных международных звонков к первым видео-звонкам в Skype, когда стало возможным видеть друг друга, и к VR, как следующему шагу.
Хотя сегодня VR не является массовым продуктом (в масштабе "есть у каждого дома"), команда Facebook нацелена именно на такое будещее. С помощью FB Space вы сможете почувствовать, как будто вы находитесь в одной комнате вместе со своими друзьями, семьей и т. п. В основе такого опыта лежат люди.
Команда выделает 3 типа ощущения присутствия:
— Само-ощущение: "я чувствуют, что это именно я в VR"
— Социальное ощущение: "я чувствую, что я с другими людьми"
— Пространственное ощущение: "я чувствую, что я именно здесь"
Само-ощущение ставит множество вопросов по трансляции индивидуальности: от системы настройки аватаров до степени их реалистичности (оказывается, что излишняя реалистичность наоборот отпугивает). Социальное ощущение требует наличия узнаваемых черт (лица, поведения и т.п.), выражения социального контакта (жесты, взгляд, эмоции). Сегодня тут много аспектов, которые в силу технических ограничений приходится симулировать. Пространственное ощущение оказывается влияет на диалог (одно дело общаться внутри собора или храма, другое — в темном подвале). Текущее решение — нейтральное окружение с возможностью настроить его с помощью 360 фото или видео.
Другое направление поиска — это синхронные и асинхронные коммуникации. Если первое — это "просто" встречи в VR, когда все собрались в одно время. То второе — это отложенный эффект через селфи, видео и живые трансляции.
Еще одна тема: симметричность и ассиметричность связи. Симметричная связь — это когда все участники используют сопоставимые VR-устройства и получают схожий опыт. Но мы пока не тут. Поэтому возникает вопрос, как сделать ассиметричную коммуникацию, когда кто-то в шлеме, а кто-то, скажем, просто с камерой мобильного устройства или веб-камерой.
https://medium.com/facebook-design/how-vr-and-facebook-spaces-helps-us-stay-connected-anytime-anywhere-11b2732e0ed9 #vr #design #experience
Катя рассказывает личную историю эволюции коммуникаций в разорванной расстоянием семье: от дорогих телефонных международных звонков к первым видео-звонкам в Skype, когда стало возможным видеть друг друга, и к VR, как следующему шагу.
Хотя сегодня VR не является массовым продуктом (в масштабе "есть у каждого дома"), команда Facebook нацелена именно на такое будещее. С помощью FB Space вы сможете почувствовать, как будто вы находитесь в одной комнате вместе со своими друзьями, семьей и т. п. В основе такого опыта лежат люди.
Команда выделает 3 типа ощущения присутствия:
— Само-ощущение: "я чувствуют, что это именно я в VR"
— Социальное ощущение: "я чувствую, что я с другими людьми"
— Пространственное ощущение: "я чувствую, что я именно здесь"
Само-ощущение ставит множество вопросов по трансляции индивидуальности: от системы настройки аватаров до степени их реалистичности (оказывается, что излишняя реалистичность наоборот отпугивает). Социальное ощущение требует наличия узнаваемых черт (лица, поведения и т.п.), выражения социального контакта (жесты, взгляд, эмоции). Сегодня тут много аспектов, которые в силу технических ограничений приходится симулировать. Пространственное ощущение оказывается влияет на диалог (одно дело общаться внутри собора или храма, другое — в темном подвале). Текущее решение — нейтральное окружение с возможностью настроить его с помощью 360 фото или видео.
Другое направление поиска — это синхронные и асинхронные коммуникации. Если первое — это "просто" встречи в VR, когда все собрались в одно время. То второе — это отложенный эффект через селфи, видео и живые трансляции.
Еще одна тема: симметричность и ассиметричность связи. Симметричная связь — это когда все участники используют сопоставимые VR-устройства и получают схожий опыт. Но мы пока не тут. Поэтому возникает вопрос, как сделать ассиметричную коммуникацию, когда кто-то в шлеме, а кто-то, скажем, просто с камерой мобильного устройства или веб-камерой.
https://medium.com/facebook-design/how-vr-and-facebook-spaces-helps-us-stay-connected-anytime-anywhere-11b2732e0ed9 #vr #design #experience
Medium
How VR and Facebook Spaces help us stay connected anytime, anywhere
For me, the theme of connectivity starts with my personal story of connecting to my family and friends. I left my hometown in Russia when I…
Вторая история, всплавшая в моей ленте, от Gabriel Valdivia из дизайн-команды JigSaw (дочка Alphabet). Статья, как ни странно, годичной давности, когда Габриель работал в Facebook. Соответственно, рассказ посвящен опыту проектирования FB для мобильного VR.
Миссия команды иммерсивного дизайна — помочь людям пережить моменты как будто они в них действительно участвовали. Все началось с возможности добавить и смотреть фото и видео в 360 просто в ленте пользователей (в том числе из мобильных приложений). Для еще большего погружения команда сделала приложение Facebook 360 (тогда для Savsung Gear VR).
Уроки:
— Контекст просмотра 360-контента существенно отличается в VR. С мобильными устройствами люди смотрят ленту по несколько раз в день. В VR это скорее более выборочные и длинные сессии. Люди обычно специально выделяют время для иммерсивного опыта.
— Хотя людям нравится смотреть 360-контент с мобильных устройств, взаимодействовать с ним, двигая телефоном, может быть неудобно. Особенно в публичных местах. Отсюда появилась сквозная интеграция с возможностью отложить контент на телефоне, чтобы потом посмотреть его в шлеме.
— Когда человек уже в шлеме, возникла вторая задача — помочь ему найти классный контент, который он обычно не находил сам. Отсюда появился отдельный поток Explore. Понравившийся контент можно фоловить, поэтому в VR фактически появляется отдельная лента, независимая от обычного опыта потребления.
5 дизайн-требований, направлявших проектирование приложения:
1. Пассивный иммерсивный опыт. Оказалось, что большинство пользователей используют шлем, сидя в кресле или на кровати (а не стоя). А взаимодействие с тачпадом на шлеме утомляет. Решением стал автоматический переход к следующей порции контента, если пользователь не возвращается к сетке (контента).
2. Поддержка дополнительных путей. По возможности дизайнеры закладывали возможность достичь нужной цели несколькими способами. Например, управлять можно взглядом или с тачпада.
3. Использование глубины для поддержки иерархии. Центральная точка собирает внимание, поэтому естественным становится ранжирование информации по дальности. При этом окна превью можно использовать как "окна в другой мир".
4. Оптимизация для медлительности. Исходя из взаимодействия направлением взгляда как основным способом, нужно было снять нагрузку с точности позиционирования и тем самым облегчить пользователю жизнь. Отсюда точки притяжения в интерфейсе.
5. Все всегда нужно пробовать в шлеме. С новичками и экспертами. Проверяйте все гипотезы, предположения, комфортные зоны, ментальные модели и т.п. как можно раньше. То, что кажется очевидным в 2D на экране, часто оказывается более сложным для восприятия в шлеме в шлеме.
p.s. Иммерсивный = погружающий
https://medium.com/inborn-experience/designing-facebook-for-mobile-vr-df4823282d02 #vr #experience #design
Миссия команды иммерсивного дизайна — помочь людям пережить моменты как будто они в них действительно участвовали. Все началось с возможности добавить и смотреть фото и видео в 360 просто в ленте пользователей (в том числе из мобильных приложений). Для еще большего погружения команда сделала приложение Facebook 360 (тогда для Savsung Gear VR).
Уроки:
— Контекст просмотра 360-контента существенно отличается в VR. С мобильными устройствами люди смотрят ленту по несколько раз в день. В VR это скорее более выборочные и длинные сессии. Люди обычно специально выделяют время для иммерсивного опыта.
— Хотя людям нравится смотреть 360-контент с мобильных устройств, взаимодействовать с ним, двигая телефоном, может быть неудобно. Особенно в публичных местах. Отсюда появилась сквозная интеграция с возможностью отложить контент на телефоне, чтобы потом посмотреть его в шлеме.
— Когда человек уже в шлеме, возникла вторая задача — помочь ему найти классный контент, который он обычно не находил сам. Отсюда появился отдельный поток Explore. Понравившийся контент можно фоловить, поэтому в VR фактически появляется отдельная лента, независимая от обычного опыта потребления.
5 дизайн-требований, направлявших проектирование приложения:
1. Пассивный иммерсивный опыт. Оказалось, что большинство пользователей используют шлем, сидя в кресле или на кровати (а не стоя). А взаимодействие с тачпадом на шлеме утомляет. Решением стал автоматический переход к следующей порции контента, если пользователь не возвращается к сетке (контента).
2. Поддержка дополнительных путей. По возможности дизайнеры закладывали возможность достичь нужной цели несколькими способами. Например, управлять можно взглядом или с тачпада.
3. Использование глубины для поддержки иерархии. Центральная точка собирает внимание, поэтому естественным становится ранжирование информации по дальности. При этом окна превью можно использовать как "окна в другой мир".
4. Оптимизация для медлительности. Исходя из взаимодействия направлением взгляда как основным способом, нужно было снять нагрузку с точности позиционирования и тем самым облегчить пользователю жизнь. Отсюда точки притяжения в интерфейсе.
5. Все всегда нужно пробовать в шлеме. С новичками и экспертами. Проверяйте все гипотезы, предположения, комфортные зоны, ментальные модели и т.п. как можно раньше. То, что кажется очевидным в 2D на экране, часто оказывается более сложным для восприятия в шлеме в шлеме.
p.s. Иммерсивный = погружающий
https://medium.com/inborn-experience/designing-facebook-for-mobile-vr-df4823282d02 #vr #experience #design
Medium
Designing Facebook for Mobile VR
Lessons from the making of the Facebook 360 app for Gear VR
Про прикладной AR/MR/VR. А ближайшие выходные (13-15 апреля) наши друзья из AVRA проводят в Москве новый хакатон для проектов по дополненной и виртуальной реальности.
Если вы, как говорится, в теме, и думаете, чем полезным заняться, очень рекомендую заглянуть и сделать что-нибудь прикольное, скажем, под Windows Mixed Reality. 😉
https://avrahackathon.ru #ar #mr #vr #hacking
Если вы, как говорится, в теме, и думаете, чем полезным заняться, очень рекомендую заглянуть и сделать что-нибудь прикольное, скажем, под Windows Mixed Reality. 😉
https://avrahackathon.ru #ar #mr #vr #hacking
Если вы занимаетесь разработкой под VR, то вот отличный рассказ о том, как проектировать, точнее прототипировать решения на бумаге и дальше их тестировать. https://blog.prototypr.io/vr-paper-prototyping-9e1cab6a75f3 #VR #UX #prototype #paper
Prototyping: From UX to Front End
VR Paper Prototyping
After you sketch a VR concept, how do you take the next step to mock up a quick, low-fidelity prototype?
Тут ребята из Graz University of Technology в Австрии развлекаются с дронами и Hololens, симулируя "рентгеновское зрение" через стенку.
Представьте, что у вас есть схематичная модель помещения (например, сделанная по 3D-планам или формируемая динамично из облака точек). Вы стоите за стенкой, а внутри летает небольшой дрон с камерой. Через очки виртуальной реальности вы можете указывать дрону, куда ему подлететь и что показать. А сами можете переключаться между видами: от своего первого лица, со стороны, или от лица дрона.
Вся эта история может также реализовываться в VR.
https://spectrum.ieee.org/automaton/robotics/drones/see-straight-through-walls-by-augmenting-your-eyeballs-with-drones #drones #vr #mr #hololens
Почему это круто?
1. Иметь рентгеновское зрение — мечта людей со времен появления Супермена, если не раньше.
2. Это еще один эксперимент в области удаленных аватаров, когда мы можем не просто смотреть 360-видео какого-то места, а получаем эффект удаленного присутствия с погружением. Причем, дрон дает даже больше динамических возможностей по сравнению с человеко-подобными аватарами. (Отдельный вопрос — это восприятие такого наблюдателя участниками фактической сцены.)
3. Ну и масса применений — от военных операций и пейнтболла до "залезть через узкий проход в пирамиду Хеопса и увидеть все как бы своими глазами".
Представьте, что у вас есть схематичная модель помещения (например, сделанная по 3D-планам или формируемая динамично из облака точек). Вы стоите за стенкой, а внутри летает небольшой дрон с камерой. Через очки виртуальной реальности вы можете указывать дрону, куда ему подлететь и что показать. А сами можете переключаться между видами: от своего первого лица, со стороны, или от лица дрона.
Вся эта история может также реализовываться в VR.
https://spectrum.ieee.org/automaton/robotics/drones/see-straight-through-walls-by-augmenting-your-eyeballs-with-drones #drones #vr #mr #hololens
Почему это круто?
1. Иметь рентгеновское зрение — мечта людей со времен появления Супермена, если не раньше.
2. Это еще один эксперимент в области удаленных аватаров, когда мы можем не просто смотреть 360-видео какого-то места, а получаем эффект удаленного присутствия с погружением. Причем, дрон дает даже больше динамических возможностей по сравнению с человеко-подобными аватарами. (Отдельный вопрос — это восприятие такого наблюдателя участниками фактической сцены.)
3. Ну и масса применений — от военных операций и пейнтболла до "залезть через узкий проход в пирамиду Хеопса и увидеть все как бы своими глазами".
IEEE Spectrum: Technology, Engineering, and Science News
See Straight Through Walls by Augmenting Your Eyeballs With Drones
A drone combined with a HoloLens can simulate X-ray vision while offering easy and intuitive control
Если вы вдруг пропустили (примерно как я неделю назад проглядел полноту анонса за крутыми гифками мелькавшими в ленте): Leap Motion разрабатывает свой шлем дополненной реальности. Причем железо и связанное программное железо будут опенсорсными.
Почему это важно?
1. Каждый новый игрок в сфере AR/MR/VR расширяет общую историю, вносит новую перспективу или точку зрения. Leap Motion тут неслучайный игрок — компания давно сидит в нише естественных интерфейсов, которые критичны для AR/MR/VR. А их сенсоры для захвата движения рук начали приделывать к шлемам виртуальной реальности еще до того, как они сами выпустили соответствующую редакцию.
2. Путь Leap Motion от сенсоров удаленного считывания информации к шлемам в чем-то похож на путь Microsoft от Kinect к шлемам Hololens. Но примерно так же, как технологии Kinect были важны для построения карты пространства, технологии Leap Motion (или аналогов) становятся важны для трекинга движения рук, как более естественного способа управления, чем контроллеры (хотя я лично думаю, что тут всегда будет какая-то смесь).
3. Не понятно, насколько история с собственным шлемом важна для Leap Motion как отдельный продукт, так как сейчас это скорее позиционируется как исследовательский проект. Но даже тут видна амбиция вывести на новый уровень именно UX-составляющую, что особенно важно, когда в индустрии явно наблюдается кризис развития систем управления.
Анонс: http://blog.leapmotion.com/northstar
Детали: http://blog.leapmotion.com/our-journey-to-the-north-star
#ar #mr #vr #hands #tracking
Почему это важно?
1. Каждый новый игрок в сфере AR/MR/VR расширяет общую историю, вносит новую перспективу или точку зрения. Leap Motion тут неслучайный игрок — компания давно сидит в нише естественных интерфейсов, которые критичны для AR/MR/VR. А их сенсоры для захвата движения рук начали приделывать к шлемам виртуальной реальности еще до того, как они сами выпустили соответствующую редакцию.
2. Путь Leap Motion от сенсоров удаленного считывания информации к шлемам в чем-то похож на путь Microsoft от Kinect к шлемам Hololens. Но примерно так же, как технологии Kinect были важны для построения карты пространства, технологии Leap Motion (или аналогов) становятся важны для трекинга движения рук, как более естественного способа управления, чем контроллеры (хотя я лично думаю, что тут всегда будет какая-то смесь).
3. Не понятно, насколько история с собственным шлемом важна для Leap Motion как отдельный продукт, так как сейчас это скорее позиционируется как исследовательский проект. Но даже тут видна амбиция вывести на новый уровень именно UX-составляющую, что особенно важно, когда в индустрии явно наблюдается кризис развития систем управления.
Анонс: http://blog.leapmotion.com/northstar
Детали: http://blog.leapmotion.com/our-journey-to-the-north-star
#ar #mr #vr #hands #tracking
Leap Motion Blog
Unveiling Project North Star
The coming of virtual reality has signaled a great moment in the history of our civilization. We have found in ourselves the ability to break down the very substrate of reality and create ones anew, entirely of our own design and of our own imaginations.
Не могу пройти мимо! Новый VR-кейс от LeapMotion - эксплорер кота! Помимо того, что это просто классно и интерактивно сделано (я уже писал выше, что LM может пробить новую планку в качестве VR-интерфейсов), важен сюжет: рассматривать внутренности котов даже интереснее, чем людей.
p.s. Я теперь мечтаю, чтобы такое же было в AR/MR, когда можно навести камеру/очки на котика и получить анимированные подробности внутреннего устройства животинки. #vr #mr #ar #case #ux #cat #education
http://blog.leapmotion.com/designing-cat-explorer/
p.s. Я теперь мечтаю, чтобы такое же было в AR/MR, когда можно навести камеру/очки на котика и получить анимированные подробности внутреннего устройства животинки. #vr #mr #ar #case #ux #cat #education
http://blog.leapmotion.com/designing-cat-explorer/
Leap Motion Blog
Designing Cat Explorer - Leap Motion Blog
VR, AR and hand tracking are often considered to be futuristic technologies, but they also have the potential to be the easiest to use. For the launch of our V4 software, we set ourselves the challenge of designing an application where someone who has never…
Небольшая важная новость. Я как-то пропустил, а оказывается HTC Vive анонсировала 3DSP audio SDK для работы с пространственным звуком. Внутри много облегчающего жизнь рабработчиков VR (если, конечно, вы хотите создать по-настоящему погружающий опыт ;).
https://www.vrfocus.com/2018/06/htc-vive-introduce-spatial-audio-sdk/
#vr #spatial #audio
https://www.vrfocus.com/2018/06/htc-vive-introduce-spatial-audio-sdk/
#vr #spatial #audio
VRFocus
HTC Vive Introduce Spatial Audio SDK
HTC Vive offer developers a new software development kit to make developing immersive audio easier.
Ребята из IrisGlobal (Калифорния) делают интересный VR-проект, который, хотя и базируется на VR-технологиях, на самом деле AR. Идея простая: если на смартфоне есть хорошая камера и хороший экран, то почему бы не использовать комбинацию смартфона и специального шлема вместо очков для коррекции зрения?
Фокус в том, что искажения зрительного поля софтверно делать сильно проще, чем физически, и более того — оно оказывается динамически регулируемым. Ну и новые возможности добавляются простым обновлением вместо смены очков.
В ролике ниже Dr. Rhew из Самсунга рассказывает, как работает технология (Samsung является партнером проекта):
https://www.youtube.com/watch?v=upKZlvetou4 #vr #ar #inclusion #accessibility
Фокус в том, что искажения зрительного поля софтверно делать сильно проще, чем физически, и более того — оно оказывается динамически регулируемым. Ну и новые возможности добавляются простым обновлением вместо смены очков.
В ролике ниже Dr. Rhew из Самсунга рассказывает, как работает технология (Samsung является партнером проекта):
https://www.youtube.com/watch?v=upKZlvetou4 #vr #ar #inclusion #accessibility
YouTube
Dr. Oz and Dr. Rhew (Samsung) discussing IrisVision at the Vatican
What is IrisVision? : IrisVision is a breakthrough wearable headset that allows the vision impaired, including those living with macular degeneration, to see...