Про аудио-измерение AR/MR/VR. Я уже несколько раз писал о том, что spatial audio (пространственный звук) в опыте погружения в любую реальность не менее важно, чем видео канал. Вот еще один взгляд на это от Bilboard в контексте запуска Pixel Buds от Google. По началу может показаться, что речь идет просто о более удобном формфакторе: сделали вкладыши беспроводными, значит не нужно путаться в проводах, плюс получили "цифровой" звук по bluetooth. Но тут же оказывается, что в дополнение идет подавление звука (noise canceling), позволяющее в нужной пропорции фильтровать или смешивать внешние и подаваемые звуки, плюс микрофон для общения. И вот в этом миксе появляются фантастические (ранее) идеи о том, что можно "дополнять" или изменять звуковую картину вокруг. Хотите слышать шумы, но чуть потише? Пожалуйста. Хотите отфильтровать в метро звук колес? Давайте попробуем. Хотите смешать звук на концерте с более "чистым" звучанием? Почему бы и нет. Сюда же все идеи перевода на лету, подстройки музыки под ритм бега и т.п. Большая тема, в общем! :) www.billboard.com/articles/business/7998347/how-augmented-reality-audio-soundtrack-your-life #ar #mr #vr #audio #spatial

На прошлой неделе Vive (HTC) вместе с Logitech показали проект BRIDGE (да, большими буквами), цель которого - сделать полноценным опыт работы с клавиатурой внутри VR. Вокруг этой идеи возникает несколько интересных историй:

1. Зачем вообще нужна (физическая) клавиатура внутри VR? Во-первых, само собой, скорость набора, потому что с клавиатуры, висящей в воздухе, разве что логин/пароль и наберешь, и то с трудом. Хочется тактильно-визуального фидбека. Во-вторых, есть сценарии, когда не надо бегать с проводами, можно удобно сидеть за столом на стуле — и просто теперь твой экран - это все вокруг (отдельный вопрос в разрешении и т.п.). Например, это все, что касается проектирования.

2. Как совместить картинку в VR с реальностью? Тут весьма кстати оказывается трекерт от Vive и... цифровой дизайн самой клавиатуры. Их просто надо совместить в пространстве. Мне почему-то кажется, что с Mixed Reality это тоже возможно сделать.

3. Что именно показывать внутри VR? Вот тут мы оказываемся отвязанными от ограничений физического устройства. Помните клавиатуры со встроенными экранчиками, чтобы кастомизироваться под разные приложения и игры? Теперь это больше не нужно! Кнопки - это кнопки, а изображение можно легко подменить, просто сменив текстуру.

Будет интересно понаблюдать, как эта тема будет развиваться дальше. https://blog.vive.com/us/2017/11/02/introducing-the-logitech-bridge-sdk/ #vr #input #devices #keyboard

Паззл VR продолжает складываться из маленьких кусочков. Вот стартап HaptX, пытающийся сделать реалистичным опыт взаимодействия руками (haptic experience). Реалистичность означает, что в идеале это должны быть отдача, текстура, форма и даже температура.

Команда HaptX постепенно к этому приближается. Конечно, пока это все выглядит монстрообразно: тяжелые перчатки большого размера, куча проводов, сенсор от Vive для отслеживания положения рук и т.д. - и я думаю, пройдет еще год-два, прежде, чем технология дозреет до консьюмерского рынка. (И, само собой, это не единственный стартап в этой нише.) https://www.engadget.com/2017/11/20/haptx-gloves-vr/ #vr #mr #haptic #experience

Как-то я пропустил новость от Toyota об использовании VR и поддерживающей управляющей системы для дистанционного контроля робота. Помимо того, что это само по себе уже круто (сценарий Суррогатов все ближе!) и вопрос качества погружения - это вопрос времени (и технологий), мне вспомнился еще один сценарий, который мы месяца два назад обсуждали с коллегами.

Я о нем вкратце уже рассказывал и мне почему-то все больше в него верится. Это дистанционные путешествия с эффектом присутствия, когда вы тут, а там вместо вас робот шагает, бегает, махает руками, говорит и т.п.: будь то Марс, Бали или в соседний магазин за хлебом, пакетом молока и пачкой солью (хотя тут скорее дрон полетит). В целом, конечно, у подобных систем масса применений: от военно-спасательных до бизнес и исследовательских, не забывая, конечно, о людях с ограниченной мобильностью.

https://www.theverge.com/2017/11/21/16684160/toyota-thr3-humanoid-robot-mimic-movement #vr #robots #surrogates

p.s. Ну и как тут не вспомнить слова Илона Маска (и он не первый в этом) о том, что, скорее всего, мы уже живем в матрице. :)

Когда-то это должно было случиться... Тут группа товарищей из Университета Суссекса начала использовать нейронные сети, чтобы генерировать галюциногенные изображения в виртуальной реальности с целью изучения альтернативных состояний сознания без использования медикаментозного воздействия. Идея в том, чтобы с помощью т.н. Hallucination Machine воспроизвести феноменологический аспект (то есть видимость) без воссоздания других побочных и общих эффектов, все на благо науки и психиатрии, в частности. (В этой новости прекрасно все!). https://www.nature.com/articles/s41598-017-16316-2 #vision #VR #Hallucination

Наконец-то дошли руки перевести в текст мой рассказ на AVRA Days в Skolkovo. Про будущее AR/MR/VR, следующие большие битвы и направления, множество открытых вопросов и судьбы человечества. https://outofline.ru/5-важных-направлений-в-развитии-ar-mr-vr-и-прочих-реальностей-b702758ee104 #ar #mr #vr #future

В начале года Microsoft купила шведскую компанию Simplygon, разрабатывающие технологии оптимизации трехмерных моделей. После некоторого периода внутренней инкубации, теперь технологии Simplygon доступны в виде облачного сервиса - Simplygon Cloud! На вход принимаются GLTF, FBX и OBJ, на выходе модели для HoloLens и Windows Mixed Reality, ARKit на iOS, ARCore на Android, и WebGL для браузеров. https://blogs.windows.com/buildingapps/2017/12/07/microsoft-announces-simplygon-cloud-optimizes-mixed-reality-development/ #ar #mr #vr #graphics #optimization

p.s. Работает в вариантах Azure и Azure Stack

Про новый 845 чипсет от Qualcomm - обратите внимание на развитие возможностей для обработки изображений с явным фокусом на AR/MR/VR-сценарии: обработка глубины, трекинг рук и пространства, 3D-звук, голосовые команды и вот это все. https://www.slashgear.com/qualcomm-snapdragon-845-official-06511037/ #chipset #hardware #ar #mr #vr

Еще немножко рефлексии по следам CES, на тему VR. Мы сейчас наблюдаем интересный поворот в мобильном VR. Помните все эти кардборды и сотни разнообразных шлемов, в которые нужно было вставлять мобильный телефон? И у нас как-то устаканилась связка "мобильный = вставить смартфон".

Так вот вокруг платформы Daydream от Google (аналогично Oculus Go) случилось следующее. Сначала Google сделал платформу, которую можно гонять, тестировать и т.п. с мобильного устройства. Так мы получили первую волну интереса, проникновения, тестирования и .т.п. Потом там, внутри смартфона (и Android), созданный опыт упаковали в отдельную оболочку. И вот теперь мы наблюдаем поколение устройств, в которые вшиты эта оболочка и все необходимое железо. Без всяких мобильных телефонов.

Пример - Mirage Solo от Lenovo, сделанный на том же чипсете Qualcomm Snapdragon 835, который мы видим сегодня в топовых смартфонах. Там же новая технология inside-out трекинга от Google - WorldSense, не требующая внешних трекеров. Там же дополнительные камеры для съемки 180-градусных сцен.

В общем, есть большое подозрение у меня, что шлемы со смартфонами — это лишь промежуточный этап. https://www.engadget.com/2018/01/09/lenovo-mirage-solo-hands-on/

#vr #daydream #future

В марте в Германии будет проходить конференция IEEE VR 2018, в связи с чем начали просачиваться интересные работы, которые будут там представлены. Например, вот пара публикаций от нашего исследовательского подразделения на тему ввода текста внутри VR. Изучаются два вопроса: 1) представление клавиатуры и обратной связи и 2) представление рук при печати. https://www.microsoft.com/en-us/research/blog/typing-in-the-virtual-office-environment-examining-the-effects-of-keyboard-and-hand-representation-in-vr/ #vr #design #input #ux

Всех с началом бодрой недели, сегодня говорим про MR/VR.

Начнем с управления. Как-то Алекс Кипман, рассказывая, что случилось с Kinect, привел такую историю: когда создавалась его первая версия, команда в голове уже держала мысль о чем-то, что впоследствии стали называть Mixed Reality — смеси физического и цифрового миров в едином представлении.

И вот возникает вопрос: где на этом пути Kinect и как вообще построить полноценный MR? Тут Алекс рисует журналисту простую схему: вот поле 3x3 клеток. По вертикали: что мы хотим распознавать - тело и движение рук, пространство вокруг и отдельные объекты. Каждая следующая задача, условно, в 10 раз сложнее предыдущей. По горизонтали: как мы взаимодействуем при этом - просто видим (через камеру), накладываем изображения, получаем отдачу от взаимодействия (haptic experience) с цифровыми объектами. Аналогично каждая следующая задача на порядок сложнее.

Вот теперь, если вы нарисуете это по осям, получится, что блок 1x1 — это кинект. Проходит еще почти 10 лет, первая версия Kinect фактически уменьшается до размера плашки в iPhone X, а мы, благодаря прогрессу технологий наблюдаем следующий блок 2x2 — это Hololens.

Вот теперь большой вопрос, с одной стороны, с распознаванием разнообразных объектов (сейчас основной акцент делается на системы машинного зрения), а с другой, с физическим взаимодействием с цифровыми объектами.

В связи с последним: вот подборка исследований Microsoft Research на тему взаимодействия с виртуальным. https://www.microsoft.com/en-us/research/blog/touching-virtual-microsoft-research-making-virtual-reality-tangible #mr #vr #haptic #experience

Продолжаем. Пара подборок тематичных кейсов в AR/MR/VR:

Первая - про кейсы в медицине: от поддержки хирургических операций до визуализации УЗИ-снимков в 3D. https://blogs.windows.com/windowsexperience/2018/03/08/how-mixed-reality-is-changing-the-game-for-healthcare-from-performing-live-surgeries-to-delivering-ultrasounds-in-3d #medicine #vr #mr

Вторая - про кейсы в образовании: от классических дополненных учебников до интерактивных стенок в спортзале.

https://medium.com/inborn-experience/usage-of-augmented-reality-in-education-be783e0159a #education #ar

Пара около-фейсбучных статей про VR (не все же про приватность мусолить). Первая — от Екатерины Костюковой, VR-дизайнера в Facebook, про VR и FB Spaces как возможность оставаться на связи в любое время и любом месте.

Катя рассказывает личную историю эволюции коммуникаций в разорванной расстоянием семье: от дорогих телефонных международных звонков к первым видео-звонкам в Skype, когда стало возможным видеть друг друга, и к VR, как следующему шагу.

Хотя сегодня VR не является массовым продуктом (в масштабе "есть у каждого дома"), команда Facebook нацелена именно на такое будещее. С помощью FB Space вы сможете почувствовать, как будто вы находитесь в одной комнате вместе со своими друзьями, семьей и т. п. В основе такого опыта лежат люди.

Команда выделает 3 типа ощущения присутствия:
— Само-ощущение: "я чувствуют, что это именно я в VR"
— Социальное ощущение: "я чувствую, что я с другими людьми"
— Пространственное ощущение: "я чувствую, что я именно здесь"

Само-ощущение ставит множество вопросов по трансляции индивидуальности: от системы настройки аватаров до степени их реалистичности (оказывается, что излишняя реалистичность наоборот отпугивает). Социальное ощущение требует наличия узнаваемых черт (лица, поведения и т.п.), выражения социального контакта (жесты, взгляд, эмоции). Сегодня тут много аспектов, которые в силу технических ограничений приходится симулировать. Пространственное ощущение оказывается влияет на диалог (одно дело общаться внутри собора или храма, другое — в темном подвале). Текущее решение — нейтральное окружение с возможностью настроить его с помощью 360 фото или видео.

Другое направление поиска — это синхронные и асинхронные коммуникации. Если первое — это "просто" встречи в VR, когда все собрались в одно время. То второе — это отложенный эффект через селфи, видео и живые трансляции.

Еще одна тема: симметричность и ассиметричность связи. Симметричная связь — это когда все участники используют сопоставимые VR-устройства и получают схожий опыт. Но мы пока не тут. Поэтому возникает вопрос, как сделать ассиметричную коммуникацию, когда кто-то в шлеме, а кто-то, скажем, просто с камерой мобильного устройства или веб-камерой.

https://medium.com/facebook-design/how-vr-and-facebook-spaces-helps-us-stay-connected-anytime-anywhere-11b2732e0ed9 #vr #design #experience

Вторая история, всплавшая в моей ленте, от Gabriel Valdivia из дизайн-команды JigSaw (дочка Alphabet). Статья, как ни странно, годичной давности, когда Габриель работал в Facebook. Соответственно, рассказ посвящен опыту проектирования FB для мобильного VR.

Миссия команды иммерсивного дизайна — помочь людям пережить моменты как будто они в них действительно участвовали. Все началось с возможности добавить и смотреть фото и видео в 360 просто в ленте пользователей (в том числе из мобильных приложений). Для еще большего погружения команда сделала приложение Facebook 360 (тогда для Savsung Gear VR).

Уроки:
— Контекст просмотра 360-контента существенно отличается в VR. С мобильными устройствами люди смотрят ленту по несколько раз в день. В VR это скорее более выборочные и длинные сессии. Люди обычно специально выделяют время для иммерсивного опыта.
— Хотя людям нравится смотреть 360-контент с мобильных устройств, взаимодействовать с ним, двигая телефоном, может быть неудобно. Особенно в публичных местах. Отсюда появилась сквозная интеграция с возможностью отложить контент на телефоне, чтобы потом посмотреть его в шлеме.
— Когда человек уже в шлеме, возникла вторая задача — помочь ему найти классный контент, который он обычно не находил сам. Отсюда появился отдельный поток Explore. Понравившийся контент можно фоловить, поэтому в VR фактически появляется отдельная лента, независимая от обычного опыта потребления.

5 дизайн-требований, направлявших проектирование приложения:
1. Пассивный иммерсивный опыт. Оказалось, что большинство пользователей используют шлем, сидя в кресле или на кровати (а не стоя). А взаимодействие с тачпадом на шлеме утомляет. Решением стал автоматический переход к следующей порции контента, если пользователь не возвращается к сетке (контента).
2. Поддержка дополнительных путей. По возможности дизайнеры закладывали возможность достичь нужной цели несколькими способами. Например, управлять можно взглядом или с тачпада.
3. Использование глубины для поддержки иерархии. Центральная точка собирает внимание, поэтому естественным становится ранжирование информации по дальности. При этом окна превью можно использовать как "окна в другой мир".
4. Оптимизация для медлительности. Исходя из взаимодействия направлением взгляда как основным способом, нужно было снять нагрузку с точности позиционирования и тем самым облегчить пользователю жизнь. Отсюда точки притяжения в интерфейсе.
5. Все всегда нужно пробовать в шлеме. С новичками и экспертами. Проверяйте все гипотезы, предположения, комфортные зоны, ментальные модели и т.п. как можно раньше. То, что кажется очевидным в 2D на экране, часто оказывается более сложным для восприятия в шлеме в шлеме.

p.s. Иммерсивный = погружающий

https://medium.com/inborn-experience/designing-facebook-for-mobile-vr-df4823282d02 #vr #experience #design

Про прикладной AR/MR/VR. А ближайшие выходные (13-15 апреля) наши друзья из AVRA проводят в Москве новый хакатон для проектов по дополненной и виртуальной реальности.

Если вы, как говорится, в теме, и думаете, чем полезным заняться, очень рекомендую заглянуть и сделать что-нибудь прикольное, скажем, под Windows Mixed Reality. 😉

https://avrahackathon.ru #ar #mr #vr #hacking

Если вы занимаетесь разработкой под VR, то вот отличный рассказ о том, как проектировать, точнее прототипировать решения на бумаге и дальше их тестировать. https://blog.prototypr.io/vr-paper-prototyping-9e1cab6a75f3 #VR #UX #prototype #paper

Тут ребята из Graz University of Technology в Австрии развлекаются с дронами и Hololens, симулируя "рентгеновское зрение" через стенку.

Представьте, что у вас есть схематичная модель помещения (например, сделанная по 3D-планам или формируемая динамично из облака точек). Вы стоите за стенкой, а внутри летает небольшой дрон с камерой. Через очки виртуальной реальности вы можете указывать дрону, куда ему подлететь и что показать. А сами можете переключаться между видами: от своего первого лица, со стороны, или от лица дрона.

Вся эта история может также реализовываться в VR.

https://spectrum.ieee.org/automaton/robotics/drones/see-straight-through-walls-by-augmenting-your-eyeballs-with-drones #drones #vr #mr #hololens

Почему это круто?
1. Иметь рентгеновское зрение — мечта людей со времен появления Супермена, если не раньше.
2. Это еще один эксперимент в области удаленных аватаров, когда мы можем не просто смотреть 360-видео какого-то места, а получаем эффект удаленного присутствия с погружением. Причем, дрон дает даже больше динамических возможностей по сравнению с человеко-подобными аватарами. (Отдельный вопрос — это восприятие такого наблюдателя участниками фактической сцены.)
3. Ну и масса применений — от военных операций и пейнтболла до "залезть через узкий проход в пирамиду Хеопса и увидеть все как бы своими глазами".

Если вы вдруг пропустили (примерно как я неделю назад проглядел полноту анонса за крутыми гифками мелькавшими в ленте): Leap Motion разрабатывает свой шлем дополненной реальности. Причем железо и связанное программное железо будут опенсорсными.

Почему это важно?
1. Каждый новый игрок в сфере AR/MR/VR расширяет общую историю, вносит новую перспективу или точку зрения. Leap Motion тут неслучайный игрок — компания давно сидит в нише естественных интерфейсов, которые критичны для AR/MR/VR. А их сенсоры для захвата движения рук начали приделывать к шлемам виртуальной реальности еще до того, как они сами выпустили соответствующую редакцию.
2. Путь Leap Motion от сенсоров удаленного считывания информации к шлемам в чем-то похож на путь Microsoft от Kinect к шлемам Hololens. Но примерно так же, как технологии Kinect были важны для построения карты пространства, технологии Leap Motion (или аналогов) становятся важны для трекинга движения рук, как более естественного способа управления, чем контроллеры (хотя я лично думаю, что тут всегда будет какая-то смесь).
3. Не понятно, насколько история с собственным шлемом важна для Leap Motion как отдельный продукт, так как сейчас это скорее позиционируется как исследовательский проект. Но даже тут видна амбиция вывести на новый уровень именно UX-составляющую, что особенно важно, когда в индустрии явно наблюдается кризис развития систем управления.

Анонс: http://blog.leapmotion.com/northstar
Детали: http://blog.leapmotion.com/our-journey-to-the-north-star
#ar #mr #vr #hands #tracking

Не могу пройти мимо! Новый VR-кейс от LeapMotion - эксплорер кота! Помимо того, что это просто классно и интерактивно сделано (я уже писал выше, что LM может пробить новую планку в качестве VR-интерфейсов), важен сюжет: рассматривать внутренности котов даже интереснее, чем людей.

p.s. Я теперь мечтаю, чтобы такое же было в AR/MR, когда можно навести камеру/очки на котика и получить анимированные подробности внутреннего устройства животинки. #vr #mr #ar #case #ux #cat #education

http://blog.leapmotion.com/designing-cat-explorer/

Небольшая важная новость. Я как-то пропустил, а оказывается HTC Vive анонсировала 3DSP audio SDK для работы с пространственным звуком. Внутри много облегчающего жизнь рабработчиков VR (если, конечно, вы хотите создать по-настоящему погружающий опыт ;).

https://www.vrfocus.com/2018/06/htc-vive-introduce-spatial-audio-sdk/

#vr #spatial #audio