Про новый 845 чипсет от Qualcomm - обратите внимание на развитие возможностей для обработки изображений с явным фокусом на AR/MR/VR-сценарии: обработка глубины, трекинг рук и пространства, 3D-звук, голосовые команды и вот это все. https://www.slashgear.com/qualcomm-snapdragon-845-official-06511037/ #chipset #hardware #ar #mr #vr

Вторая новость, которая кажется фантастической, особенно, когда смотришь на видео применение AR для ориентации в заросшем лесу, как в каком-то голливудском кино, но все правда. Команда археологов, занимающаяся культурой индейцев майя, просканировала массив леса с помощью лидаров и нашла около 60000 скрытых каменных структур — "мегаполис маайяского короля змей". Причем, как говорят сами исследователи, мимо некоторых из них они годами ходили, не замечая. Огромный прорыв: как с точки зрения технологий - в результате сканирования получился самый крупный массив данных, сделанный лидаром, так и с точки зрения истории - по оценкам население мегаполиса в 250-900 гг. было больше, чем в средневековой Англии. https://www.fastcodesign.com/90159465/a-lost-city-of-the-mayan-snake-kings-has-been-discovered #history #technology #ar

Продолжаем. Пара подборок тематичных кейсов в AR/MR/VR:

Первая - про кейсы в медицине: от поддержки хирургических операций до визуализации УЗИ-снимков в 3D. https://blogs.windows.com/windowsexperience/2018/03/08/how-mixed-reality-is-changing-the-game-for-healthcare-from-performing-live-surgeries-to-delivering-ultrasounds-in-3d #medicine #vr #mr

Вторая - про кейсы в образовании: от классических дополненных учебников до интерактивных стенок в спортзале.

https://medium.com/inborn-experience/usage-of-augmented-reality-in-education-be783e0159a #education #ar

Интересная новость из мира дополненной реальности. Bose также входит на этот рынок, выпуская очки дополненной реальности. Но! Это не то, о чем большинство могло бы подумать, вспоминая Google Glass и другие похожие проекты. Bose специализируется на аудио, поэтому это очки для дополненной звуковой реальности.

Интересно также, что очки — это просто прототип реализации, а сама компания целится в платформенную историю с амбицией сделать именно Audio AR платформу. Помимо работы с аудио-информацией платформа также учитывает сигналы от сенсоров движения головы (например, для управления жестами) и работает с локационными сервисами подключенного смартфона (например, данными GPD). Желающие могут подать заявку на ранний доступ к SDK для Bose AR.

https://www.theverge.com/circuitbreaker/2018/3/9/17100410/bose-ar-platform-audio-augmented-reality-glasses-headphones-sxsw #audio #AR #platform

Про прикладной AR/MR/VR. А ближайшие выходные (13-15 апреля) наши друзья из AVRA проводят в Москве новый хакатон для проектов по дополненной и виртуальной реальности.

Если вы, как говорится, в теме, и думаете, чем полезным заняться, очень рекомендую заглянуть и сделать что-нибудь прикольное, скажем, под Windows Mixed Reality. 😉

https://avrahackathon.ru #ar #mr #vr #hacking

Если вы вдруг пропустили (примерно как я неделю назад проглядел полноту анонса за крутыми гифками мелькавшими в ленте): Leap Motion разрабатывает свой шлем дополненной реальности. Причем железо и связанное программное железо будут опенсорсными.

Почему это важно?
1. Каждый новый игрок в сфере AR/MR/VR расширяет общую историю, вносит новую перспективу или точку зрения. Leap Motion тут неслучайный игрок — компания давно сидит в нише естественных интерфейсов, которые критичны для AR/MR/VR. А их сенсоры для захвата движения рук начали приделывать к шлемам виртуальной реальности еще до того, как они сами выпустили соответствующую редакцию.
2. Путь Leap Motion от сенсоров удаленного считывания информации к шлемам в чем-то похож на путь Microsoft от Kinect к шлемам Hololens. Но примерно так же, как технологии Kinect были важны для построения карты пространства, технологии Leap Motion (или аналогов) становятся важны для трекинга движения рук, как более естественного способа управления, чем контроллеры (хотя я лично думаю, что тут всегда будет какая-то смесь).
3. Не понятно, насколько история с собственным шлемом важна для Leap Motion как отдельный продукт, так как сейчас это скорее позиционируется как исследовательский проект. Но даже тут видна амбиция вывести на новый уровень именно UX-составляющую, что особенно важно, когда в индустрии явно наблюдается кризис развития систем управления.

Анонс: http://blog.leapmotion.com/northstar
Детали: http://blog.leapmotion.com/our-journey-to-the-north-star
#ar #mr #vr #hands #tracking

Я уже как-то писал про движение Bose в сторону аудио-дополненной реальности, включая выпуск специальных очков со встроенными динамиками. Одно из самых очевидных применений подобных технологий — это туры по городам. Поэтому не удивительно, что Bose пошла в это направление, прикупив наработки стартапа Detour.

TechCrunch пишет немного о странностях данной покупки. Detour взлетел в 2015 году с гидами по Сан-Франциско, выпустив интерактивные туры по городу, привязанные к гео-локациям. Внутри команда Detour не просто готовила нарезку аудио-фрагментов и делала мобильные приложения для персональных гидов, но и сделала специальные инструменты для подготовки таких гидов. Одна из наработок - инструмент для редактирования аудио-фрагментов через транскрибированные тексты, которая в конечном счете вылилась в новый стартап - Descript.

В общем, Bose оказалась как раз вовремя заинтересованной в контенте для своей новой платформы Bose AR и выкупила у основателей Detour гиды и часть тулинга. А команда последнего продолжила независимо заниматься развитием Descript.

Почему это интересно?
1. Пока основной фокус индустрии крутится вокруг зрительного канала, много интересного происходит в остальных направлениях - дополнение аудио, запахов, ощущений и т.п. Мне кажется, тут огромный потенциал сам по себе, не говоря уже о том, что AR/MR, без этих каналов, будет неполноценной.
2. С точки зрения стартап-индустрии, эта история является хорошей иллюстрации паттерна перехода от узкого интереса к более массовому рынку. Команда начала с узкой собственной боли: как готовить аудио-гиды быстрее. Для этого они сделали простой тулинг, позволяющий редактировать аудио через текст. Дальше оказалось, что эта потребность расширяется и на другие ниши - подкасты, аудио-версии статей, расшифровка интервью и т.п. В этот момент команда решила полностью сконцентрироваться на самом тулинге, а не конечном продукте.

https://techcrunch.com/2018/04/24/bose-acquires-andrew-masons-walking-tour-startup-detour/
#audio #ar #mr #tooling

Две новости про стикеры, фильтры и т.п. как платформу.

1. Snap запускает платформу разработки (SDK) -- Snap Kit для расширения функциональности камеры Snapchat и интеграции сервиса в свои приложения. Фактически, речь идет о четырех направлениях: 1) дать возможность расширить камеру собственными стикерами, фильтрами и ссылками, 2) позволить создавать динамичные стикеры (открытки), 3) расширить использование аватаров снэпа, Bitmoji, в других приложениях, и 4) разрешить сторонним приложениям искать и встраивать публичные истории из снэпа в свои приложения.

Ну и само собой, возможность залогиниться в чужое приложение с помощью аккаунта снэпчата.

Анонс на TheVerge: https://www.theverge.com/2018/1/30/16949402/bitmoji-deluxe-snapchat-customization
Snap Kit: https://kit.snapchat.com

2. Google (потихоньку) расширяет AR-стикеры на дополнительные устройства. Функция "дополненных" стикеров позволяла накладывать трехмерные объекты и текста на фотографии, но до сих пор была доступна только на собственных устройствах - Google Pixel. Сейчас компания расширала доступность приложения на флагман от LG - G7 ThinQ.

Анонс на TheVerge: https://www.theverge.com/2018/6/12/17453296/lg-google-pixel-ar-stickers-thinq-g7

--
Что связывает эти две истории?
Обычно про AR думают как о чем-то, происходящем в реальном времени с экрана смартфона/планшета, очков и т.п., но в сущности тема AR столько же актуальна и для отложенного взаимодействия с реальностью -- через фотографии, истории, стикеры и т.п.

В этом смысле два примера выше бьют в нишу между профессиональным производством контента (кино, спецэффекты и т.п.) и "дополнением" в реальном времени. И есть позозрение, что эта ниша будет постепенно складываться в континуум: как платформенно-инструментальный (например, AR стикеры используют тот же ARCore), так и контентный (я, например, жду в ближайшие 2-3 года первого фантастического фильма со спецэффектами, снятого и смонтированного целиком на iPhone/Android).

#ar #mr #image #camera

Не могу пройти мимо! Новый VR-кейс от LeapMotion - эксплорер кота! Помимо того, что это просто классно и интерактивно сделано (я уже писал выше, что LM может пробить новую планку в качестве VR-интерфейсов), важен сюжет: рассматривать внутренности котов даже интереснее, чем людей.

p.s. Я теперь мечтаю, чтобы такое же было в AR/MR, когда можно навести камеру/очки на котика и получить анимированные подробности внутреннего устройства животинки. #vr #mr #ar #case #ux #cat #education

http://blog.leapmotion.com/designing-cat-explorer/

Я много пишу про звуковую дополненную реальность. Вот еще два кирпичика в тему:

По слухам, Apple работает над наушниками AirPods с шумо-подавлением.
Почему это важно:
1) Маленький носимый беспроводной формат, в котором можно "менять" звуковую составляющую реальности, то есть гасить ненужные шумы/звуки (например, от транспорта) и повышать или добавлять нужные (например, навигацию в городе).
2) Маркетинг Apple в связке с качеством может вывести продукт в массы, в том числе в связке с картами и ARKit.
https://www.theverge.com/circuitbreaker/2018/6/25/17500490/apple-airpods-noise-cancellation-2019-over-ear-headphones-homepod

Amazon сделал специальную версию Alexa для отелей.
Соответственно, в вашей следующей комнате отеля может появиться колонка Echo, фактически, заменяющая стандартный телефон для связи с ресепшеном (заказ уборки, напоминалки, и т.п.) + управление разными объектами (освещение, кондиционер, жалюзи и т.п.).

Почему это интересно:
1) Это логичный следующий шаг в распространении сервиса от Amazon. Ведь туда же можно подключать музыку, доставку и т.п. + Канал для рекламы.
2) Для параноиков и лиц, озабоченных собственной приватностью, это визуализированный и опредмеченный вопрос: "а вот эта штука в моей приватной комнате меня записывает?"
https://www.theverge.com/2018/6/19/17476688/amazon-alexa-for-hospitality-announced-hotels-echo

#audio #AR

Недавно я писал про Snapchat в разрезе их замашек выйти существенно за рамки своей экосистемы и застолбить за собой место на рынке AR. Вот еще один взгляд на эту историю: у нескольких компаний в разрезе пользовательской аудитории есть анимированные аватары (например, аватары Xbox в случай Microsoft, Memoji от Apple, аватары в Facebook Spaces и т.п.) и Snap тут не исключение со своими Bitmoji-аватарами.

И вот, раз основной фокус компании — камера, очевидный следующий шаг — запихнуть этим аватары в AR, причем не просто дать возможность размещать свои аватары поверх каких-то объектов, а делать из этого истории, своего рода минимультики, в которых главным героем является ваш собственный аватар. Внутри Snap над такими сюжетами работает целая команда аниматоров, пришедших из гигантов мультипликации Disney и DreamWorks.

The New York Times рассказывает подробнее об этой работе: https://www.nytimes.com/2018/06/14/movies/snapchat-3d-bitmoji-animation-augmented-reality.html

#ar #avatars #camera

Ребята из IrisGlobal (Калифорния) делают интересный VR-проект, который, хотя и базируется на VR-технологиях, на самом деле AR. Идея простая: если на смартфоне есть хорошая камера и хороший экран, то почему бы не использовать комбинацию смартфона и специального шлема вместо очков для коррекции зрения?

Фокус в том, что искажения зрительного поля софтверно делать сильно проще, чем физически, и более того — оно оказывается динамически регулируемым. Ну и новые возможности добавляются простым обновлением вместо смены очков.

В ролике ниже Dr. Rhew из Самсунга рассказывает, как работает технология (Samsung является партнером проекта):

https://www.youtube.com/watch?v=upKZlvetou4 #vr #ar #inclusion #accessibility