Про аудио-измерение AR/MR/VR. Я уже несколько раз писал о том, что spatial audio (пространственный звук) в опыте погружения в любую реальность не менее важно, чем видео канал. Вот еще один взгляд на это от Bilboard в контексте запуска Pixel Buds от Google. По началу может показаться, что речь идет просто о более удобном формфакторе: сделали вкладыши беспроводными, значит не нужно путаться в проводах, плюс получили "цифровой" звук по bluetooth. Но тут же оказывается, что в дополнение идет подавление звука (noise canceling), позволяющее в нужной пропорции фильтровать или смешивать внешние и подаваемые звуки, плюс микрофон для общения. И вот в этом миксе появляются фантастические (ранее) идеи о том, что можно "дополнять" или изменять звуковую картину вокруг. Хотите слышать шумы, но чуть потише? Пожалуйста. Хотите отфильтровать в метро звук колес? Давайте попробуем. Хотите смешать звук на концерте с более "чистым" звучанием? Почему бы и нет. Сюда же все идеи перевода на лету, подстройки музыки под ритм бега и т.п. Большая тема, в общем! :) www.billboard.com/articles/business/7998347/how-augmented-reality-audio-soundtrack-your-life #ar #mr #vr #audio #spatial

Я думаю, многи из вас пробовали или видели Prezi — платформу для создания презентаций из большого холста, с поворотами, масштабированием и т.п. Сегодня авторы инструмента думают, куда его развивать дальше. И один из вариентов — в сторону дополненной реальности, особенно с фокусом на удаленные презентации, в которых хочется одновременно показывать человека и визуальные объекты. https://www.wired.com/story/prezi-augmented-reality/ Пока, правда, больше похоже на просто наложение графики поверх съемки с камерой (в этом смысле это скорее классический AR), но мне лично кажется, что направление мысли очень даже правильное. Посмотреть, как это работает на практике можно в лекции Robert Sapolsky с TED (https://www.ted.com/talks/robert_sapolsky_the_biology_of_our_best_and_worst_selves#t-394609). #AR #presentations #slides #noslides

Немного технический пост про дополненную реальность на мобильных устройствах. Если вы пишите на Xamarin, то вот вам две инструкции: 1) использование ARKit на iOS https://blog.xamarin.com/augment-reality-xamarin-ios-11/, и использование ARCore на Android https://blog.xamarin.com/augmented-reality-xamarin-android-arcore/ #ar #mobile #cross #platform

VC и Андрей Себрант (@techsparks) вчера под вечер уже написали про историю стартапа DopplerLabs, который объявил о своем закрытии. Вкратце — они были одними из пионеров "по-настоящему" беспроводных наушников с активным шумопдавлением и т.п. Причем начинали с физических акустических фильтров для ушей и их последний продукт - HereOne по функциональности действительно был одним из лидеров рынка. Но не сложилось... как только выяснилось, что ниша знаковая и в нее ломанулись все большие игроки. Лично я думал купить себе такие наушники в середине сентября, но удержался из-за цены и желания подождать, как после CES на эту нишу отреагируют большие игроки (об этом я уже писал).

Добавлю еще несколько деталей в эту историю, делающие ее еще более грустной... Первое, что бросается в глаза, это что миссия команды была не в том, чтобы занять именно лидерские позиции в сегменте (хотя, наверняка, хотелось). Они хотели сделать звук максимально персонализированным и даже приводили аналогию с линзами для глаз, которые подбираются всегда под личные особенности зрения. Вот также и со звуком. Причем явный акцент и в миссии, и в софте с железом делался на людей с ограниченными возможностями. И новый невыпущенный продукт только усиливал этот акцент. Найдите в описании флагманских наушников от Apple, Google или, скажем, Sony упоминание темы accessibility. (Подсказка: его там нет.) И вот этот "гуманный" аспект он просто проходит красной нитью через все статьи, посвященные закрытию проекта. Очень-очень жаль, что так все обернулось.

Второе, как это часто бывает (особенно) с железячными стартапами, нужен опыт в производстве электроники — от подбора комплектующих и надежности (и предсказуемости) поставщиков и сборки до четко выверенных консьюмерских параметров. И это то, где "гиганты", как только они почувствуют в нише деньги, всегда будут "бить" маленьких игроков. Что пошло не так? “We fucking started a hardware business!” Не кстати, если можно так сказать, оказалось и то, что long-term ценность этого сегмента не в самих устройствах, а сервисах вокруг них. Создатели думали, что дальше они будут постепенно добавлять интеллектуальные сервисы вроде голосового перевода, а оказалось, что для гигантов вроде Google намного легче сделать железо к уже существующим сервисам, чем для Doppler Lab сделать свои сервисы к уже созданному железу. Поучительно, конечно.

https://www.wired.com/story/inside-the-downfall-of-doppler-labs/
#ar #augmented #sound #acoustic #filters

Когда разные игроки начали приделывать к приложению камеры различные "линзы" (а это было, например, на заре Windows Phone с огромным фокусом Nokia на качественных камерах), казалось, что это просто интересный API. Когда разные другие игроки начали приделывать к съемке фотографий живые фильтры, привязанные к лицам, казалось, что просто прикольные AI-проекты (CV). Когда Snapchat начал поговаривать о себе, как о camera platfrom, что-то начало шевелиться. Когда FB, стараясь обогнать Apple сказал, что AR вот уже здесь в камере, казалось, ну да, что-то в этом есть. Когда потом Apple выпустил ARKit, Google - ARCore и MSFT - показала интеграцию MR в приложения работа с фото/видео/камерой, тема, наконец-то, всплыла на поверхность и стала массово очевидной.

NewCo Shift пишет о том, как "линзы" для камер становятся новыми приложениями в мире пространственных вычислений (spatial computing). "Камера объединит во времени и пространстве реальный мир и мир интернета".

https://shift.newco.co/spatial-computing-the-os-migrates-to-the-camera-627d6fab0778 #AR #Camera #MR

Наконец-то дошли руки перевести в текст мой рассказ на AVRA Days в Skolkovo. Про будущее AR/MR/VR, следующие большие битвы и направления, множество открытых вопросов и судьбы человечества. https://outofline.ru/5-важных-направлений-в-развитии-ar-mr-vr-и-прочих-реальностей-b702758ee104 #ar #mr #vr #future

В начале года Microsoft купила шведскую компанию Simplygon, разрабатывающие технологии оптимизации трехмерных моделей. После некоторого периода внутренней инкубации, теперь технологии Simplygon доступны в виде облачного сервиса - Simplygon Cloud! На вход принимаются GLTF, FBX и OBJ, на выходе модели для HoloLens и Windows Mixed Reality, ARKit на iOS, ARCore на Android, и WebGL для браузеров. https://blogs.windows.com/buildingapps/2017/12/07/microsoft-announces-simplygon-cloud-optimizes-mixed-reality-development/ #ar #mr #vr #graphics #optimization

p.s. Работает в вариантах Azure и Azure Stack

Про новый 845 чипсет от Qualcomm - обратите внимание на развитие возможностей для обработки изображений с явным фокусом на AR/MR/VR-сценарии: обработка глубины, трекинг рук и пространства, 3D-звук, голосовые команды и вот это все. https://www.slashgear.com/qualcomm-snapdragon-845-official-06511037/ #chipset #hardware #ar #mr #vr

Вторая новость, которая кажется фантастической, особенно, когда смотришь на видео применение AR для ориентации в заросшем лесу, как в каком-то голливудском кино, но все правда. Команда археологов, занимающаяся культурой индейцев майя, просканировала массив леса с помощью лидаров и нашла около 60000 скрытых каменных структур — "мегаполис маайяского короля змей". Причем, как говорят сами исследователи, мимо некоторых из них они годами ходили, не замечая. Огромный прорыв: как с точки зрения технологий - в результате сканирования получился самый крупный массив данных, сделанный лидаром, так и с точки зрения истории - по оценкам население мегаполиса в 250-900 гг. было больше, чем в средневековой Англии. https://www.fastcodesign.com/90159465/a-lost-city-of-the-mayan-snake-kings-has-been-discovered #history #technology #ar

Продолжаем. Пара подборок тематичных кейсов в AR/MR/VR:

Первая - про кейсы в медицине: от поддержки хирургических операций до визуализации УЗИ-снимков в 3D. https://blogs.windows.com/windowsexperience/2018/03/08/how-mixed-reality-is-changing-the-game-for-healthcare-from-performing-live-surgeries-to-delivering-ultrasounds-in-3d #medicine #vr #mr

Вторая - про кейсы в образовании: от классических дополненных учебников до интерактивных стенок в спортзале.

https://medium.com/inborn-experience/usage-of-augmented-reality-in-education-be783e0159a #education #ar

Интересная новость из мира дополненной реальности. Bose также входит на этот рынок, выпуская очки дополненной реальности. Но! Это не то, о чем большинство могло бы подумать, вспоминая Google Glass и другие похожие проекты. Bose специализируется на аудио, поэтому это очки для дополненной звуковой реальности.

Интересно также, что очки — это просто прототип реализации, а сама компания целится в платформенную историю с амбицией сделать именно Audio AR платформу. Помимо работы с аудио-информацией платформа также учитывает сигналы от сенсоров движения головы (например, для управления жестами) и работает с локационными сервисами подключенного смартфона (например, данными GPD). Желающие могут подать заявку на ранний доступ к SDK для Bose AR.

https://www.theverge.com/circuitbreaker/2018/3/9/17100410/bose-ar-platform-audio-augmented-reality-glasses-headphones-sxsw #audio #AR #platform

Про прикладной AR/MR/VR. А ближайшие выходные (13-15 апреля) наши друзья из AVRA проводят в Москве новый хакатон для проектов по дополненной и виртуальной реальности.

Если вы, как говорится, в теме, и думаете, чем полезным заняться, очень рекомендую заглянуть и сделать что-нибудь прикольное, скажем, под Windows Mixed Reality. 😉

https://avrahackathon.ru #ar #mr #vr #hacking

Если вы вдруг пропустили (примерно как я неделю назад проглядел полноту анонса за крутыми гифками мелькавшими в ленте): Leap Motion разрабатывает свой шлем дополненной реальности. Причем железо и связанное программное железо будут опенсорсными.

Почему это важно?
1. Каждый новый игрок в сфере AR/MR/VR расширяет общую историю, вносит новую перспективу или точку зрения. Leap Motion тут неслучайный игрок — компания давно сидит в нише естественных интерфейсов, которые критичны для AR/MR/VR. А их сенсоры для захвата движения рук начали приделывать к шлемам виртуальной реальности еще до того, как они сами выпустили соответствующую редакцию.
2. Путь Leap Motion от сенсоров удаленного считывания информации к шлемам в чем-то похож на путь Microsoft от Kinect к шлемам Hololens. Но примерно так же, как технологии Kinect были важны для построения карты пространства, технологии Leap Motion (или аналогов) становятся важны для трекинга движения рук, как более естественного способа управления, чем контроллеры (хотя я лично думаю, что тут всегда будет какая-то смесь).
3. Не понятно, насколько история с собственным шлемом важна для Leap Motion как отдельный продукт, так как сейчас это скорее позиционируется как исследовательский проект. Но даже тут видна амбиция вывести на новый уровень именно UX-составляющую, что особенно важно, когда в индустрии явно наблюдается кризис развития систем управления.

Анонс: http://blog.leapmotion.com/northstar
Детали: http://blog.leapmotion.com/our-journey-to-the-north-star
#ar #mr #vr #hands #tracking

Я уже как-то писал про движение Bose в сторону аудио-дополненной реальности, включая выпуск специальных очков со встроенными динамиками. Одно из самых очевидных применений подобных технологий — это туры по городам. Поэтому не удивительно, что Bose пошла в это направление, прикупив наработки стартапа Detour.

TechCrunch пишет немного о странностях данной покупки. Detour взлетел в 2015 году с гидами по Сан-Франциско, выпустив интерактивные туры по городу, привязанные к гео-локациям. Внутри команда Detour не просто готовила нарезку аудио-фрагментов и делала мобильные приложения для персональных гидов, но и сделала специальные инструменты для подготовки таких гидов. Одна из наработок - инструмент для редактирования аудио-фрагментов через транскрибированные тексты, которая в конечном счете вылилась в новый стартап - Descript.

В общем, Bose оказалась как раз вовремя заинтересованной в контенте для своей новой платформы Bose AR и выкупила у основателей Detour гиды и часть тулинга. А команда последнего продолжила независимо заниматься развитием Descript.

Почему это интересно?
1. Пока основной фокус индустрии крутится вокруг зрительного канала, много интересного происходит в остальных направлениях - дополнение аудио, запахов, ощущений и т.п. Мне кажется, тут огромный потенциал сам по себе, не говоря уже о том, что AR/MR, без этих каналов, будет неполноценной.
2. С точки зрения стартап-индустрии, эта история является хорошей иллюстрации паттерна перехода от узкого интереса к более массовому рынку. Команда начала с узкой собственной боли: как готовить аудио-гиды быстрее. Для этого они сделали простой тулинг, позволяющий редактировать аудио через текст. Дальше оказалось, что эта потребность расширяется и на другие ниши - подкасты, аудио-версии статей, расшифровка интервью и т.п. В этот момент команда решила полностью сконцентрироваться на самом тулинге, а не конечном продукте.

https://techcrunch.com/2018/04/24/bose-acquires-andrew-masons-walking-tour-startup-detour/
#audio #ar #mr #tooling

Две новости про стикеры, фильтры и т.п. как платформу.

1. Snap запускает платформу разработки (SDK) -- Snap Kit для расширения функциональности камеры Snapchat и интеграции сервиса в свои приложения. Фактически, речь идет о четырех направлениях: 1) дать возможность расширить камеру собственными стикерами, фильтрами и ссылками, 2) позволить создавать динамичные стикеры (открытки), 3) расширить использование аватаров снэпа, Bitmoji, в других приложениях, и 4) разрешить сторонним приложениям искать и встраивать публичные истории из снэпа в свои приложения.

Ну и само собой, возможность залогиниться в чужое приложение с помощью аккаунта снэпчата.

Анонс на TheVerge: https://www.theverge.com/2018/1/30/16949402/bitmoji-deluxe-snapchat-customization
Snap Kit: https://kit.snapchat.com

2. Google (потихоньку) расширяет AR-стикеры на дополнительные устройства. Функция "дополненных" стикеров позволяла накладывать трехмерные объекты и текста на фотографии, но до сих пор была доступна только на собственных устройствах - Google Pixel. Сейчас компания расширала доступность приложения на флагман от LG - G7 ThinQ.

Анонс на TheVerge: https://www.theverge.com/2018/6/12/17453296/lg-google-pixel-ar-stickers-thinq-g7

--
Что связывает эти две истории?
Обычно про AR думают как о чем-то, происходящем в реальном времени с экрана смартфона/планшета, очков и т.п., но в сущности тема AR столько же актуальна и для отложенного взаимодействия с реальностью -- через фотографии, истории, стикеры и т.п.

В этом смысле два примера выше бьют в нишу между профессиональным производством контента (кино, спецэффекты и т.п.) и "дополнением" в реальном времени. И есть позозрение, что эта ниша будет постепенно складываться в континуум: как платформенно-инструментальный (например, AR стикеры используют тот же ARCore), так и контентный (я, например, жду в ближайшие 2-3 года первого фантастического фильма со спецэффектами, снятого и смонтированного целиком на iPhone/Android).

#ar #mr #image #camera

Не могу пройти мимо! Новый VR-кейс от LeapMotion - эксплорер кота! Помимо того, что это просто классно и интерактивно сделано (я уже писал выше, что LM может пробить новую планку в качестве VR-интерфейсов), важен сюжет: рассматривать внутренности котов даже интереснее, чем людей.

p.s. Я теперь мечтаю, чтобы такое же было в AR/MR, когда можно навести камеру/очки на котика и получить анимированные подробности внутреннего устройства животинки. #vr #mr #ar #case #ux #cat #education

http://blog.leapmotion.com/designing-cat-explorer/

Я много пишу про звуковую дополненную реальность. Вот еще два кирпичика в тему:

По слухам, Apple работает над наушниками AirPods с шумо-подавлением.
Почему это важно:
1) Маленький носимый беспроводной формат, в котором можно "менять" звуковую составляющую реальности, то есть гасить ненужные шумы/звуки (например, от транспорта) и повышать или добавлять нужные (например, навигацию в городе).
2) Маркетинг Apple в связке с качеством может вывести продукт в массы, в том числе в связке с картами и ARKit.
https://www.theverge.com/circuitbreaker/2018/6/25/17500490/apple-airpods-noise-cancellation-2019-over-ear-headphones-homepod

Amazon сделал специальную версию Alexa для отелей.
Соответственно, в вашей следующей комнате отеля может появиться колонка Echo, фактически, заменяющая стандартный телефон для связи с ресепшеном (заказ уборки, напоминалки, и т.п.) + управление разными объектами (освещение, кондиционер, жалюзи и т.п.).

Почему это интересно:
1) Это логичный следующий шаг в распространении сервиса от Amazon. Ведь туда же можно подключать музыку, доставку и т.п. + Канал для рекламы.
2) Для параноиков и лиц, озабоченных собственной приватностью, это визуализированный и опредмеченный вопрос: "а вот эта штука в моей приватной комнате меня записывает?"
https://www.theverge.com/2018/6/19/17476688/amazon-alexa-for-hospitality-announced-hotels-echo

#audio #AR

Недавно я писал про Snapchat в разрезе их замашек выйти существенно за рамки своей экосистемы и застолбить за собой место на рынке AR. Вот еще один взгляд на эту историю: у нескольких компаний в разрезе пользовательской аудитории есть анимированные аватары (например, аватары Xbox в случай Microsoft, Memoji от Apple, аватары в Facebook Spaces и т.п.) и Snap тут не исключение со своими Bitmoji-аватарами.

И вот, раз основной фокус компании — камера, очевидный следующий шаг — запихнуть этим аватары в AR, причем не просто дать возможность размещать свои аватары поверх каких-то объектов, а делать из этого истории, своего рода минимультики, в которых главным героем является ваш собственный аватар. Внутри Snap над такими сюжетами работает целая команда аниматоров, пришедших из гигантов мультипликации Disney и DreamWorks.

The New York Times рассказывает подробнее об этой работе: https://www.nytimes.com/2018/06/14/movies/snapchat-3d-bitmoji-animation-augmented-reality.html

#ar #avatars #camera

Ребята из IrisGlobal (Калифорния) делают интересный VR-проект, который, хотя и базируется на VR-технологиях, на самом деле AR. Идея простая: если на смартфоне есть хорошая камера и хороший экран, то почему бы не использовать комбинацию смартфона и специального шлема вместо очков для коррекции зрения?

Фокус в том, что искажения зрительного поля софтверно делать сильно проще, чем физически, и более того — оно оказывается динамически регулируемым. Ну и новые возможности добавляются простым обновлением вместо смены очков.

В ролике ниже Dr. Rhew из Самсунга рассказывает, как работает технология (Samsung является партнером проекта):

https://www.youtube.com/watch?v=upKZlvetou4 #vr #ar #inclusion #accessibility