Обожаю такие истории. Казалось бы, в электронике уже изобрели все базовые элементы для микросхем (это сильное упрощение!), и в целом вся индустрия нацелена уже на одну цель: придуманное уменьшить, повысить эффективность, пересобрать в другой конфигурации и т.п., но никому в голову не приходит, что надо что-то радикальное сделать с транзисторами, скажем. Потому что не понятно, а что именно.

Потом вдруг кто-то (в данном случае Sungsik Lee из Pusan National University в Южной Корее) проводит исследование, причем скорее даже математическое моделирование, и находит пробел в условной матрице. В упрощенном виде, транзистор можно назвать переключателем силы тока (on/off), который под воздействием управляющего сигнала (тока или напряжения), либо пропускает основной сигнал, либо нет.

Сангсик задает вопрос: а что является аналогом для переключения напряжения? И готового ответа, оказывается, нет. Но ясно, что подобное устройство является своего рода комбинацией переноса воздействия через конденсатор, поэтому он предлагает назвать его trancitor (transfer + capacitor, условно, трансатор), и, в некотором смысле, его можно назвать инверсией транзистора.

Далее он описывает (теоретически) возможные свойства такого устройства и, как оно вписывается в сущестующие микросхемы (на уровне логики). Вписывается замечательно, потому что позволяет существенно снизить количество участвующих устройств (в работе приводится пример замены схемы из четырех транзисторов на транзистор + трансатор), повысить энергоэффективность схемы и, как следствие, продолжить миниатюризацию электроники.

Есть только одна проблема: сделать такое устройство. Сам автор исследования предлагает начать с использования эффекта Холла, однако, для этого надо научиться проектировать электронику на субатомном уровне. Это задача на несколько лет вперед. В общем, кажется, закон Мура будет еще долго жить.

https://www.technologyreview.com/s/611184/another-missing-component-could-revolutionize-electronics/ #hardware #electronics

Сама работа: https://arxiv.org/ftp/arxiv/papers/1805/1805.05842.pdf

Продолжаем тему распознавания реальности. Команда исследователей из Института Макса Планка научились восстанавливать трехмерную модель человека по монокулярному видео (посмотрите ролик). Вся схема работает в несколько шагов:
1. Сделать базовую трехмерную модель (отсканировать человека в одежде), включая скелет.
2. По видео предсказать расположение (видимых) опорных точек, перенести это на полную модель скелета, включая предсказание движений и учет ограничений.
3. Восстановить движение модели с разных точек обзора.

http://gvv.mpi-inf.mpg.de/projects/wxu/MonoPerfCap #video #analysis #ml #ai

Продолжаем рассказывать про новости Build 2018. Во второй статье я рассказываю про анонсы в Azure и ботах. Ну и приятным бонусом -- рассказ про архитектуру нашего облака от Марка Руссиновича. https://habr.com/company/microsoft/blog/359044/

Еще один кусочек будущего, в котором системы компьютерного зрения понимают мир вокруг и могут перевести его в нужный для человека формат. Группа исследователей из Калтеха и Университета Южной Калифорнии используют Hololens, чтобы динамично анализировать пространство вокруг слепого человека и для распознанных объектов (от стен до предметов интерьера) давать человеку аудио-подсказки в виде звуков (что-то похожее не белый шум от стен) или названий ("стул"). За счет пространственного звучания устройство также может давать аудио-подсказки: например, "следуй за мной" звучит впереди человека, позволяя ему действительно следовать за звуком. https://techcrunch.com/2018/05/29/hololens-acts-as-eyes-for-blind-users-and-guides-them-with-audio-prompts/ #mr #audio #accessibility

Хороших размеченных датасетов мало не бывает. Команда исследователей из Facebook, DigitalGlobe и MIT (и других университетов) запустила соревнование DeepGlobe Satellite Challenge по анализу спутниковых снимков поверхности земли. Участникам предлагается автоматизировать выделение трех типов информации: дорожная сеть, строения и использование земли.

Чтобы вам было проще обучать сеточки, организаторы предоставили три достаточно больших размеченных датасата: 9000 изображений с маской дорог, 24000 изображений с полигонами зданий и 1000 изображений с сегментированными масками типов земли/поверхности.

https://www.technologyreview.com/s/611198/the-machine-vision-challenge-to-better-analyze-satellite-images-of-earth/ #ai #ml #dataset #image #segmentation

Хотя я не уверен, зачем вам может понадобиться анализировать позы людей по изображениям в браузере, тут ребята из Google рассказывают, как это сделать, используя TensorFlow.js и PoseNet.

Почему не уверен? Потому что все мои "очевидные" сценарии сводятся к трем: проверка фотографий до загрузки, наложение эффектов в трансляции (например, представьте себе стрим футбольного матча, в котором поверх "скелетов" футболистов накладывают какие-то эффекты) и для той же трансляции автоматическое отслеживание положения (например, в телемедицине можно автоматически анализировать удовлетворение нужному условию, ака "согните руку, поверните голову направо"). Пока ни один не кажется массовым, но вдруг? Может, быть еще что-то важное, что я упускаю?

Тем не менее! Прогресс возможностей вычисления в браузере поражает! Еще лет десять-пятнадцать назад мы только и умели, что события на кнопочки писать и делать зачатки анимации.

https://medium.com/tensorflow/real-time-human-pose-estimation-in-the-browser-with-tensorflow-js-7dd0bc881cd5 #ai #ml #javascript #browser

Чем может заниматья мозг евангелиста за 3.5 часа до выезда на очередное мероприятие в воскресенье ночью?
Правильно! Дописывать очередную безумную статью!

Встречайте, моя новая исповедь про будущее, коридор сингулярности (не спрашивайте!), матрицы Кипмана (почти того самого!), лаборатории антиболи (хорошо, что не наоборот!) и барьеры инертности (надеюсь, что не про вас с нами!).

https://medium.com/@kichinsky/коридор-сингулярности-матрица-кипмана-барьеры-инертности-и-лаборатории-антиболи-bf10e46b7d6b #future #foresight #matrix

Кстати, про мероприятие! Трансляция Insider Dev Tour в прямом эфире! https://habr.com/company/microsoft/blog/412983/

Классная российская история стартапа CVizi про анализ зрителей в кинотеатрах и на конференциях с помощью когнитивных технологий.. https://m.habr.com/company/microsoft/blog/413015/ #ai #vision #cognitive

В прошлую пятницу выступал на Startup Village, рассказывал про Inclusive Design.

Вроде бы, получилось неплохо. Сам удивился, как запихнул столько в 45 минут. :)

Делюсь слайдами:
https://www.slideshare.net/ConstantinKichinsky/inclusive-design-100652772/ConstantinKichinsky/inclusive-design-100652772

Версия в OneDrive, если SlideShare не работает: https://1drv.ms/b/s!AszRpns0hGMK9ZAamL3rV0vd7yUyXw

Коллеги вместе с O'Reilly опубликовали бесплатную книжку: A Developer’s Guide to Building AI Applications. Налетай!

Внутри:
* Understand how the intersection of cloud, data, and AI is enabling organizations to build intelligent systems.
* Learn the tools, infrastructure, and services available as part of the Microsoft AI Platform for developing AI applications.
* Teach the Conference Buddy application new AI skills, using pre-built AI capabilities such as vision, translation, and speech.
* Learn about the Open Neural Network Exchange.

https://blogs.technet.microsoft.com/machinelearning/2018/06/04/free-e-book-a-developers-guide-to-building-ai-applications/ #ai #ml #book

Футбольное, пятнично-субботнее: Chintan Trivedi рассказывает, как использовать обучение с подкреплением, чтобы научить бота забивать угловые в FIFA2018. https://towardsdatascience.com/using-deep-q-learning-in-fifa-18-to-perfect-the-art-of-free-kicks-f2e4e979ee66 #ai #ml #sport #esport

Еще футбола! Помните, я тут выше писал про восстановление (реконструкцию) 3D-сцены по 2D-съемки? Группа исследователей из университета Вашингтона (+Google, +Facebook) сделали еще один шаг в этом направлении:
* взяли ролики игры в FIFA2017
* обучили сеточки распознавать поле, игроков и т.п.
* транслировали движения фигур в движения скелетов и карты глубины
* реконструировали игру в 3D
* перевели сцену в MR (Hololens)

А теперь представьте, что вы можете смотреть чемпионат мира по футболу на своем столе в 3D, как будто у вас на поверхности стола копия футбольного поля, вокруг которой вы можете ходить, приближаться и т.п.

http://www.i-programmer.info/news/190-augmentedvirtual-reality-arvr/11868-watch-soccer-games-in-3d-on-your-table-top-.html

Детали и публикация: https://arxiv.org/pdf/1806.00890.pdf

#ai #ml #mr #vision

Две новости про стикеры, фильтры и т.п. как платформу.

1. Snap запускает платформу разработки (SDK) -- Snap Kit для расширения функциональности камеры Snapchat и интеграции сервиса в свои приложения. Фактически, речь идет о четырех направлениях: 1) дать возможность расширить камеру собственными стикерами, фильтрами и ссылками, 2) позволить создавать динамичные стикеры (открытки), 3) расширить использование аватаров снэпа, Bitmoji, в других приложениях, и 4) разрешить сторонним приложениям искать и встраивать публичные истории из снэпа в свои приложения.

Ну и само собой, возможность залогиниться в чужое приложение с помощью аккаунта снэпчата.

Анонс на TheVerge: https://www.theverge.com/2018/1/30/16949402/bitmoji-deluxe-snapchat-customization
Snap Kit: https://kit.snapchat.com

2. Google (потихоньку) расширяет AR-стикеры на дополнительные устройства. Функция "дополненных" стикеров позволяла накладывать трехмерные объекты и текста на фотографии, но до сих пор была доступна только на собственных устройствах - Google Pixel. Сейчас компания расширала доступность приложения на флагман от LG - G7 ThinQ.

Анонс на TheVerge: https://www.theverge.com/2018/6/12/17453296/lg-google-pixel-ar-stickers-thinq-g7

--
Что связывает эти две истории?
Обычно про AR думают как о чем-то, происходящем в реальном времени с экрана смартфона/планшета, очков и т.п., но в сущности тема AR столько же актуальна и для отложенного взаимодействия с реальностью -- через фотографии, истории, стикеры и т.п.

В этом смысле два примера выше бьют в нишу между профессиональным производством контента (кино, спецэффекты и т.п.) и "дополнением" в реальном времени. И есть позозрение, что эта ниша будет постепенно складываться в континуум: как платформенно-инструментальный (например, AR стикеры используют тот же ARCore), так и контентный (я, например, жду в ближайшие 2-3 года первого фантастического фильма со спецэффектами, снятого и смонтированного целиком на iPhone/Android).

#ar #mr #image #camera

Не могу пройти мимо! Новый VR-кейс от LeapMotion - эксплорер кота! Помимо того, что это просто классно и интерактивно сделано (я уже писал выше, что LM может пробить новую планку в качестве VR-интерфейсов), важен сюжет: рассматривать внутренности котов даже интереснее, чем людей.

p.s. Я теперь мечтаю, чтобы такое же было в AR/MR, когда можно навести камеру/очки на котика и получить анимированные подробности внутреннего устройства животинки. #vr #mr #ar #case #ux #cat #education

http://blog.leapmotion.com/designing-cat-explorer/

Немножно в сторону от прямого обзора технологий. В HackerNoon вышла очень крутая статья про разницу в восприятии (ожиданий) между венчурными фондами и основателями стартапов: в целом, на разных стадиях, между США и Европой и т.п.

В качестве тизера - веселый факт: по шкале от 1 до 10 — VC оценивают пользу своей поддержки на 7, а основатели стартапов на 5.3. В то же время VC считают, что они ведут еженедельные коммуникации с поддерживаемыми стартапами в три (!) раза больше, чем это ощущают стартаперы. Нестыковочка, в общем.

Это все не значит, что фонды и т.п. плохие, а стартапы хорошие, или наоборот. Просто есть понятное пространство для улучшения, оптимизации, коррекции т.п.

https://hackernoon.com/do-vcs-really-add-value-founders-say-sometimes-f27bb956eb8c #startups #vc

Сегодня пара ссылок про генерацию графики.

Начнем с NVidia. Исследователи компании натренировали сеточки для генерации недостающих кадров для создания супер-медленного видео. В итоге видео в 30fps становится замедленным видео в 240fps. Хотя, в принципе, с некоторых смартфонов можно снимать видео со схожей частотой кадров, AI-решение, как говорят ученые, позволяет 1) обрабатывать существующие видео и 2) получить удовлетворительный результат, не тратя ценное место и вычислительные мощности на стороне смартфона.

Кажется, сценарий из фильмов с анализом кадров из съемки в духе "ну-ка замедли этот фрагмент" становится вполне реалистичным.

Обзор на The Verge: https://www.theverge.com/2018/6/19/17478110/fake-slow-motion-ai-nvidia-research
Технические детали: https://arxiv.org/pdf/1712.00080.pdf

#ai #image #video #generation

Вторая история — от исследователей из Microsoft и китайского Института науки и технологий о том, как генерировать изображения человеческих лиц. Фактически, команда научилась разделять идентичность (identity), специфичные свойства конкретного лица, и атрибуты, переносимые параметры вроде эмоции. На стыке получается делать трансформацию исходного лица в нужное состояние.

Мне тут видятся также большие перспективы как с точки зрения биометрии, так и с точки зрения консьюмерских применений вроде генерации аватаров и реалистичных изображений в кино и играх. Ну и еще один кирпичик в области фейкового контента, конечно.

https://www.microsoft.com/en-us/research/blog/believing-is-seeing-insightful-research-illuminates-the-newly-possible-in-the-realm-of-natural-and-synthetic-images/ #ai #image #face #generation

Несколько интересных размышлений на тему технологий.

Первое - от Justin Lee в TheStarup о том, что с чатботами что-то пошло не так. Два года назад про них говорили, как "the next big thing", но этого явно не случилось. Почему?

Изначальный запал ожиданий объясним. Мессенджеры были на взлете, диалоговый маркетинг (conversational marketing) был новым баззвордом, успех WeChat в Китае не мог не вдохновлять. На фоне хаоса и застоя в мобильных приложениях это все казалось свежей спасительной струей.

Самый главный вопрос, который задавали в сообществе и медиа: "кто же будет игроком номер один, монополизирующим тему вокруг себя", но никак не, "будут ли чатботы успешны в принципе"?

Поэтому ответ на вопрос "будет ли единая платформа, доминирующая в экосистеме чатботов и первональных ассистентов", простой: "Нет". По крайней мере пока трудно говорить о сколь-нибудь существенной экосистеме.

Мы все попали в ловушку хайпа. Итан Блох из Digit говорит так: "Я даже не уверен, можем ли мы говорить, что чатботы мертвы, потому что я не знаю, были ли они на самом деле живы." Дейв Филдман из Heap описывает ситуацию не менее жестко: "Чатботы не просто попробовали взять какую-то одну сложную проблему и провалили ее, они замахнулись на несколько и провалили их все".

--
Ну а за деталями, как так получилось, и почему это не так уж и плохо, приглашаю в статью Джастина. (Краткий вывод: мы набили как индустрия достаточное большое число шишок, чтобы теперь последовательно внедрять чатботов там, где работает как с точки зрения технологий, так и с точки зрения адекватности сценариев.)

https://medium.com/swlh/chatbots-were-the-next-big-thing-what-happened-5fc49dd6fa61

#chatbots #ai #hype