Во многих сценариях создания диалоговых интерфейсов разработчики сталкиваются с одной и той же задачей: как отобразить естественные языковые запросы на API конкретных используемых сервисов? Обычно это требует разработки нескольких промежуточных слоев, включая "понимание" речи с разбором на намерения (intent) и отображение намерений на конкретные вызовы API с учетом некоторой логики (например, состояний).

Группа исследователей из Microsoft Research задается в этом контексте таким вопросом: можно ли сделать общий подход для создания NL2API — прослойки между естественными запросами и API конкретных сервисов. В работе по ссылке ниже детально описывается архитектура такого решения, использующая модульный подход, в котором каждый блок имеет свою нейронную сеть, вычленяющую нужные параметры из оргинального запроса + общий контроллер, определяющий, какие модули нужно активировать.

Подобная архитектура, как пишут исследователи, также упрощает создание интерактивных систем, позволяющих пользователям легко уточнять запросы.

Общее описание: https://www.microsoft.com/en-us/research/blog/democratizing-apis-with-natural-language-interfaces/
Публикация: https://www.microsoft.com/en-us/research/uploads/prod/2018/04/sigir18_nl2api.pdf

#ai #ml #conversational #ui

На тему этичности и социальной ответственности IT-компаний. По мере того, как социальные сети и стриминговые сервисы все больше завладевают вниманием и экранным временем аудитории, часть регуляторов начинает задавать очень правильный вопрос: как нам пробиться через эту стену в случае ЧП?

Так в США несколько сенаторов предложили обязать стриминговые сервисы (Netflix, Hulu и т.п.) транслировать сообщения о чрезвычайных ситуациях свои зрителям, потому что иначе они их не увидят. "Сидите вы в своем подвальчике, смотрите зомбаков, а там вам уведомление - внимание, ракетная атака на Гавайи!!! Аларм, аларм, это не шутка!"

https://techcrunch.com/2018/07/18/senate-wants-emergency-alerts-to-go-out-through-netflix-spotify-etc/

Про трансформацию и фантастику, становящуюся все больше реальностью. Вы, наверняка, знаете компанию Rolls-Royce как автопроизводителя, но, например, они еще делают двигатели для самолетов.

Вот в этой части из бизнеса сейчас происходят чумовые перемены как на уровне технологий, так и на уровне бизнес-моделей. Несколько примеров:
1. Двигатели, обвешанные датчиками, будучи в эксплуатации, могут сообщать какой ремонт или осмотр необходим в аэропорту. Соответственно, соокращаются сроки ремонта, а значит, простоя самолета, и становится возможной бизнес-модель, в которой RR продает SLA доступности сервиса.
2. Так как двигатели изначально в цифре, то эти же модели можно использовать как для обучения, так и во время ремонта. Тут в полный рост начинает играть тема смешанной реальности, включая удаленное подключение экспертов с завода/конструкторского бюро. Но еще это означает возможность перехода к печати (части) деталей под потребности, соответственно, сокращая требования к складам и сроки ремонта (доставки).
3. RR постепенно движется к тому, чтобы часть ремонта могли делать роботы, причем не огромные как при сборке на заводе, а маленькие, полуавтономные, тараканоподобные и змееподобные! А такая задача, кстати, ставит уже интересные инженерные вопросы: если раньше конструкция двигателя отвечала задачам "человеческих" разборки и осмотра, то теперь она должна быть адаптирована под задачи осмотра вот такими крошечными роботами.

https://futurism.com/cockroach-robots-rolls-royce/ #digital-twin #iot #mr #robotics

О том, что софт/сервисы для распознавания лиц работают не очень хорошо, особенно на не белых лицах, говорят давно. И все производители сейчас прикладываю усилия для коррекции алгоритмов и, особенно, датасетов. Но вот в ход пошла тяжёлая артиллерия. Ребята из ACLU (американское объединение за гражданские свободы) натравили сервис распознавания Amazon (на их месте мог бы быть сервис от Microsoft или Google) базу портретов преступников (25000), а потом пропустили через дообученную модель фотографии конгрессменов США.

И одно дело, что просто есть вероятность совпадения походих лиц, а другое дело, когда для "белых" эти совпадений пропорционально в два раза меньше, чем для "цветных". Тонкость момента, что это поименный список с призывом к действию (aka оказанию давления на технологические компании).

https://www.aclu.org/blog/privacy-technology/surveillance-technologies/amazons-face-recognition-falsely-matched-28

Обсуждали цифровую трансформацию на тренинге. Несколько вбросов с моей стороны и картинка:
🦄 Новых единорожек, капитально дизраптящих рынок в свою пользу, в ближайшие 3-5 лет больше не будет. Они либо "theranos", либо их кто-нибудь купит. [Пример: Amazon купил PillPacks и Wholefoods.]
🚗 Традиционные (промышленные, индустриальные) компании вполне неплохо себя чувствуют с новыми технологиями и инновациями, скупают стартапы и учатся не задавливать их своей массой. Выживут не все, но навряд ли будут новые такого-же размера. [Пример: автомобильные гиганты хорошо себя чувствуют как в электромобилях, так и в автономных.]
💻 Мир, в котором каждая такая компания может стать платформенной и экосистемной IT-компанией, будет веселым в смысле конкуренции и сложных партнерств. [Пример: Disney, покрывающий все медиа-сегменты со своими решениями для стриминга, VR, трекинга и т.п..]
Самое сложное -- научиться видеть платформы и экосистемы за пределами войны языков, фреймворков, браузеров, операционок, мобилок, консолек, CRMок и вот этого всего.

На картинке - единопрайз (суровый энтерпрайз, поглотивший очередного единопоника прежде, чем он стал единорожиком).

Немножко про экономику и технологии в медиа-сегменте. TechCrunch пишет, что за несколько лет картина доходов в медиа существенно поменялась под давлением двух больших факторов: 1) Branded Worlds — медиа-вселенные вокруг конкретных историй, персонажей и т.п. (самый очевидный пример - Marvel), и 2) стриминговые сервисы. И особенно интересно теперь наблюдать, как эти две модели входят в гигантский конфликт.

О чем речь? Из 400 фильмов, вышедших за первую половину года в США, 40% доходов собрали четыре картины про супер-героев. Впервые за викэнд то 8 из 10 фильмов были сиквелами.

10 лет назад, пишет TechCrunch, казалось, что нас ждет большая демократизация в медиа: новые камеры лучше и дешевле, новые инструменты для редактирования, облегчающие процесс, дешевый стриминг, да даже торренты. Голливуду — крышка, но нет! Мир начал перекраиваться вокруг брендированных миров: от Парка юрского периода до Гарри Поттера.

Такие миры затягивают, выстраивая вокруг себя огромную контентную экосистемы — от микро-трансляций в твиче и роликов-обсуждений на ютьюбе, до побочных историй, вытянутых от больших экранов до стриминговых сервисов.

И тут возникает интересный эффект: компания, которая является "владельцем" такого мира обязательно рано или поздно начинает консолидировать свои активы в одном месте.

https://techcrunch.com/2018/07/29/branded-worlds-how-technology-recentralized-entertainment/

p.s. За время чемпионата мира FIFA выяснилось, что футбол по правилам FIFA — это тоже своего рода медиа-вселенная, венцом которой оказался брендинг FIFA, присутствующий во всех коммуникациях. То есть, нет никакого общего (нейтрального) чемпионата мира по футболу, только большое коммерческое событие. Внимательные пользователи твиттера, например, могли заметить, как во время забития голов по соцсети расходились гифки, что кто-то забил гол, но самого гола (повтора) в таких сообщениях не было. Контроль медиа-эфира.

Небольшая новость на разрыв школьных шаблонов, тянущая на громкие заголовки вроде "Платон учел не все тела" и "Природа обхитрила Платона".

Из школы мы знаем про идеальные платоновые тела (тетраэдр, октаэдр и т.п.), игравшие в свое время большую роль в античной философии. Тонкость в том, что как только мы сказали, что они "идеальные", то как бы само собой подразумевается, что все в мире (природе) должно тяготеть к таким идеальным формам.

Но не тут-то было. Ученые тут нарыли новую фигуру - скутоид (scutoid), которая, может и не столь идеальна математически, но зато весьма жизненна. Оказалось, что клетки эпителия (внешний слой кожи и внутренних органов) упакованы в необычные формы, которые являются "странными призмами", у которых одно основание имеет шесть углов, а другое пять, соответственно, на одной из граней образуется треугольник.

Рассчеты показывают, что такая форма хорошо подходит как для упаковки, так и для переноса механических воздействий при искривлении поверхности (например, во время роста).

https://gizmodo.com/the-scutoid-is-geometrys-newest-shape-and-it-could-be-1827924643 #nature

Вроде бы небольшая новость, но смотрите, что происходит с точки зрения опыта пользователя. В Edge добавили поддержку спецификации Web Authentication, позволяющей, заменить пароли биометрией, вводом пина или подключением FIDO2-совместимого устройства. Фактически, человек может залогиниться на сайт (при соответствующей поддержке), например, просто посмотрев в камеру.

Но самое интересное начинается, когда эта штука объединяется с веб-платежами. Если вы разрешили браузеру запомнить вашу карточку или, например, она привязана к вашей учетке в браузере, то дальше он сам может подставить ваши данные — и единственное, что вам нужно будет сделать, это подтвердить покупку с помощью Windows Hello (или аналога в другой операционке).

И пока у блюстителей безопасности возникает в голове масса сценариев, которые нужно попробовать, чтобы обмануть пользователя, я отмечу такой момент: только что из головы пользователя исчез конкретный банк и все связанные с ним интерфейсы. Единственное, что человек видит — это visa/mastercard и последние цифры карты. Повторю: банк исчез.

https://blogs.windows.com/msedgedev/2018/07/30/introducing-web-authentication-microsoft-edge/

Новость из Аризоны (США) про автономный транспорт. Waymo (Alphabet) партнерится с системой общественного транспорта (метро, в частности) для проведения принципиального эксперимента: может ли внедрение беспилотников на последней миле (добраться до/от точки общественного траспорта) способствовать использованию последнего.

Другими словами, будет ли связка беспилотник + общественный транспорт лучше в отдельных сценариях, чем использование собственной машины на всем пути? В чем-то это напоминает небольшой эксперимент от Lyft в Чикаго: там сервис такси предлагает жителям на месяц пересесть с машины на связку "такси-шеринга-общ. транспорта", покрывая большу часть расходов.

Попутно, конечно, идет поиск правильного позиционирования и постепенное приучение аудитории к тому, что беспилотники — это нормально и даже правильно.

https://www.engadget.com/2018/07/31/waymo-self-driving-rides-to-from-public-transportation/ #autonomous #cars

Ребята из IrisGlobal (Калифорния) делают интересный VR-проект, который, хотя и базируется на VR-технологиях, на самом деле AR. Идея простая: если на смартфоне есть хорошая камера и хороший экран, то почему бы не использовать комбинацию смартфона и специального шлема вместо очков для коррекции зрения?

Фокус в том, что искажения зрительного поля софтверно делать сильно проще, чем физически, и более того — оно оказывается динамически регулируемым. Ну и новые возможности добавляются простым обновлением вместо смены очков.

В ролике ниже Dr. Rhew из Самсунга рассказывает, как работает технология (Samsung является партнером проекта):

https://www.youtube.com/watch?v=upKZlvetou4 #vr #ar #inclusion #accessibility

Продолжаем тему "вот еще одна крупная компания, которая делает кастомные AI-чипсеты". На этот раз очередь дошла до Tesla. Компания планирует в течение года начать переходить на собственное железо для обсчета нейронных сетей. Какими бы прекрасными не были видео-карты Nvidia, Илон обещает, что переход к реальному вычислению нейронок "в металле" должен дать порядковый прирост в вычислительной мощности.

Интересная деталь: компания шла к этому 2-3 года, постепенно формируя детальное понимание, как их нейронные сети будут эволюционировать в будущем. Тонкость ситуации в том, что обновить железо на машине гораздо сложнее, чем софт. Поэтому, если GPU, фактически, выступало как обобщенное всеядное железо, то в случае с кастомными AI-чипами обычно речь идет о достаточно жесткой заточке под конкретную структуру сети, точнее необходимые для ее исполнения вычислительные блоки.

https://techcrunch.com/2018/08/01/tesla-is-building-its-own-ai-chips-for-self-driving-cars/ #ai #hardware

Две философские заметки про распознавание лиц и опасность технологии для общества. Тут надо отметить, что в штатах на эту тему активно бомбит последние несколько месяцев (кейс с сенаторами я описывал несколькими постами выше).

Первая - Facial Recognition Is the Perfect Tool for Oppression, от Woodrow Hartzog, профессора права и компьютерных наук в Northeastern University (Бостон, США). Вудроу пишет, что технологии распознавания лиц -- это огромный троянский конь, выгодный, в первую очередь, государству.

С одной стороны, в идеальной реализации технологии вы получаете ситуацию, когда "отсутствуют незнакомые люди, не нужны пароли, вы не боитесь забыть кошелек, ваши фото-видео автоматически сортируются, пропавшие люди находятся, школы становятся безопаснее, а преступникам становится неимоверно сложно спрятаться."

С другой стороны, по мере того, как технология будет все больше проникать в жизнь граждан и размываться в ней, она все больше будет становиться инструментом подавления, идеально настроенным на задачи государственной машины. Вудроу описывает ее так: "the most uniquely dangerous surveillance mechanism ever invented", и настаивает на необходимости бана, пока не стало поздно.

Некоторые говорят, что вопрос не в том, чтобы целиком забанить технологии распознавания лиц, это кажется слишком экстремальным, а в том, чтобы обозначить на законадательном уровне, что можно делать, а что уже идет в разрез с ценностями, правами и ситуациями, которые мы наоборот хотим защитить. Именно так мы поступаем с большинством новых технологий.

Но, кажется, распознавание лиц -- это не тот случай. Данная технология является недостающим куском в уже существующей огромной инфраструктуре наблюдения, созданной для удобства государственных служб и частного сектора. Тонкость в том, что распознавание лиц позволяет поднять ее на новый уровень, оставаясь практически невидимой. При этом мы знаем, что поведение людей меняется, когда они понимают, что за ними наблюдают, а это уже удар по свободе действий.

Параллельно с этим, пишет Вудроу, мы получаем полный букет неравенства и притеснений (автор приводит много примеров от плохого распознавания "цветных" людей и отдельных меньшинств до уничтожения практической скрытности), включая те, которые вызваны излишним доверием качеству технологии.

Ну и, наконец, надеяться, что государство или корпорации смогут все сделать правильно и надежно, отрегулировав все тонкости применения и вводя самоконтроль -- это все тщетно. Нельзя приоткрыть ящик Пандоры на чуть-чуть.

--
https://medium.com/s/story/facial-recognition-is-the-perfect-tool-for-oppression-bc2a08f0fe66

От себя отмечу, что в мире идет несколько таких больших дискуссий на тему технологий распознавания лиц. И отдельный момент для размышления:
1) Можно ли остановить технологию?
2) Если нет, то не окажется ли так, что тот же Китай, который уже активно внедряет, технологически окажется сильно впереди тех, кто пытается регулировать, замедлять, отладывать или отменить?
3) И как следствие, это страх перед новым социальным устройством, перекроенном на фундаментальном уровне, или его категорическое неприятие как неправильного?

Вторая статья на тему технологий распознавания лиц - How Facial Recognition Will Change Your Face от Colin Horgan, журналиста из Maclean's и Guardian в Канаде.

Колин, как и предыдущий автор, пишет о дихотомии между тем, какую пользу приносит или может приносить технология (от поиска преступников до помощи слепым людям), и тем, какой она может наносить вред обществу (от контроля участников политических акций до общественного обличения окружающих вас неплательщиков по долгам в Китае).

Лицо уже стало паролем. Это понятно, как и вопросы стоящие перед обществом: какие ограничения нужно наложить на технологию и кто будет ее контролировать? Но Колин, вслед за Николасом Негропонте (основателем MIT Media Labs), поднимает еще один: что означает, что компьютер "знает", что это мы, когда он "видит" нас?

Например, прошлым летом французский художник Рафаэль Фабре успешно получил национальную идентификационную карту, используя полностью сгенерированное на компьютере свое лицо (то есть не фото, а созданное с нуля). Компьютер воспринимает мир через те фотографии, которые мы ему скармливаем. Но эта огромная мега-фотография мира не просто цифровая, она измененная и фрагментарная.

Но что компьютер "видит"? Также, как в случае с Фабре, он видит данные, то есть не нас, как мы есть, а цифровой слепок нас. Информация, которая ассоциирована с человеком, составляет "персональные данные" только в том смысле, что она связана с сущностью человека и может влиять на их жизненные выборы и возможности.

Все эти отпечатки не формируют целостной истории, однако, мы зачастую доверяем фрагментарным данным больше, чем самим людям. Создаваемый нами цифровой мир -- это не копия, а проекция, скорее даже рендер нас.

Лица давно используются для идентификации людей, но до сих пор фотографии не претендовали на то, чтобы понимать нас. Технологии распознавания лиц это меняют, позволяя ее пользователям считать, что они "знают" лица. Структуры, осуществляющие наблюдение за людьми, делают это предположение по умолчанию. Раньше вы могли считать, что ваше лицо способно хранить секреты. Ему больше не разрешат.

Но, если подумать, что именно эти технологии распознают, то это будут абстрактные данные, "выжатые" из поверхностного изображения нашего лица. Именно это нас пугает и кажется несправедливым в кейсах использования распознавания лиц в Китае. Лица, которые хранили детали, заменаются рендерами без персональной глубины.

Как следствие, наши лица из состояния человеческих инструментов, используемых для понимания друг друга и проявления эмпатии, превратятся в компьютерные инструменты, применяемые для взаимодействия с цифровым миром. Лицо станет интерфейсом.

https://medium.com/s/story/how-facial-recognition-will-change-your-face-9e6365b6c516

В продолжение темы распознавания лиц — апрельское видео с TED от Supasorn Suwajanakorn, исследователя из Университета Вашингтона.

Супасорн рассказывает о генерации реалистичных лиц, в том числе в движении и поверх существующей речи. И тут снова двоякость применения: с одной стороны, аватары для представления себя в разных ситуациях (в том числе после смерти), а с другой — всевозможные фейки.

Интересный факт: создавая технологию генерации лиц, команда также работает над технологией распознавания сгенерированных лиц, одновременно создавая средство и противодействие для него.

https://www.ted.com/talks/supasorn_suwajanakorn_fake_videos_of_real_people_and_how_to_spot_them

Про технологические задачки и эмпатию. Где-то год назад мы разбирали кейс из телемедицины, когда врач ведет удаленную беседу с пациентом (Skype и т.п.) и задает один из традиционных вопросов: "Что у вас болит? Как сильно? Опишите свою боль."

Тонкость в том, что обычно врач, наблюдая пациента вживую, также научается интерпретировать не только его слова, но и реакции (эмоции, мимику и т.п.) и также сам ощупывает место боли, контролируя силу нажатия.

Но вот вопрос: как "снять" уровень боли дистанционно? Год назад мы ограничились постановкой вопроса и пониманием, что самые очевидные ответы вроде "обвешать пациента датчиками" не очень приемлемы. Полгодика назад я, кажется, кидал заметку, в которой рассказывалось про автоматизированный анализ лица пациента для вычления "болевых характеристик".

Вот еще одно исследование на эту тему, но через призму эмпатии. Гипотеза такая: пациенту очень сложно словами описать свою боль, а врачу дистанционно ее очень сложно интерпретировать. Давайте тогда дадим пациенту "языковую замену", чтобы он не описывал, а показал, как у него болит.

Для этого исследователи из Университета Питсбурга сделали приложение "Painimation", которое вместо шкалы от 1 до 10 использует анимации для визуализации разных типов боли, которые пользователь может настроить под себя. В обзорной статье есть маленький показательный пример видео.

https://www.futurity.org/painimation-pain-apps-1831372-2

Классная история про "битву" классических и квантовых алгоритмов. Есть такая задачка по подбору рекомендаций для пользователя на основании его профиля и общей базы пользователей (пример: какой фильм вам порекомендовать в Netflix). Задачка вычислительно емкая.

Несколько лет назад в работе Iordanis Kerenidis и Anupam Prakash, "Quantum Recommendation Systems", авторы показали, как получить экспоненциальное ускорение относительно существующих классических алгоритмов за счет использования квантового компьютера (работа теоретическая). Это был отличный пример алгоритма, показывающего, зачем нужен квантовый компьютер. И также это было отличной заявкой на иллюстрацию преимущества симбиоза машинного обучения и квантовых вычислений. Было только одно но: они не доказывали в работе, что классический алгоритм с сопостовимыми результатами не возможен.

В общем, Ewin Tang (University of Texas), вдохвовившись результами и логикой работы квантового компьютера, смог создать "классический" аналог, также с экспоненциальным ускорением. В целом, это отличная иллюстрация того, что одновременное изучение квантовых и классических алгоритмов может быть новые идеи даже для текущего поколения машин.

Новость: https://www.quantamagazine.org/teenager-finds-classical-alternative-to-quantum-recommendation-algorithm-20180731/
Публикация: https://arxiv.org/pdf/1807.04271.pdf

Новости по разные стороны океана про технологии общения со студентами:
1. Росстандарт разработал ГОСТ к услугам, предоставляемым в студенческих общежитиях. Студент может по желанию воспользоваться услугой утренней побудки. Об этом сообщает ТАСС со ссылкой на сайт Росстандарта.
2. Saint Louis University (США) планирует разместить несколько тысяx Amazon Echo в жилых студенческих пространствах. Теперь студенты смогут узнать, во сколько закрывается библиотека, не вставая с кровати.

https://techcrunch.com/2018/08/19/a-university-is-outfitting-living-spaces-with-thousands-of-echo-dots

У меня почти закончился сезон тренингов (в связи с чем, я надеюсь, скоро сделаю анонс о новом канале), поэтому можно снова вернуться к новостям, благо, за примерно полторы-две недели много интересного накопилось.