Пожалуй, самая большая проблема всего бума машинного обучения, искусственного интеллекта, когнитивных сервисов и т.д. лежит не в области составления конкретного алгоритма или накопления необходимого массива данных, а в том, как мы, как социум, к этому относимся.

Причем вопрос не только в уже растиражированном экономико-социальном аспекте вроде вытеснения отдельных профессий с рынка труда или, наоборот, усиления некоторых за счет новых возможностей, — но и в том, что именно мы как разработчики, ученые, интепретаторы, внедренцы и т.п. зашиваем в такие алгоритмы.

Время от времени я вижу на разных хакатонах, стартаперских тусовках и в лентах новостей проявления, например, такой идеи: а что, если по анализу фотографии (или видео-ряда) предсказывать хакактер человека? Его тип личности (интраверт, экстраверт и еще с десяток других систем), насколько он будет хорошим сотрудником, врет/не врет, кредитоспособность и много чего еще.

Все это называется физиогномикой и в широких кругах называется псевдонаукой, просторы которой простираются от банального шарлатанства всяких экстрасенсов до онаучненного оправдания расизма, с которым человечество то и дело сталкивается с самых разных формах.

Интересный вопрос — а какое отношение к этому имеет машинное обучение?

В прошлом году пара ученых из Китая Xiaolin Wu and Xi Zhang, — хотя страна тут не важна, потому что (и в этом главная проблема!) подобные работы плодятся по всему миру, — выкатили исследование о том, как с помощью натренерованной сеточки предсказать по фотографии человека, является ли он криминальным элементом или нет. При детальном рассмотрении оказывается, что в работу неявно (?) и, возможно, бессознательно, зашито очень много допущений и, в целом, неверных, предположений.

И хотя, даже здравый смысл, подсказывает, что невозможно по фотографии человека назвать его с 90% преступником, "научный" подход, объективность нейронных сетей, компьютеров, машинного обучения и вот этого всего — позволяют подвести достаточный фундамент для того, чтобы СМИ, социум и, что еще хуже, лица, принимающие соответствующие решения, приняли это все на веру.

===
Так вот, на этот счет и по поводу этого "исследования", в частности - большая детальная статья за авторством Blaise Agüera y Arcas, Margaret Mitchell и Alexander Todorov (на английском).

Потратьте 30-40 минут своего времени. Это важно. Я бы даже сказал, что это одна из самых важных статей на тему машинного обучения за последнее время — "Новые одеяния физиогномики"
https://medium.com/@blaisea/physiognomys-new-clothes-f2d4b59fdd6a #machine #learning #ai #bias

===
P.s. Очевидно все это касается не только распознавания лиц, но и вообще любых других ситуаций, когда мы переносим принятие решения на компьютер и как бы снимаем с себя ответственность (потому что "машина не может ошибаться"). Вот тут всегда должен стоять вопрос — а на заложили ли мы в данные и алгоритмы существующие в обществе стереотипы? Не закрепили ли мы в сеточке существующее неравенство, придав ему научного шарма и оправдания?

И третья. Benjamin Powers, журналист из Rolling Stone, New Republic и др. рассказывает, как аэропорты и DHS (Department of Home Security, USA) используют распознавание лиц для пассажиров.

Несколько интересных моментов:
1. В ряде аэропортов для международных посетителей начали проверять биометрию (фото) на выезде из страны, чтобы убедиться, что вы действительно покинули США. Полностью программу должны раскатать на 20 крупнейших аэропортов до конца следующего года. В систему постепенно подключаются и авиакомпании.
2. Со стороны служб есть большое желание расширить применение распознавания лиц на весь опыт в аэропорту: регистрация на посадку, зоны ожидания, доступ в лаундж-зоны, проверка TSA (это где ваши вещи сканируют), внешние камеры и т.п. В конечном счете, ваше фото должно быть доступно (сниматься) везде, где сегодня от вас требуют показать ID.
3. Для жителей США информация хранится до двух недель. Для все остальных - 15 лет. Тут вообще есть большая тема внутренних разборок в штатах. Условно, "делайте, что угодно с данными иностранцев, но не собирайте данные американцев". Особенно это критично с учетом "неинвазивного" характера съемки. То есть, теоретически могут снимать без спроса.
4. Еще один большой вопрос - насколько корректны на сегодня системы распознавания лиц. По ряду исследований, есть подозрение, что они будут часто дискриминировать ложными срабатываниями женщин и афроамериканцев (просто потому что алгоритмы на них хуже натренированы).
5. Возможно, внедрение подобных систем в точках "путешествия" научит граждан лучше понимать, что происходит с их биометрией. Люди начнут задавать вопросы, что происходит с данными с кучи камер, которые появились после событий 11 сентября. В целом, мы наблюдаем задержку между тем, как люди теряют свою приватность и осознают это.
6. Еще один пример "пограничной" технологии, которая сейчас находится в разработке - как идентифицировать людей, пересекающих границу на автомобилях без необходимости просить их выйти из машины.

https://medium.com/@bnpowers8/smile-your-face-is-now-in-a-database-7d3ed3ad3abe #ai #face #recognition #bias #security