Вторая (аналогично, можно рассматривать как чек-лист): про 8 распространенных архитектур нейронных сетей - от простейшего перцептрона до (глубоких) автокодировщиков. https://towardsdatascience.com/the-8-neural-network-architectures-machine-learning-researchers-need-to-learn-11a0c96d6073 #ai #neural #network

Помните я недавно писал про нейроморфные чипсеты. Вот хорошое краткое описание про SNN (спайковые нейронные сети, они же импульсные), которые лежат в основе нейроморфных чипсетов. https://towardsdatascience.com/spiking-neural-networks-the-next-generation-of-machine-learning-84e167f4eb2b #ai #spiking #neural #networks

Про нейронные сети есть массовое (но думается, что не среди экспертов по AI/ML) заблуждение, что мол нейронные сети устроены аналогично нервной системе живых организмов. Это, конечно, не так, и правильнее говорить, что конструкция (искусственных) нейронных сетей вдохновлена ранними исследованиями нервных тканей.

С тех пор, нейробиология ушла в одну сторону, а машинное обучение с ИИ — в другую, но периодически они обмениваются результатами и наблюдениями.

Например, оказывается (надеюсь, это не будет сюрпризом), что в реальности "живые" системы не просто устроены "слегка иначе", но и процесс обучения устроен совершенно по другому. То же "обратное распространение ошибки" для обучения живой системы эволюционно невыгодно, потому что 1) слишком медленное и 2) слишком энергозатратное. Более того, когда мы смотрим на то, с какой скоростью и на каком маленьком объеме данных бабочка или мотылек обучается распознавать запахи, наши потуги с ускорением вычеслений через GPU, FPGA и т.п. кажутся детскими поделками.

Поэтому исследователи из смежных лагерей иногда пытаются подсмотреть в исследованиях друг друга либо какие-то природные инсайты, либо, соответственно, подходящие математические модели.

Так, команда ученых из Университета Вашингтона (Сиэттл), решила попробовать воспроизвести уже хорошо изученную и размеченную нервную подсистему табачного бражника (это такая бабочка), заточенную под распознавание запахов, в компьютерной системе. Для этого они создали искусственную сеточку, похожую по своей структуре на компоненты нервной системы бабочки (интересный момент, что она состоит из нескольких последовательных подсистем).

Также в систему был добавлен искусственный аналог октопамина, который как раз оказывает ключевое воздействие на процесс обучения (кстати, без него, обучение тоже происходит, но слишком медленно). Отдельный вопрос, как именно он влияет, но одна из гипотез, высказываемых исследователями, заключается в том, что октопамин позволяет обойти естесвенные ограничения на рост новых синапсов. Также, в отличие от классического обучения с усилением уже имеющихся связей, он позволяет открывать новые каналы передачи сигнала, что сильно расширяет пространство поиска решений.

Следствие из этой работы очень простое: возможно, дата-сайнтистам стоит глубже покопаться как в реальности работают нервные системы, и в будущем в популярных фреймворках (или новых) могут появиться аналоги нейротрансмиттеров, влияющих на процессы обучения и функционирования нейронных сетей.

Подробнее в MIT Technology Review: https://www.technologyreview.com/s/610278/why-even-a-moths-brain-is-smarter-than-an-ai/
Основная научная работа: http://arxiv.org/abs/1802.02678

#ai #nature #neural #networks