Про обучение нейронных сетей и аппаратные решения. Группа исследователей из IBM Research продемонстрировала, что нейронные сети можно обучать целиком в пямяти на базе PCM-устройств (около 1 млн ячеек).
PCM (Phase-change memory) - это тип памяти с изменением фазового состояния, который IBM и ряд других компаний уже много лет разрабатывают, пытась создать энерогонезависимый носитель памяти, в котором данные хранятся за счет изменения фазового состояния материала.
В ходе работы команда обучила пару алгоритмов машинного обучения без учителя, которые успешно выявили временные корреляции в неизвестных ему потоках данных. Конкретный алгоритм тут играет малое значение, потому что фокус работы — на ускорении и снижении энергозатрат. Полученное решение показало примерно 200-кратное улучшение по сравнению с классическими компьютерами.
Почему это круто?
1. Фактически речь идет не просто об еще одном носителе памяти, а о весьма специфичной вычислительной модели, отличающейся от классической фон-Неймановской — "accumulation-based computation". PCM-устройства позволяют работать не просто с 0 и 1, но и промежуточными состояниями (кристаллизации), отсюда возникают накопительные эффекты, которые в свою очередь можно использовать для вычислительных задач.
2. Ранее IBM демонстрировала применимость PCM-устройств для организации "нейроморфных вычислений", в которых на уровне железа пытаются смоделировать работу реальных нервных сетей. Тонкость в том, что живые нейроны как раз реализуют в себе обе функции - хранения информации и вычисления, в то время как классическая компьютерная модель разделяет их в отдельные блоки.
3. Когда (или если) это все дойдет до промышленных масштабов, мы получим устройства, способные обучаться существенно быстрее и с меньшим потреблением энергии. Это все капает на мельницу переноса интеллектуальности на конечные устройства все меньшего и меньшего размера.
Анонс: https://www.ibm.com/blogs/research/2017/10/ibm-scientists-demonstrate-memory-computing-1-million-devices-applications-ai
Подробности: https://www.nature.com/articles/s41467-017-01481-9
#ai #inmemory #computing #hardware #pcm
PCM (Phase-change memory) - это тип памяти с изменением фазового состояния, который IBM и ряд других компаний уже много лет разрабатывают, пытась создать энерогонезависимый носитель памяти, в котором данные хранятся за счет изменения фазового состояния материала.
В ходе работы команда обучила пару алгоритмов машинного обучения без учителя, которые успешно выявили временные корреляции в неизвестных ему потоках данных. Конкретный алгоритм тут играет малое значение, потому что фокус работы — на ускорении и снижении энергозатрат. Полученное решение показало примерно 200-кратное улучшение по сравнению с классическими компьютерами.
Почему это круто?
1. Фактически речь идет не просто об еще одном носителе памяти, а о весьма специфичной вычислительной модели, отличающейся от классической фон-Неймановской — "accumulation-based computation". PCM-устройства позволяют работать не просто с 0 и 1, но и промежуточными состояниями (кристаллизации), отсюда возникают накопительные эффекты, которые в свою очередь можно использовать для вычислительных задач.
2. Ранее IBM демонстрировала применимость PCM-устройств для организации "нейроморфных вычислений", в которых на уровне железа пытаются смоделировать работу реальных нервных сетей. Тонкость в том, что живые нейроны как раз реализуют в себе обе функции - хранения информации и вычисления, в то время как классическая компьютерная модель разделяет их в отдельные блоки.
3. Когда (или если) это все дойдет до промышленных масштабов, мы получим устройства, способные обучаться существенно быстрее и с меньшим потреблением энергии. Это все капает на мельницу переноса интеллектуальности на конечные устройства все меньшего и меньшего размера.
Анонс: https://www.ibm.com/blogs/research/2017/10/ibm-scientists-demonstrate-memory-computing-1-million-devices-applications-ai
Подробности: https://www.nature.com/articles/s41467-017-01481-9
#ai #inmemory #computing #hardware #pcm
IBM Research Blog
IBM Scientists Demonstrate In-memory Computing with 1 Million Devices
IBM Scientists Demonstrate In-memory Computing with 1 Million Devices for Applications in AI