Сегодня небольшая порция контента про работу с Audio на базе нейронных сетей:
1. Про генерацию музыки с помощью Azure ML. Erika Menezes рассказывает, как построить LSTM (Long Short-Term Memory) модель для генерации медиа-файлов и выстроить вокруг этого окружение для экспериментирования.
Текстовая статья: https://blogs.technet.microsoft.com/machinelearning/2017/12/06/music-generation-with-azure-machine-learning/
Видео #1 (про генерацию музыки и модель сети): https://channel9.msdn.com/Shows/AI-Show/Deep-Learning-for-Music-Generation
Видео #2 (про извлечение фич из midi-файла и создание midi-файлов из выхода модели): https://channel9.msdn.com/Shows/AI-Show/Deep-Learning-for-Music-Generation-The-Code
Исходный код: https://github.com/Azure/MachineLearning-MusicGeneration
#ai #ml #music #generation #azure
1. Про генерацию музыки с помощью Azure ML. Erika Menezes рассказывает, как построить LSTM (Long Short-Term Memory) модель для генерации медиа-файлов и выстроить вокруг этого окружение для экспериментирования.
Текстовая статья: https://blogs.technet.microsoft.com/machinelearning/2017/12/06/music-generation-with-azure-machine-learning/
Видео #1 (про генерацию музыки и модель сети): https://channel9.msdn.com/Shows/AI-Show/Deep-Learning-for-Music-Generation
Видео #2 (про извлечение фич из midi-файла и создание midi-файлов из выхода модели): https://channel9.msdn.com/Shows/AI-Show/Deep-Learning-for-Music-Generation-The-Code
Исходный код: https://github.com/Azure/MachineLearning-MusicGeneration
#ai #ml #music #generation #azure
Channel 9
Deep Learning for Music Generation
In this episode of the AI show Erika explains how to create deep learning models with music as the input. She begins by describing the problem of generating music by specifically describing how she ge
Сегодня пара ссылок про генерацию графики.
Начнем с NVidia. Исследователи компании натренировали сеточки для генерации недостающих кадров для создания супер-медленного видео. В итоге видео в 30fps становится замедленным видео в 240fps. Хотя, в принципе, с некоторых смартфонов можно снимать видео со схожей частотой кадров, AI-решение, как говорят ученые, позволяет 1) обрабатывать существующие видео и 2) получить удовлетворительный результат, не тратя ценное место и вычислительные мощности на стороне смартфона.
Кажется, сценарий из фильмов с анализом кадров из съемки в духе "ну-ка замедли этот фрагмент" становится вполне реалистичным.
Обзор на The Verge: https://www.theverge.com/2018/6/19/17478110/fake-slow-motion-ai-nvidia-research
Технические детали: https://arxiv.org/pdf/1712.00080.pdf
#ai #image #video #generation
Начнем с NVidia. Исследователи компании натренировали сеточки для генерации недостающих кадров для создания супер-медленного видео. В итоге видео в 30fps становится замедленным видео в 240fps. Хотя, в принципе, с некоторых смартфонов можно снимать видео со схожей частотой кадров, AI-решение, как говорят ученые, позволяет 1) обрабатывать существующие видео и 2) получить удовлетворительный результат, не тратя ценное место и вычислительные мощности на стороне смартфона.
Кажется, сценарий из фильмов с анализом кадров из съемки в духе "ну-ка замедли этот фрагмент" становится вполне реалистичным.
Обзор на The Verge: https://www.theverge.com/2018/6/19/17478110/fake-slow-motion-ai-nvidia-research
Технические детали: https://arxiv.org/pdf/1712.00080.pdf
#ai #image #video #generation
The Verge
Nvidia uses AI to create convincing slo-mo video by filling in extra frames
New research from Nvidia shows how
Вторая история — от исследователей из Microsoft и китайского Института науки и технологий о том, как генерировать изображения человеческих лиц. Фактически, команда научилась разделять идентичность (identity), специфичные свойства конкретного лица, и атрибуты, переносимые параметры вроде эмоции. На стыке получается делать трансформацию исходного лица в нужное состояние.
Мне тут видятся также большие перспективы как с точки зрения биометрии, так и с точки зрения консьюмерских применений вроде генерации аватаров и реалистичных изображений в кино и играх. Ну и еще один кирпичик в области фейкового контента, конечно.
https://www.microsoft.com/en-us/research/blog/believing-is-seeing-insightful-research-illuminates-the-newly-possible-in-the-realm-of-natural-and-synthetic-images/ #ai #image #face #generation
Мне тут видятся также большие перспективы как с точки зрения биометрии, так и с точки зрения консьюмерских применений вроде генерации аватаров и реалистичных изображений в кино и играх. Ну и еще один кирпичик в области фейкового контента, конечно.
https://www.microsoft.com/en-us/research/blog/believing-is-seeing-insightful-research-illuminates-the-newly-possible-in-the-realm-of-natural-and-synthetic-images/ #ai #image #face #generation
Microsoft Research
Believing is seeing: Insightful research illuminates the newly possible in the realm of natural and synthetic images - Microsoft…
A pair of groundbreaking papers in computer vision open new vistas on possibilities in the realms of creating very real-looking natural images and synthesizing realistic, identity-preserving facial images. In CVAE-GAN: Fine-Grained Image Generation through…
Начнем сегодня с AI и генерации видео. Тут ребята из университета Berkeley развлекаются и пытаются научить людей танцевать. Точнее так: сделать перенос стилей с видео танцующего человека на подопытного пытающегося. Пока хромает в мелких деталях, но в целом трекинг скелета по контрольным точкам вполне кажется неплохим: https://www.youtube.com/watch?v=PCBTZh41Ris
Обзор на Engadget: https://www.engadget.com/2018/08/26/ai-alters-video-to-make-people-dance/ #ai #video #generation
Обзор на Engadget: https://www.engadget.com/2018/08/26/ai-alters-video-to-make-people-dance/ #ai #video #generation
YouTube
Everybody Dance Now
Full paper - https://arxiv.org/pdf/1808.07371.pdf
Website - https://carolineec.github.io/everybody_dance_now/
Website - https://carolineec.github.io/everybody_dance_now/