Новая программа может создавать тексты для инструментальной музыки
Новый искусственный интеллект может придумывать слова к песне прямо в тот момент, пока она играет. Получившиеся тексты несут даже больший смысл, чем у большинства современных исполнителей
За последние несколько десятилетий ученые разработали вычислительные инструменты, которые могут генерировать определенные типы данных, такие как изображения, слова или аудиозаписи. Эти системы могут иметь множество применений, особенно в творческих областях, связанных с созданием новых произведений искусства.
Ученые Университета Ватерлоо уже несколько лет проводят исследования, посвященные генерации лирической музыки. Совсем недавно инженеры также начали исследовать возможность генерации текстов для звуковых дорожек инструментальной музыки. В своем новом исследовании ученые представили систему LyricJam, которая может генерировать тексты, подходящие под конкретную музыку.
Система ученых преобразует необработанные аудиофайлы в спектрограммы, а затем с помощью моделей глубокого обучения генерирует тексты песен, соответствующие музыке, которую они обрабатывали в режиме реального времени. Архитектура модели состоит из двух вариационных автоэнкодеров, один из которых предназначен для анализа звуковых паттернов в мелодии, а другой — для анализа сгенерированного текста.
После этого ученые разработали две новые программы, которые позволяют совмещать результаты работы двух энкодеров, подгоняя таким образом слова под музыку. В конечном счете, эти механизмы позволяют программе с машинным обучением узнать, какие типы текстов хорошо сочетаются с конкретной мелодией.
Главная особенность, которая отличает LyricJam от других систем генерации текстов, разработанных в прошлом, заключается в том, что она может создавать подходящие тексты в реальном времени — прямо в тот момент, пока исполнитель играет мелодию вживую. «Поиграться» с новым искусственным интеллектом или использовать его для своей работы можно через сайт проекта.
Препринт статьи опубликован на сайте arXiv.org.