Ruibin Yuan разработал ИИ-модель, которая превращает текст в полноценные музыкальные произведения

YuYuE-s1-7B — это китайская ИИ-модель с открытым исходным кодом, способная генерировать полноценные песни с вокалом и инструментами. Ее разработал Ruibin Yuan. Модель может создавать песни длительностью до пяти минут на разных языках и в различных музыкальных стилях.

Под капотом YuE использует две разные ИИ-модели: одна занимается генерацией речи и музыки, другая управляет дополнительными элементами песни.

Пользователи могут настраивать свои творения, выбирая музыкальный стиль, настроение и тип голоса, а система может воспроизводить различные техники пения.

Проект уже доступен на HuggingFace, а несколько демонстрационных примеров размещены на GitHub.

Источник: itnews.pro