Нейросеть пишет музыку так же, как языковая модель пишет текст: она выучила на огромном количестве записей, какой звук обычно следует за каким, и продолжает эту последовательность, ориентируясь на ваш запрос. Сервисы вроде Suno и Udio за минуту создают песню с куплетами, припевом и вокалом по нескольким словам описания. Получается убедительно в популярных жанрах, но слабее там, где нужны сложная форма, точный текст и узнаваемый авторский стиль.
От нот к звуку: два способа генерировать музыку
Символьная генерация
Первые музыкальные нейросети работали с нотами, а не со звуком. Мелодия записывалась как последовательность событий в формате MIDI: какая нота, когда началась, сколько длится, с какой силой нажата. Модель училась на тысячах партитур и предсказывала следующую ноту. Так работали проекты Magenta от Google и MuseNet от OpenAI, который в 2019 году сочинял пьесы для нескольких инструментов в стиле разных композиторов.
Плюс такого подхода — результат можно открыть в нотном редакторе и отредактировать. Минус — нужна отдельная программа, чтобы озвучить ноты синтезаторами, а голос с текстом так не получить.
Генерация звука напрямую
Современные сервисы создают сразу звуковую волну. Секунда аудио в CD-качестве — это 44 100 чисел на канал, слишком много для прямого предсказания. Поэтому звук сначала сжимают специальной нейросетью-кодеком в короткую последовательность «звуковых токенов», примерно как текст режется на слова. Генеративная модель учится предсказывать эти токены, а кодек потом разворачивает их обратно в слышимый звук.
Второй распространенный метод — диффузия. Модель берет случайный шум и за десятки шагов постепенно «очищает» его, пока не получится спектрограмма или сжатое представление музыки, соответствующее описанию. Тем же принципом пользуются генераторы картинок Stable Diffusion и Midjourney.
Как устроены Suno, Udio и их аналоги
Внутренние детали коммерческие компании не раскрывают, но общая схема известна по открытым исследованиям, например MusicLM от Google и MusicGen от Meta, вышедшим в 2023 году. Процесс выглядит так:
- Пользователь пишет описание: жанр, настроение, темп, инструменты, иногда готовый текст песни.
- Текстовая часть модели переводит описание в числовой вектор, связанный со звучанием.
- Если текста нет, языковая модель сочиняет стихи и размечает куплеты и припев.
- Аудиомодель генерирует звуковые токены инструментала и вокала, согласованные со словами.
- Декодер превращает токены в аудиофайл, обычно длиной от одной до нескольких минут.
Чтобы модель понимала связь слов и звука, ее обучают на огромном количестве записей с описаниями. Именно состав этих обучающих данных стал главным предметом споров вокруг сервисов. Кроме Suno и Udio, существуют Stable Audio от Stability AI, открытая MusicGen, музыкальные функции в продуктах крупных технологических компаний, а также российские разработки, встроенные в голосовых ассистентов и сервисы для блогеров.
Откуда берется голос и почему его так легко подделать
Вокал в генерируемой песне не записан певцом: модель синтезирует его вместе с музыкой, подбирая тембр под жанр. Отдельная технология — клонирование голоса. Нейросеть анализирует записи конкретного человека и учится переносить его тембр на любую мелодию и текст. Для неплохого результата бывает достаточно нескольких минут чистого вокала.
В 2023 году в сети разошлась песня «Heart on My Sleeve», где голоса Дрейка и The Weeknd были синтезированы без их участия. Трек успел набрать миллионы прослушиваний, прежде чем его удалили со стриминговых площадок по требованию лейбла. После этого платформы и звукозаписывающие компании начали активнее бороться с подделками голосов известных артистов.
Клонирование голоса используют и мошенники: в телефонных звонках имитируют голос родственника, который «попал в беду». Если близкий человек срочно просит деньги, лучше перезвонить ему по известному номеру или задать вопрос, ответ на который знаете только вы двое.
Что нейросети в музыке делают хорошо, а что плохо
| Получается хорошо | Получается хуже |
|---|---|
| Поп, рок, электроника, лоу-фай | Редкие этнические жанры |
| Фоновая музыка для видео | Длинные формы вроде симфонии |
| Быстрые наброски и демо | Точная правка одной ноты или такта |
| Типичный звук жанра | Свежая узнаваемая идея |
| Английский вокал | Четкая дикция на других языках |
Типичные дефекты, по которым трек от нейросети можно узнать на слух:
- «плывущие» или металлически звенящие верхние частоты, особенно в тарелках;
- неразборчивые слоги и проглоченные окончания в вокале;
- повторы одного и того же фрагмента без развития к концу песни;
- ударение в русских словах падает не туда, куда нужно;
- внезапная смена тембра голоса между куплетами.
С каждым поколением моделей дефектов становится меньше, и отличить хорошую генерацию от студийного трека неподготовленному слушателю уже бывает сложно.
Как самому создать песню с помощью нейросети
Чтобы результат не звучал случайно, полезно подготовить запрос заранее.
- Указывайте жанр и эпоху: «синти-поп 80-х», «акустический фолк», «драм-н-бейс». Чем конкретнее, тем точнее звучание.
- Добавьте настроение и темп: «медленно, грустно, около 70 ударов в минуту».
- Перечислите инструменты: «только фортепиано и виолончель» или «электрогитара с перегрузом».
- Если пишете свой текст, размечайте структуру: куплет, припев, бридж. Короткие строки с ровным ритмом поются лучше.
- Для русского текста ставьте ударения в спорных словах и избегайте длинных слов подряд.
- Генерируйте несколько вариантов: модель работает со случайностью, и разные попытки звучат по-разному.
Многие музыканты используют ИИ не для готовых песен, а как инструмент: отделяют вокал от минусовки, генерируют барабанную партию, подбирают аккомпанемент к своей мелодии или делают черновик аранжировки, который потом переигрывают вживую.
Авторские права на музыку, созданную ИИ
Здесь два разных вопроса. Первый — законно ли обучать модель на чужих записях. В 2024 году крупнейшие звукозаписывающие компании подали в США иски против Suno и Udio, утверждая, что их модели обучались на защищенных записях без разрешения. Часть споров затем перешла в переговоры о лицензировании, но единого правила для всей отрасли пока нет.
Второй вопрос — кому принадлежит трек, созданный нейросетью. Бюро авторского права США заявляет, что произведение, созданное машиной без творческого вклада человека, не охраняется авторским правом, а охраняются только части, придуманные человеком: например, его текст или аранжировка. В российском Гражданском кодексе автором может быть только гражданин, чьим творческим трудом создано произведение, поэтому мелодия, целиком созданная машиной, тоже находится в серой зоне.
На практике права на использование определяют условия сервиса. Обычно на бесплатных тарифах коммерческое использование запрещено, а на платных разрешено. Перед тем как выкладывать трек на стриминг или ставить в рекламу, стоит прочитать пользовательское соглашение. И нельзя без согласия использовать голос реального певца: это может нарушать его права на изображение и голос.
Что еще спрашивают о музыке от нейросетей
Можно ли выложить песню от нейросети на стриминг
Многие дистрибьюторы принимают такие треки, если у вас есть права по условиям сервиса. Некоторые площадки требуют пометить участие ИИ и удаляют треки с поддельными голосами известных артистов.
Понимает ли нейросеть музыку
Она улавливает статистические закономерности: какие аккорды и ритмы встречаются вместе в определенном жанре. Эмоций и замысла у нее нет, их вкладывает человек через запрос и выбор вариантов.
Может ли нейросеть спеть моим голосом
Технически да, клонирование голоса по записям существует. Делать это стоит только со своим голосом или с письменного согласия владельца.
Заменит ли ИИ композиторов
Сильнее всего он давит на рынок фоновой и стоковой музыки. Авторская музыка, живые выступления и работа с конкретным заказчиком пока остаются за людьми.