Moises — подготовь вокал для клонирования.

Для клонирования голоса нужны подходящие образцы и сервис обучения модели. Moises поможет отделить вокал от музыки, если чистой исходной дорожки нет.

Попробовать
Сначала — твой голос
Несколько записей одного человека как образцы для персональной голосовой модели.Образцы одного голосаПерсональная модель
Несколько записей одного человека как образцы для персональной голосовой модели.

Начни с образцов одного голоса.

Персональная модель учится особенностям конкретного голоса по записям. Для чтения новых фраз нужен сервис клонирования с синтезом речи; для смены тембра готовой песни используется другой процесс. Сначала проверь требования выбранной модели, затем собери образцы одного человека в стабильных условиях.

Новые фразы своим голосом

Для этой задачи нужен сервис, который поддерживает обучение персональной модели и последующий синтез речи.

Другой тембр для песни

Для экспериментов с готовой вокальной партией подойдёт преобразование в Voice Studio. Текст и исполнение уже находятся в записи.

Подготовленные образцы

Запиши одного человека в одинаковых условиях, без фоновой музыки и сильных эффектов. Точные требования задаёт сервис обучения.

Как подготовить голосовые образцы

  1. Проверь требования модели

    До записи уточни нужную длительность, язык, формат и допустимую обработку образцов в выбранном сервисе клонирования. Требования к датасету могут отличаться.

  2. Собери чистые записи

    Используй свой голос или голос человека, который согласился на создание модели. Запиши разные фразы без музыки, эха и заметного перегруза.

  3. Отбери подходящие образцы

    Убери из набора фрагменты с чужой речью, перегрузом и заметным шумом. Если голос есть только в песне, отдели его в Moises и проверь артефакты: чистая исходная дорожка предпочтительнее.

Дикция и чистота важнее эффектов.

Разнообразные фразы помогают представить разные звуки речи — фонемы — и естественные интонации. Держи расстояние до микрофона и громкость постоянными. Не добавляй реверберацию и сильную компрессию: образцы должны передавать голос, а не эффект обработки. Сохраняй исходные файлы до любых изменений.

Два разных сценария
Персональная голосовая модельСоздаётся по образцам конкретного человека в сервисе клонирования.
Преобразование в Voice StudioМеняет тембр готовой записи с помощью доступных моделей.
Подготовка вокалаОтделяет голос от инструментов и помогает получить материал для дальнейшей работы.
Состав образцов

Выбирай фразы с разным звучанием.

Набор из похожих предложений мало показывает дикцию человека. Для подготовки записи к клонированию голоса полезны разные сочетания звуков и естественные интонации. Точный состав материала сверяй с требованиями выбранного сервиса.

Выбирай фразы с разным звучанием.Разные фразы раскрывают больше особенностей речи, чем многократное повторение одной.УтверждениеВопросСочетания
Разные фразы раскрывают больше особенностей речи, чем многократное повторение одной.

Повествование и вопрос

Прочитай нейтральную фразу и вопрос без переигрывания. Например: «Мы вернёмся вечером» и «Когда начинается репетиция?»

Разные сочетания

Добавь предложения с мягкими согласными, шипящими и длинными словами. Не заменяй живую речь механическим повторением слогов, если этого не требует модель.

Отбор материала

Один набор — один человек.

В образцы персональной модели не должны случайно попасть реплики собеседника или чужой вокал. Перед передачей материала прослушай каждый файл, особенно записи интервью, совместных репетиций и голосовые сообщения.

Один набор — один человек.В рабочий набор попадают подходящие фрагменты одного диктора, без чужих реплик.Набор
В рабочий набор попадают подходящие фрагменты одного диктора, без чужих реплик.

Без наложения голосов

Оставляй фрагменты, где нужный человек звучит отдельно. Если голоса перекрываются, такой участок лучше исключить из исходного набора.

Без смешения условий

Отдельно отметь записи с другим микрофоном или сильным фоном. Не объединяй их вслепую: сначала проверь требования сервиса к однородности материала.

Описание исходников

Оставь у каждого образца понятное описание.

Даже небольшой набор голосовых файлов проще проверять, если ясно, что в каждом записано. Достаточно обычного списка рядом с аудио; он не зависит от конкретного инструмента клонирования.

Оставь у каждого образца понятное описание.Имя файла, содержание и результат проверки превращают папку записей в понятный набор.ФайлТекстСтатус01.wav02.wav03.wav
Имя файла, содержание и результат проверки превращают папку записей в понятный набор.

Содержание

Укажи текст или тему фрагмента, язык и имя файла. Это поможет обнаружить повторы и найти нужный образец.

Условия

Отметь источник записи и заметные особенности: другой микрофон, фон, обработку или извлечение вокала из песни.

Решение

Пометь, какой файл оставлен, какой требует проверки и какой исключён. Не удаляй оригиналы до завершения работы.

Проверка персональной модели

Проверяй на новых словах, а не знакомом образце.

Если выбранный сервис позволяет синтезировать речь персональной моделью, оцени её на тексте, которого не было в исходных записях. Знакомая фраза сама по себе мало говорит о пригодности модели для будущих задач.

Проверяй на новых словах, а не знакомом образце.Новый текст помогает оценить, как персональная модель справляется с будущими репликами.Новый текстСценарийМодель
Новый текст помогает оценить, как персональная модель справляется с будущими репликами.

Сходство и разборчивость

Отдельно оцени узнаваемость голоса и правильность произношения. Похожая окраска не компенсирует потерянные окончания и неверные ударения.

Реальный сценарий

Проверь короткий отрывок того типа, для которого готовишь модель: объяснение, реплику или аудиоверсию текста. Эта проверка выполняется в сервисе клонирования, а не в Moises Voice Studio.

Часто задаваемые вопросы

Начни с собственного голоса.

Подготовь чистые образцы речи и проверь условия использования записи.

Попробовать