Генерация аудио
⚠️ Генерация аудио находится в стадии исследования, и результаты пока относительно низкие.
На данный момент в области генерации аудио нет зрелых продуктов или парадигм. Один продукт, на который стоит обратить внимание, - это suno-ai/bark.
Традиционное преобразование текста в аудио ограничивается текст в речь. Однако, если мы хотим генерировать новую музыку через текстовые описания, технология текст в речь не может удовлетворить потребности.
Bark - это новая модель, которая исследует, как генерировать аудио через текстовые описания в области аудио. В настоящее время Bark может генерировать речь на нескольких языках и другие аудио, включая музыку, фоновый шум и простые звуковые эффекты.
Он использует парадигму, аналогичную Stable Diffusion: генерирует аудио через текстовые описания и определенную грамматику.
Мы используем пример, чтобы вы могли оценить его функциональность.
Расширенный TTS
Откройте страницу онлайн-опыта. Вы можете ввести текст, который нужно преобразовать в речь, в поле ввода слева. Отличие от обычной технологии текст в речь заключается в том, что Bark поддерживает определенную грамматику и может добавлять другие звуковые эффекты в речь. Например, смех, стук, вздох и т. д.
| Грамматика | Эффект | Пример ввода | Примечание |
|---|---|---|---|
| [смех] | Добавить звук смеха | Привет, меня зовут Suno. [смех] | |
| [смеется] | Добавить звук смеха | Привет, меня зовут Suno. [смеется] | |
| [вздыхает] | Добавить звук вздоха | Это так плохо [вздыхает] | |
| ♪ xxxxx ♪ | Пение | ♪ Это не настолько долго, и я там не был ♪ | Если использование других динамиков неэффективно, используйте Unconditional |
Следует отметить, что динамик и вводимый текст должны быть одного типа.
В настоящее время эффект Bark относительно низкий, и ему еще предстоит пройти некоторый путь, прежде чем он сможет быть действительно применен. Однако эта парадигма генерации музыки через текстовое описание + DSL (язык определенной грамматики) может быть стоящей для изучения.
Мы будем продолжать следить за этой областью, и если будут какие-либо обновления или технологические прорывы, мы будем следить за ними.