Generación de Audio
⚠️ La generación de audio se encuentra actualmente en la etapa de exploración y los resultados son relativamente pobres.
Actualmente, en el campo de la generación de audio, no existen productos o paradigmas maduros. Un producto que vale la pena prestar atención es suno-ai/bark.
La conversión tradicional de texto a audio se limita a la síntesis de voz. Sin embargo, si queremos generar nueva música a través de descripciones de texto, la tecnología de síntesis de voz no puede satisfacer la demanda.
Bark es un nuevo modelo que explora cómo generar audio a través de descripciones de texto en el campo del audio. Actualmente, Bark puede generar habla multilingüe y otros tipos de audio, incluyendo música, ruido de fondo y efectos de sonido simples.
Utiliza un paradigma similar a Stable Diffusion: generar audio a través de descripciones de texto y gramática específica.
Utilizaremos un ejemplo para que puedas experimentar su funcionalidad.
TTS Avanzado
Abre la página de experiencia en línea. Puedes ingresar el texto que deseas convertir en habla en el cuadro de entrada a la izquierda. La diferencia con la tecnología de síntesis de voz ordinaria es que Bark admite gramática específica y puede agregar otros efectos de sonido al habla. Por ejemplo, risas, golpes, suspiros, etc.
| Gramática | Efecto | Ejemplo de entrada | Nota |
|---|---|---|---|
| [risa] | Agregar efecto de risa | Hola, mi nombre es Suno. [risa] | |
| [risas] | Agregar efecto de risa | Hola, mi nombre es Suno. [risas] | |
| [suspiros] | Agregar efecto de suspiro | Es tan malo [suspiros] | |
| ♪ xxxxx ♪ | Canto | ♪ No es tan largo, y no estoy allí ♪ | Si el uso de otros altavoces no es efectivo, usa Incondicional |
Cabe señalar que el altavoz y el texto de entrada deben ser del mismo tipo.
Actualmente, el efecto de Bark es relativamente pobre, y aún queda camino por recorrer antes de que pueda aplicarse realmente. Sin embargo, este paradigma de generación de música a través de descripción de texto + DSL (lenguaje de gramática específica) puede valer la pena aprender.
Continuaremos prestando atención a esta área, y si hay alguna actualización o avance tecnológico, lo seguiremos de cerca.