Аудио класс Модель AIGC
В настоящее время в области аудио нет хорошей базовой модели.
| Базовая модель | Время выпуска | Издатель | Примечания |
|---|---|---|---|
| dance-diffusion | 2022.09 | harmonai | |
| audio-diffusion | 2022.08 | teticio | |
| riffusion | 2022.12 | Seth Forsgren | Создайте спектрограмму на основе диффузионной модели, а затем превратите спектрограмму в музыку. |
| audioldm | 2023.01 | haoheliu | |
| bark | 2023.04 | suno.ai |
Текущая модель с открытым исходным кодом далека от приложения. Если вы хотите получить лучшие результаты, вы можете взглянуть на [mubert] (https://mubert.com/)
В дополнение к моделям для создания музыки или звука с нуля, еще одна технология, которая в настоящее время приближается к критической точке применения, — это преобразование речи.
Преобразование голоса — это метод, который изменяет голос говорящего-источника так, чтобы он звучал как голос другого целевого говорящего.
В настоящее время хорошо известны продукты so-vits-svc