Categorías de Ajuste Fino de Modelo
"El ajuste fino completo es como una espada pesada, mientras que el ajuste fino eficiente en parámetros es como un cuchillo pequeño. No usas una espada pesada para cortar frutas, y no usas un cuchillo pequeño para la batalla." - Ida Alchemy, miembro de la Asociación de Alquimia, escribió en sus notas.
Los modelos de ajuste fino se pueden dividir en dos categorías:
- Ajuste Fino Completo: Se entrenan todos los parámetros del modelo, lo que resulta en un nuevo modelo.
- Ajuste Fino Eficiente en Parámetros: Solo se ajusta un pequeño número de parámetros, lo que resulta en un modelo pequeño que no se puede utilizar solo y que necesita ser utilizado junto con el modelo original.
Estas dos técnicas son adecuadas para diferentes escenarios.
Se presentan ejemplos a continuación.
Escenarios de Uso para el Ajuste Fino Completo
Supongamos que tenemos un modelo de Difusión Estable 2.1 que puede generar varios escenarios de imágenes.
Ahora queremos utilizar este modelo solo para generar varios escenarios de fotos de humanos en la vida real. En este caso, deberíamos utilizar el ajuste fino completo.
Prepara un gran número (10,000 o incluso más) de fotos de humanos reales, y ajusta fino el modelo basado en estas imágenes para entrenar un modelo dedicado que solo genera fotos de humanos reales.
Después de obtener este modelo especializado para imágenes de la vida real, podemos poner el modelo recién entrenado en la estación de generación de imágenes y empezar a generar fotos de humanos reales.
Escenarios de Uso para el Ajuste Fino Eficiente en Parámetros
A continuación, tenemos otra idea. Esperamos que las personas que aparecen en las fotos generadas por este modelo sean todas una celebridad fija, es decir, esperamos que los rostros de las personas que aparecen en las fotos sean fijos.
En este caso, podemos utilizar el ajuste fino eficiente en parámetros, preparar un pequeño número (10-50) de fotos de esa celebridad y ajustar fino un modelo Lora eficiente en parámetros basado en estas imágenes.
Después de obtener este modelo pequeño, necesitamos utilizar el modelo grande original y este modelo pequeño eficiente en parámetros juntos al generar imágenes.
Ajuste Fino Completo: Requiere más recursos informáticos y generalmente es más adecuado para conjuntos de datos a gran escala. Por lo general, es adecuado para ajustes a gran escala, como ajustes de estilo general para un modelo, o un modelo utilizado principalmente para generar imágenes bidimensionales que ahora necesita convertirse en un modelo para generar imágenes de la vida real.
Ajuste Fino Eficiente en Parámetros: Más conveniente para el entrenamiento y uso, como querer que un modelo genere el rostro de una persona específica o un tipo específico de ropa.