Presentación del Ajuste Fino de Modelos
"Los modelos de ajuste fino son el secreto último de la alquimia." El legendario alquimista Idar Alchemy escribió en el "Manual de Alquimia"
Introducción al Ajuste Fino de Modelos
¿Qué es el ajuste fino de un modelo?
Primero consideremos algunos escenarios de la vida real.
- Supongamos que te gusta una celebridad en particular y quieres que el modelo genere sus fotos. ¿Cómo le dices al modelo que quieres generar fotos de esa celebridad en particular?
- Supongamos que quieres un chatbot para jugar contigo en un juego de rol, con el chatbot jugando como una chica gato. Durante la conversación, desarrollas sentimientos por esta chica gato, pero cuando comienzas un nuevo contexto de conversación y quieres que el chatbot juegue como esta chica gato nuevamente, el estilo de habla y la personalidad del chatbot son notablemente diferentes de antes. ¿Cómo puedes asegurarte de que el estilo de habla/personalidad del chatbot se mantenga consistente?
- Tu amigo X ha fallecido y quieres que un chatbot finja ser él y charle contigo. Para hacer que el chatbot sea lo más parecido posible a X, le proporcionas al chatbot ajustes de antecedentes complejos. Sin embargo, debido a que los ajustes de antecedentes son demasiado largos, el chatbot a menudo olvida la conversación anterior debido a la longitud del contexto de la conversación. ¿Cómo puedes resolver este problema?
Los problemas que se presentan en estos tres escenarios no se pueden resolver simplemente modificando la entrada del modelo (también conocida como la indicación). Los problemas incluyen:
Puede que no sea posible describir con precisión el contenido generado deseado a través del lenguaje natural.
Por ejemplo, cuando se trata de caras, incluso si le decimos al modelo que la celebridad tiene ojos grandes, un puente nasal alto, cabello negro, etc., el modelo aún no puede determinar con precisión qué tipo de persona queremos generar. No podemos usar el lenguaje natural para describir con precisión la cara de una persona.
Las descripciones simples en lenguaje natural no garantizan que el contenido generado por el modelo sea estable.
Por ejemplo, en un escenario de juego de rol, le decimos al chatbot que necesita interpretar a un cierto personaje. Incluso si describimos el estilo de habla o la personalidad del personaje a través del texto, las respuestas del chatbot seguirán siendo diferentes de nuestras configuraciones en múltiples juegos y conversaciones.
Las restricciones textuales simples en la generación del modelo suelen tener una baja precisión, y no podemos describir con precisión a una persona a través de un texto simple.
Las restricciones textuales simples en el modelo pueden resultar en conversaciones demasiado cortas debido a la longitud del texto limitante.
Para mejorar la precisión a través de restricciones de lenguaje natural, se necesitan restricciones de lenguaje natural más largas. Cuanto más larga sea la restricción de lenguaje natural, más espacio de contexto de diálogo ocupará, lo que resultará en que la conversación real sea demasiado corta.
Cuando los ajustes simples de entrada no pueden resolver estos problemas, se necesitan técnicas de ajuste fino del modelo.
El ajuste fino del modelo se refiere a reentrenar un modelo existente en datos específicos para hacer que el modelo sea más adecuado para un escenario particular.
Por ejemplo, los problemas que se presentan en los escenarios anteriores se pueden resolver mediante el ajuste fino del modelo.
Puede que no sea posible describir con precisión el contenido generado deseado a través del lenguaje natural.
Dado que no podemos describir la cara de una celebridad a través del lenguaje, podemos usar sus fotos para decirle al modelo qué tipo de persona queremos generar.
Primero, recopilamos de 10 a 40 fotos claras de la cara de la celebridad en línea, y luego ajustamos finamente el modelo en estas fotos. Después del ajuste fino, podemos usar el modelo ajustado finamente para generar fotos de esta celebridad.
Las descripciones simples en lenguaje natural no garantizan que el contenido generado por el modelo sea estable.
Primero, necesitamos recopilar los datos de chat de la chica gato que nos gustó antes y encontrar su estilo de habla. Si los datos de conversación anteriores no son suficientes, podemos dejar que el chatbot genere directamente varios idiomas que imiten este estilo, y luego seleccionar el texto adecuado. Luego ajustamos finamente el modelo en este texto, y el modelo ajustado finamente producirá texto que se inclina hacia el estilo de los datos de ajuste fino.
Las restricciones textuales simples en el modelo pueden resultar en conversaciones demasiado cortas debido a la longitud del texto limitante.
Primero, también necesitamos preparar algunos datos de amigo X, como sus conversaciones de chat y antecedentes de personajes. Luego ajustamos finamente el modelo en este texto, y el modelo ajustado finamente puede conversar directamente en el estilo de este personaje sin ajustes de antecedentes complejos.
En general, la importancia del ajuste fino de modelos es hacer que el contenido generado por el modelo sea más personalizado.
¿Cuándo no necesitas ajustar finamente un modelo?
Por ejemplo, si quieres especificar que los personajes en una imagen están todos usando camisetas blancas, o si quieres que un chatbot juegue un papel utilitario, en general, en escenarios no personalizados, puedes usar un modelo general sin ajuste fino.
¿Qué necesitas preparar para ajustar finamente un modelo?
Equipo: Una computadora con una tarjeta gráfica Nvidia (si no tienes dicho equipo, puedes alquilar un servicio en línea)
Datos:
- Para los tipos de imágenes, necesitas preparar algunas imágenes
- Para los tipos de texto, necesitas preparar un corpus de texto
- Para los tipos de audio, necesitas preparar algunas canciones o archivos de música
Cómo usar el modelo ajustado finamente
Consulta el contenido en la descripción general del uso del modelo.