Proceso generativo

Cuando un LLM genera una respuesta, no elige simplemente la palabra más probable en cada paso. En su lugar, calcula una distribución de probabilidad sobre todo su vocabulario para el siguiente token. Luego, utiliza técnicas de muestreo (sampling) para seleccionar un token de esta distribución. Este enfoque probabilístico es lo que permite la creatividad y la variabilidad en sus respuestas.

Por ejemplo, si el prompt es “El día estaba soleado, así que decidí ir a…”, las siguientes palabras probables podrían ser “la”, “el”, “caminar”, etc.

1. Análisis del prompt: El LLM procesa la entrada completa utilizando su mecanismo de atención para construir una representación numérica rica en contexto.
2. Predicción del siguiente token: Basado en esta representación, predice una distribución de probabilidad para el siguiente token.
3. Muestreo y generación: Se selecciona un token (por ejemplo, “la”).
4. Actualización del contexto: Este nuevo token se añade a la secuencia de entrada, y el proceso se repite para generar el siguiente token (“playa”), y así sucesivamente, hasta que se alcanza una condición de parada (como un token de fin de secuencia).

Este proceso iterativo, token por token, es lo que le permite realizar tareas complejas como redactar correos electrónicos, generar código funcional, traducir idiomas con precisión o explicar un algoritmo complejo, manteniendo siempre la coherencia y relevancia con respecto a la solicitud inicial.