Proceso generativo

Cuando un LLM genera una respuesta, no elige simplemente la palabra más probable en cada paso de forma mecánica. En su lugar, calcula una distribución de probabilidad sobre todo su vocabulario para el siguiente token y utiliza técnicas de muestreo (sampling).

Este enfoque probabilístico es lo que permite la creatividad y la variabilidad en sus respuestas.

Ejemplo: La predicción en acción

Si el prompt es: “El día estaba soleado, así que decidí ir a…”

El modelo calcula probabilidades para las siguientes palabras posibles:

• “la” (alta probabilidad -> derivará en “playa”, “montaña”)
• “caminar” (probabilidad media)
• “dormir” (baja probabilidad, pero posible)

El ciclo de vida de una respuesta

Este proceso ocurre en milisegundos, repitiéndose una y otra vez:

1. Análisis del prompt: El LLM procesa la entrada completa utilizando su mecanismo de atención para construir una representación numérica rica en contexto.

2. Predicción del siguiente token: Basado en esta representación, predice una distribución de probabilidad para el siguiente token posible.

3. Muestreo y generación: Se selecciona un token específico de esa distribución (por ejemplo, selecciona “la”).

4. Actualización del contexto: Este nuevo token se añade a la secuencia de entrada (“El día estaba soleado, así que decidí ir a la”).

   El proceso se repite desde el paso 1 tomando este nuevo contexto para generar el siguiente token (“playa”), y así sucesivamente, hasta alcanzar una condición de parada.

Este ciclo iterativo, token por token, es lo que le permite realizar tareas complejas como redactar correos, generar código funcional o explicar algoritmos, manteniendo siempre la coherencia y relevancia con respecto a tu solicitud inicial.