Dónde un LLM se gana su lugar — y dónde no

Cada trabajo de consultoría de IA que he tomado empieza igual: alguien decidió que el producto necesita IA, y la pregunta que me entregan es "cómo", cuando la pregunta que importa es "dónde".

El filtro

Un LLM se gana su lugar cuando tres cosas son ciertas a la vez.

• ·La tarea tiene muchas respuestas válidas en vez de una correcta. Resumir, reescribir, clasificar de forma laxa, redactar. Si hay exactamente una respuesta correcta y una forma determinista de calcularla, escribe la función.
• ·Equivocarse es barato y visible. El usuario ve la salida y puede rechazarla. Una sugerencia equivocada cuesta un clic; una transferencia bancaria equivocada cuesta una demanda.
• ·La entrada es desordenada de una forma que resiste el parseo. Texto libre, formatos mezclados, lenguaje humano. Si tu entrada ya está estructurada, probablemente quieres una query, no un modelo.

Si falla cualquiera de las tres, estás construyendo algo que se verá impresionante en el demo y erosionará la confianza en producción.

El fracaso que más veo

Los equipos recurren a un LLM para evitar escribir reglas, y luego descubren que las reglas eran la parte fácil. Lo que realmente necesitaban era el modelo de datos debajo, y ahora el modelo está tapando su ausencia — de forma cara, no determinista y sin manera de testearlo.

La señal es cuando alguien pregunta "cómo lo hacemos más preciso" antes de que alguien pueda decir qué significa preciso para esa feature. Eso no es un problema de prompting.

Qué hacer primero

Escribe cómo se ve una salida correcta, con suficiente concreción como para que dos personas califiquen la misma salida igual. Si no puedes, no tienes una evaluación, y sin evaluación no tienes forma de saber si algún cambio que hagas es una mejora.

Ese documento vale más que el prompt. El prompt es la parte fácil — es lo que reescribirás veinte veces, y cada reescritura solo vale la pena porque la evaluación te dice si ayudó.