Ahora mismo estoy trabajando en el desarrollo de agentes de IA basados en modelos de lenguaje. En concreto, en sistemas que usan RAG (retrieval-augmented generation).

Lo que más ocupa mi tiempo no es escribir prompts “bonitos”, sino ajustar cómo el sistema recupera la información y cómo se la pasa al modelo para que responda de la manera esperada según cada proyecto.

En IA casi nunca hay una configuración definitiva. Siempre hay algo nuevo: un modelo distinto, un parámetro que cambia el comportamiento, una limitación que no habías visto antes.

En el caso del RAG, gran parte del trabajo está en decidir cómo dividir los documentos que se guardan en la base de conocimiento. El tamaño de los chunks, el solapamiento y el contexto que se conserva hacen una diferencia enorme en las respuestas.

También hay muchas decisiones sobre el método de recuperación: qué tipo de búsqueda usar, cuántos resultados traer, cómo filtrarlos y en qué orden pasarlos al modelo. No hay una sola forma correcta; depende mucho del tipo de información y de lo que el usuario espera.

Parte del trabajo es probar, medir, ajustar y volver a probar. A veces un cambio pequeño mejora mucho el resultado. Otras veces lo empeora sin que sea obvio por qué.

Lo interesante es que rara vez sientes que ya “terminaste”. Más bien llegas a un punto aceptable y sabes que mañana, con un modelo nuevo o un enfoque distinto, habrá que mover cosas otra vez.

No lo digo como queja. Es simplemente la forma en la que este tipo de trabajo funciona ahora.