Cambiar de modelo de IA cuesta semanas de ingeniería

Un estudio de VB Pulse muestra que cambiar de modelo de IA exige semanas de ingeniería en el 70% de los casos. Qué medir antes de decidirlo.

Análisis · 2 min de lectura

Una encuesta de VB Pulse a responsables de IA en empresas de más de 100 empleados confirma lo que muchos equipos ya sospechaban: cambiar de modelo de IA no es una línea de configuración. El 47% cambió el modelo de un sistema en producción en el último año manteniendo la misma aplicación. De esos, el 70% necesitó al menos unas semanas de trabajo de ingeniería extra, y el 36% más de un mes. Solo el 13% lo resolvió como quien cambia un ajuste.

El motivo no es el modelo en sí, es todo lo que se construyó alrededor. Box lo resume así: el arnés, las reglas, prompts y herramientas que envuelven al modelo, suele marcar más diferencia que el modelo entre los proveedores de referencia actuales. Cambiar de proveedor sin rehacer ese arnés produce resultados peores en el 45% de los casos, hasta el punto de que algunas empresas vuelven al modelo anterior.

Para Marta esto cambia la pregunta antes de firmar con un proveedor. No es solo qué modelo rinde mejor hoy, es cuánto costará moverse cuando ese proveedor suba el precio o quede atrás. PayPal ya lo había adelantado esta semana: separó el conocimiento de negocio del modelo para no reconstruirlo cada vez que cambia de proveedor. Esta encuesta confirma que ese movimiento no fue una rareza, es la práctica que separa a quien migra en días de quien tarda meses.

Los casos reales lo ilustran. Uber construyó benchmarks con tareas propias y ahora cambia un agente gestionado en un par de días, lo que le permitió recortar un 90% el coste de una tarea de limpieza de código al elegir mejor el modelo. T-Mobile, en cambio, no optimiza por coste en atención al cliente: ejecuta la versión antigua y la nueva en paralelo sobre llamadas reales antes de decidir.

JPMorgan Chase exige que cada modelo nuevo pase por un proceso de aprobación interno antes de que cualquier empleado pueda usarlo. Databricks guarda las respuestas del modelo de referencia como conjunto de evaluación antes de moverse a uno más barato. Ningún caso depende de la promesa del proveedor: todos miden con datos propios antes de decidir.

Para una empresa mediana sin equipo de IA dedicado, el primer paso realista es más modesto: guardar un conjunto de 20 a 30 preguntas reales con sus respuestas correctas antes de considerar cualquier cambio de proveedor, y no fiarse solo de la cifra de precio por token.

La limitación de la propia encuesta conviene decirla: la muestra es de empresas que ya cambiaron de modelo, con el sesgo de que quien no lo intentó no cuenta su experiencia. Aun así, el patrón, el coste real está en el arnés y no en el precio de lista, se repite en todos los casos citados.

Fuente: VentureBeat

Newsletter diaria

Una noticia al día. La que importa.

  • Lunes a viernes
  • 3 minutos de lectura
  • Sin spam