Benchmark de fiabilidad de agentes de IA 2026: cómo debería medirse la tasa de error de un agente de IA

La tasa de error de un agente de IA es la proporción de conversaciones gestionadas por la IA que contienen al menos un error de una gravedad determinada, dividida entre todas las conversaciones gestionadas por la IA, y se publica por separado para cada nivel de gravedad en lugar de combinarse en una sola cifra.

Conversaciones, no mensajes. Un denominador por mensaje infla el volumen y maquilla la tasa: una mala respuesta dentro de un hilo de cuarenta mensajes se lee como un fallo del 2.5% en lugar de uno del 100%. Además, una conversación puede resolverse con éxito y aun así contener un S1, así que la tasa de error y la tasa de resolución son lecturas independientes del mismo tráfico: ninguna sustituye a la otra.

Cuentan tanto los errores factuales como los de política, en las respuestas y en las acciones. Un agente que indica el importe correcto del reembolso pero lo emite sin el paso de verificación que exige tu manual ha cometido un error, aunque todo lo que escribió fuera cierto. Limitar el recuento a la precisión factual es la forma en que un agente con una prosa impecable se sale poco a poco de la política sin que nadie lo note.

La precisión es una métrica de éxito medida una vez; la fiabilidad es el fallo medido de forma continua. Todos los grandes proveedores publican la primera y ninguno publica la segunda, y el planteamiento binario de aprobado/suspenso oculta lo único que necesita un comprador: cuánto cuesta un fallo.

La respuesta del sector a «¿es fiable tu IA?» es una tasa de resolución con un criterio de precisión escondido dentro. Ada define una resolución automatizada como una conversación relevante, precisa y segura, donde precisa significa «la respuesta era correcta y coherente con las políticas, el conocimiento y los sistemas conectados vigentes»: un juicio binario, aprobado o suspenso. Fin declara una tasa de resolución media del 76% sobre 12,000 clientes, «contando solo las resoluciones positivas genuinas». La página de clientes de Sierra publica resultados por cliente —Airtable con un 80%, Chime con un 70%+— sin ninguna metodología de medición indicada a su lado.

Todas ellas son métricas de éxito. Ninguna es una métrica de error. Y el planteamiento binario oculta lo que de verdad importa a los compradores: una IA que escribe mal el nombre de un producto y una IA que aprueba un reembolso para el que no tenía autoridad cuentan igual, como una conversación fallida.

Definiciones de los proveedores tomadas de las propias páginas publicadas de cada empresa el 21 de septiembre de 2026. Aissist.io publica esta tabla y aparece en ella.

Peor aún, la precisión en un solo intento sobrestima la fiabilidad en producción. En τ-bench, el benchmark de agentes de atención al cliente que Sierra publicó como código abierto, los agentes de function calling más avanzados superaron menos del 50% de las tareas en un solo intento, y menos del 25% cuando se les exigía acertar en los ocho intentos de la misma tarea. La clasificación pública de τ-bench muestra el mismo patrón a medida que mejoran los modelos: la mejor puntuación de retail, un 69.2% en un intento, cae al 46.2% en cuatro.

«Todos los modelos muestran una degradación considerable del rendimiento a medida que aumenta k, lo que demuestra su falta de fiabilidad».— Equipo de investigación de τ-bench, Sierra

La precisión medida una vez no es fiabilidad medida de forma continua. Ese simple hecho es la razón por la que la pregunta útil no es ¿cuánta precisión? Es cuando se equivoca, ¿cuánto se equivoca y quién paga?

Gradúa cada error de la IA en cuatro niveles, decididos por dos preguntas: ¿cambia un resultado de negocio? y ¿con qué facilidad se puede deshacer? S0 es impacto de negocio irrecuperable, S1 es impacto de negocio recuperable, S2 es desviación del proceso sin impacto de negocio y S3 es cosmético.

La escala es asimétrica a propósito. S0 y S1 se diferencian en un orden de magnitud de coste, no en el grado de error. Un plazo de entrega equivocado y un reembolso fuera de política son simplemente «incorrectos» en un modelo binario de precisión; uno cuesta un mensaje de seguimiento y el otro cuesta dinero que la empresa no puede recuperar.

S2 se incluye porque la desviación del proceso es de donde salen los incidentes S0. Un agente que se salta la verificación de identidad todavía no ha perjudicado a nadie: simplemente ha eliminado el control que separaba una conversación normal de un robo de cuenta. Excluir S2 porque «no pasó nada» significa perder el único indicador adelantado que contiene la escala.

S3 se registra y se envía a Evolve, pero queda excluido del SLA. Los errores cosméticos son una señal de calidad, no de fiabilidad, e incluirlos es la forma más fácil de que una tasa de error parezca rigurosa sin medir nada.

La detección tiene dos capas: una auditoría con LLM sobre cada transcripción, más un muestreo de QA humano que mantiene honesto al auditor. Una tasa de error citada sin un método de detección explícito es una conjetura, y una tasa graduada por el mismo modelo que produjo la respuesta es un examen autocorregido.

La primera capa tiene que cubrirlo todo. El QA manual tradicional revisa el 1–2% de las interacciones, lo que deja desconocida la distribución de gravedad del 98% restante, y las distribuciones de gravedad son justo lo que peor estima una muestra pequeña, porque los eventos S0 son raros por definición. Una auditoría con LLM que lee cada transcripción es la única forma de llegar a ver un evento de uno entre diez mil.

La segunda capa existe porque el auditor también es un modelo y tiene su propia tasa de error. El muestreo de QA humano sobre las etiquetas de la propia auditoría es lo que mantiene calibrado el instrumento. Ada publica el ejemplo más claro de tomarse esto en serio: sus científicos de IA validaron su metodología de etiquetado con un margen de error del 0.06%. El instrumento de medida necesita su propio margen de error.

En Aissist.io, ambas capas funcionan a través de Pulse, que lee cada conversación en lugar de una muestra, y de Agent Insight, que puntúa a los agentes de IA y a los humanos con el mismo cuadro de mando. Evaluar a la IA con un estándar al que no se somete tu propio equipo produce una cifra que favorece al lado que hayas decidido medir.

Los objetivos contractuales de Aissist.io son menos del 1% para todos los errores S0–S2 combinados, menos del 0.1% para S1 y menos del 0.01% para S0, indicados por nivel de gravedad, sobre el denominador de conversaciones descrito arriba, con S3 registrado pero excluido del SLA.

Son umbrales que firmamos, no medias que observamos y redondeamos. Publicar un objetivo que tienes que cumplir es algo distinto de publicar un resultado que decidiste divulgar, y esa diferencia es precisamente el sentido de esta página.

Cómo se mantiene la tasa ahí

Una escala de gravedad mide la fiabilidad; no la produce. Dos mitades del mismo marco mantienen la cifra por debajo del umbral: los mecanismos de predictibilidad reducen el volumen de errores S1–S3 y los mecanismos de seguridad mantienen S0 cerca de cero. Cada uno se describe en detalle en cómo mantiene Aissist.io la fiabilidad de la IA:

• Harness engineering. Las instrucciones, el contexto, las herramientas y el orden de los pasos se diseñan para que una sola ejecución que se despliega en 12 a 20 tareas las ejecute todas bajo la misma política. En el lado de la seguridad, la información se delimita por sensibilidad y el agente se mantiene dentro del contexto que se le dio, intente lo que intente convencerle el usuario. Esta es la capa que suprime los errores factuales S1 y deja fuera de alcance las revelaciones S0.

• Booster: preguntar más de una vez. Las tareas críticas se ejecutan varias veces, un número impar, y gana el acuerdo más sólido. Consume más cómputo, por eso se aplica a las decisiones en las que es posible un S0 y no a cada respuesta.

• Autoinspección antes de enviar. Una pasada independiente —a menudo con la perspectiva de otro modelo— revisa la respuesta en cuanto a precisión y revelación de información antes de que el cliente la vea. Es la última oportunidad de detectar un error al coste de un S3 en lugar de al coste de un S0.

• Guardarraíles: el marco de gobernanza. Una capa de supervisión comprueba el comportamiento, las respuestas y las acciones frente a la política, y detiene o escala todo lo que la incumpla. Esta es la capa que detecta la desviación del proceso S2, que es el indicador adelantado que la escala existe para sacar a la luz.

• Diseño del espacio de trabajo. Los controles de seguridad que define la empresa —el email debe coincidir con el del pedido antes de compartir sus detalles— se ejecutan antes de facilitar información sensible, así que se mantienen independientemente de cómo se formule la solicitud.

Se necesitan varios mecanismos y no uno porque la fiabilidad compite con la capacidad. Un modelo tan restringido que nunca se equivoque también está lo bastante restringido como para ser inútil, así que cada capa recupera una parte distinta de ese compromiso. El argumento completo, con una comparación de cada mecanismo por pilar, coste y nivel de gravedad, está en la página de IA fiable.

Haz cinco preguntas: la tasa de error y su denominador, cómo gradúan la gravedad y la definición de S0 por escrito, la tasa de S0 por separado, quién detecta los errores y si algo de ello es contractual. Un proveedor que responde a las cinco está midiendo la fiabilidad.

Un proveedor que responde con una tasa de resolución está midiendo otra cosa. No siempre es una evasiva: la mayoría realmente no gradúa la gravedad, así que no tiene ninguna cifra de S0 que darte. La reacción que merece la pena observar es lo que pasa después: si se ofrecen a empezar a medirla o te explican por qué no deberías quererla. Combina esto con el Benchmark de precios de agentes de IA 2026, porque un proveedor que controla tanto el recuento de resoluciones como el de errores está corrigiendo su propia factura.

La fiabilidad no se puede inferir de una métrica de éxito, y una tasa de error combinada es solo un poco mejor que no tener ninguna: permite que mil deslices cosméticos absorban el único reembolso que no debería haberse aprobado.

Tres cosas hacen que la tasa de error de un agente de IA sea comparable entre proveedores: una escala de gravedad que separe el daño irrecuperable del ruido cosmético, un denominador expresado en conversaciones y no en mensajes, y un método de detección independiente del modelo que se evalúa. Pide las tres. Dos de tres es una cifra que no se puede comprobar.

Publicamos esta escala porque creemos que todos los proveedores de la categoría deberían estar obligados a hacerlo, y porque la alternativa —un mercado en el que la fiabilidad se afirma en lugar de medirse— es uno en el que el primer incidente S0 grave lo descubre un cliente. La lectura complementaria es el compromiso entre resolución y CSAT, que explica la otra forma en que una cifra con buen aspecto esconde un mal resultado.

Las nueve preguntas que más recibimos sobre la fiabilidad de la IA, la tasa de error de los agentes de IA, la tasa de fallos y las métricas de evaluación, cada una respondida directamente a partir de la escala anterior.