Una empresa SaaS de rápido crecimiento está intentando mejorar la forma en que su agente de IA gestiona los problemas recurrentes de los clientes...

Realizan una prueba A/B en diferentes respuestas generadas por la IA:

El Grupo A recibe la respuesta del modelo predeterminado.

El Grupo B ve una versión con tono y longitud ajustados.

Suena como un experimento inteligente y basado en datos. Pero pronto, se topan con un muro: el volumen es lo suficientemente alto como para preocuparse por la automatización, pero demasiado bajo para obtener resultados de pruebas A/B estadísticamente significativos rápidamente.

Ahora están atascados. Esperar semanas para obtener datos concluyentes, o revertir y arriesgarse a la frustración continua de los usuarios.

Pero el verdadero problema es más profundo.

Las pruebas A/B pueden ayudar a optimizar los rasgos superficiales, cosas como el tono, la longitud o la redacción.

Pero la mayoría de los problemas en el soporte de la IA no se refieren al tono, sino a la precisión.

No tiene sentido realizar pruebas A/B de tono y estilo si la respuesta en sí es incorrecta o tan vaga que es inútil para el cliente.

El problema central son los "modelos listos para usar" que ingieren su base de conocimientos, pero no entienden su dominio.

No conocen su producto por dentro y por fuera.

Por lo tanto, está atascado mejorando el rendimiento mediante prueba y error, ajustando una respuesta a la vez, agregando más recursos, actualizando los existentes, todo porque el modelo no está ajustado a su lenguaje de dominio y no comprende el contexto lo suficientemente bien como para usar lo que ya está allí.

Por otro lado, ajustar el modelo de IA en sus conversaciones de soporte reales, el lenguaje del producto y la lógica permite que el agente de IA responda como un miembro experimentado del equipo, lo que aumenta la precisión y las tasas de desvío a nuevas alturas.

Eso es lo que hacemos por aquí.