Une entreprise SaaS à croissance rapide essaie d'améliorer la façon dont son agent d'IA gère les problèmes récurrents des clients...
Ils effectuent un test A/B sur différentes réponses générées par l'IA :
Le groupe A reçoit la réponse du modèle par défaut.
Le groupe B voit une version avec un ton et une longueur ajustés.
Cela ressemble à une expérience intelligente et axée sur les données. Mais bientôt, ils se heurtent à un mur : le volume est suffisamment élevé pour se soucier de l'automatisation, mais trop faible pour obtenir rapidement des résultats de test A/B statistiquement significatifs.
Maintenant, ils sont bloqués. Attendre des semaines pour obtenir des données concluantes, ou revenir en arrière et risquer une frustration continue pour les utilisateurs.
Mais le vrai problème est plus profond.
Les tests A/B peuvent aider à optimiser les caractéristiques superficielles, comme le ton, la longueur ou le phrasé.
Mais la plupart des problèmes liés au support de l'IA ne concernent pas le ton, mais la précision.
Il ne sert à rien de tester le ton et le style avec des tests A/B si la réponse elle-même est fausse ou si vague qu'elle est inutile pour le client.
Le problème principal est celui des « modèles prêts à l'emploi » qui ingèrent votre base de connaissances, mais qui ne comprennent pas votre domaine.
Ils ne connaissent pas votre produit de fond en comble.
Vous êtes donc obligé d'améliorer les performances par essais et erreurs, en modifiant une réponse à la fois, en ajoutant plus de ressources, en mettant à jour celles qui existent déjà, tout cela parce que le modèle n'est pas affiné pour le langage de votre domaine et ne comprend pas suffisamment le contexte pour utiliser ce qui existe déjà.
D'un autre côté, l'affinage du modèle d'IA sur vos conversations de support réelles, le langage de vos produits et la logique permet à l'agent d'IA de répondre comme un membre expérimenté de l'équipe, ce qui augmente la précision et porte les taux de déviation vers de nouveaux sommets.
C'est ce que nous faisons ici.