Быстрорастущая SaaS-компания пытается улучшить работу своего AI-агента по обработке повторяющихся проблем клиентов...

Они проводят A/B-тест различных ответов, сгенерированных AI:

Группа A получает ответ модели по умолчанию.

Группа B видит версию с измененным тоном и длиной.

Это звучит как умный, основанный на данных эксперимент. Но вскоре они сталкиваются с проблемой: объем достаточно велик, чтобы заботиться об автоматизации, но слишком мал, чтобы быстро получить статистически значимые результаты A/B-теста.

Теперь они в тупике. Ждать недели для получения убедительных данных или вернуться к прежнему и рисковать постоянным разочарованием пользователей.

Но реальная проблема глубже.

A/B-тестирование может помочь оптимизировать поверхностные черты, такие как тон, длина или формулировка.

Но большинство проблем в поддержке AI связаны не с тоном, а с точностью.

Нет смысла проводить A/B-тестирование тона и стиля, если сам ответ неверен или настолько расплывчат, что бесполезен для клиента.

Основная проблема заключается в "готовых моделях", которые поглощают вашу базу знаний, но не понимают вашу предметную область.

Они не знают ваш продукт вдоль и поперек.

Поэтому вы застряли в улучшении производительности методом проб и ошибок, настраивая один ответ за другим, добавляя больше ресурсов, обновляя существующие, и все потому, что модель недостаточно точно настроена на ваш предметный язык и недостаточно хорошо понимает контекст, чтобы использовать то, что уже есть.

С другой стороны, точная настройка AI-модели на ваших фактических разговорах со службой поддержки, языке продукта и логике позволяет AI-агенту отвечать как опытный член команды, повышая точность и выводя показатели отклонения на новую высоту.

Вот чем мы здесь занимаемся.