Một công ty SaaS đang phát triển nhanh chóng đang cố gắng cải thiện cách AI agent của họ xử lý các vấn đề lặp đi lặp lại của khách hàng...

Họ chạy thử nghiệm A/B trên các phản hồi do AI tạo khác nhau:

Nhóm A nhận được phản hồi của mô hình mặc định.

Nhóm B thấy một phiên bản có điều chỉnh về giọng điệu và độ dài.

Nghe có vẻ như một thử nghiệm thông minh, dựa trên dữ liệu. Nhưng chẳng bao lâu, họ gặp phải một bức tường: khối lượng đủ cao để quan tâm đến tự động hóa, nhưng quá thấp để có được kết quả thử nghiệm A/B có ý nghĩa thống kê một cách nhanh chóng.

Bây giờ họ đang bị mắc kẹt. Chờ đợi hàng tuần để có dữ liệu kết luận, hoặc quay lại và có nguy cơ gây ra sự thất vọng liên tục cho người dùng.

Nhưng vấn đề thực sự còn sâu sắc hơn.

Thử nghiệm A/B có thể giúp tối ưu hóa các đặc điểm bề nổi, những thứ như giọng điệu, độ dài hoặc cách diễn đạt.

Nhưng hầu hết các vấn đề trong hỗ trợ AI không phải là về giọng điệu, mà là về độ chính xác.

Không có ý nghĩa gì khi thử nghiệm A/B về giọng điệu và phong cách nếu bản thân câu trả lời là sai hoặc quá mơ hồ đến mức vô dụng đối với khách hàng.

Vấn đề cốt lõi là "các mô hình có sẵn" tiếp nhận cơ sở kiến thức của bạn, nhưng chúng không hiểu lĩnh vực của bạn.

Chúng không biết sản phẩm của bạn từ trong ra ngoài.

Vì vậy, bạn bị mắc kẹt trong việc cải thiện hiệu suất bằng cách thử và sai, điều chỉnh từng phản hồi một, thêm nhiều tài nguyên hơn, cập nhật các tài nguyên hiện có, tất cả chỉ vì mô hình không được tinh chỉnh theo ngôn ngữ lĩnh vực của bạn và không hiểu ngữ cảnh đủ tốt để sử dụng những gì đã có.

Mặt khác, việc tinh chỉnh mô hình AI dựa trên các cuộc trò chuyện hỗ trợ thực tế, ngôn ngữ sản phẩm và logic của bạn cho phép AI agent phản hồi như một thành viên nhóm dày dạn kinh nghiệm, tăng độ chính xác và tỷ lệ chuyển hướng lên một tầm cao mới.

Đó là những gì chúng tôi làm ở đây.