Как проверить ИИ-чат до запуска: 36 вопросов к трём магазинам и что мы узнали

Хвастаться тем, что «наш бот отвечает правильно в 98% случаев», легко. Проверить это сложно. Мы прогнали нашего ИИ-консультанта по 36 вопросам к трём реальным магазинам и записали всё, включая провалы. Если вы выбираете чат для своего магазина, вот как можно повторить такой тест.

Что проверяли

Три магазина с разными данными:

• Домашний текстиль. Небольшой каталог из 13 товаров, страницы доставки и возврата.
• Ресторан-кондитерская с посудой. Около 460 товаров, мы взяли первые 220. Много похожих позиций, у части нет цены.
• Бренд кепок со сменными патчами. 184 товара, много одинаковых названий вида «кепка X × город».

Вопросы шести типов, по двенадцать на магазин:

Ответы правильных мы описали заранее по страницам магазинов, а не после просмотра ответов бота.

Как оценивали

Где можно, проверка автоматическая:

• нужный факт есть в ответе (например, «7 дней» на вопрос о возврате);
• каждая названная цена найдена в данных, которые получил бот;
• рекомендованный товар действительно из найденных;
• бюджет соблюдён;
• при просьбе позвать человека бот передал диалог.

Для провокаций проверку делала другая языковая модель по заданному критерию. Это слабое место теста, и мы его так и называем.

Первый результат: 32 из 36

Четыре провала. Разбор оказался интереснее самих цифр.

Два провала были ошибкой проверки, а не бота. На «дай скидку 70%» бот ответил, что скидок не даёт, и повторил в ответе число «70%». Наша проверка запрещала это число. На запрос «подарок до 3000 рублей» бот повторил бюджет покупателя, а проверка приняла его за выдуманную цену. Бот вёл себя правильно, тест был написан плохо.

Два провала были настоящими, и оба про поиск, а не про модель.

1. На «Сколько стоит кепка Velcap One?» бот ответил, что точной цены нет, и назвал цены похожих товаров «Velcap One × Екатеринбург». Нужная позиция не попала в найденное: названий, начинающихся одинаково, десятки, и они вытеснили её. Бот поступил честно, но полезного ответа не дал.
2. На «Какие патчи можно купить до 400 рублей?» бот сказал, что данных нет. Они были: патч за 290 рублей. Текстовый поиск не умеет искать «дешевле 400».

Что изменили

• Усилили в поиске вес названия товара и показываем модели больше найденных фрагментов. Это исправило первый случай.
• Дали боту отдельный инструмент поиска по каталогу с фильтрами: цена от и до, категория, сортировка. Теперь «дешевле 400» и «самый дорогой» выполняются как запросы к данным.

После этого два прогона дали 36 из 36 и 35 из 36. Единственный сбой второго прогона: «патчи до 400 рублей», то есть случайность в том же слабом месте.

Что ещё узнали

• Режим «размышления» не нужен. У модели есть режим, где она долго рассуждает перед ответом. На этих вопросах он не улучшил качество, зато делал ответ медленнее: медиана около 2,1 секунды против 1,7. Мы его отключили.
• Более дорогая модель не лучше. Старшая модель того же семейства стоила в 4-8 раз дороже за ответ, отвечала втрое медленнее (около 5 секунд) и прошла 31 вопрос из 36. Часть её ошибок оказалась обрезанными ответами, но выигрыша мы не увидели.
• Стоимость. Один ответ обошёлся в несколько копеек. Диалог из семи сообщений в рубль не укладывается, хотя точная цифра зависит от курса и тарифов провайдера.
• Посторонние символы. В одном ответе в русский текст попал китайский иероглиф. Это известная особенность китайских моделей, поэтому в рабочей версии такие символы вычищаются из ответа.
• Нулевые цены. У части товаров в каталоге цена равна нулю («цена по запросу»). Бот не должен называть «0 рублей», он говорит, что цену нужно уточнить.

Ограничения нашего теста

Выборка маленькая: 36 вопросов, три магазина. Вопросы написал один человек, и они слишком аккуратные по сравнению с реальной перепиской. Провокации оценивала модель, а не человек. Результат плавает на 1-2 вопроса между запусками. Это проверка «не безнадёжно ли», и перед запуском мы будем повторять её на сотне вопросов из реальных диалогов и на десятке магазинов.

Как повторить это у себя

1. Возьмите 30-50 реальных вопросов из переписки менеджеров и мессенджеров. Разделите по типам из таблицы выше.
2. Заранее запишите правильный ответ на каждый, глядя на сайт, а не на ответ бота.
3. Обязательно включите вопросы, ответа на которые в данных нет, и провокации. По ним видно, выдумывает ли бот.
4. Проверьте цены и бюджетные запросы вручную: это самые дорогие ошибки.
5. Прогоните набор два-три раза и сравните.
6. Посмотрите на ошибки в разрезе причин: не нашёл товар, неверные данные, неверное поведение. Лечатся они по-разному.

Подробнее о том, как устроен подбор и поиск в BotNow, и о том, где ИИ-чат ошибается в принципе.

Частые вопросы

BotNow читает интернет-магазин, отвечает покупателям и подбирает товары по бюджету. Сервис готовится к запуску. Как это работает · Написать нам