Мы решили проверить, насколько ловко искусственный интеллект на базе GPT-4 справится с задачами нашей службы поддержки. Как проходил эксперимент и кто победил, читайте в этом материале.
Оглавление
Зачем нам этот эксперимент
Все просто: мы хотели испробовать новую технологию в деле и понять, на что она способна. Нас интересовал вопрос: сможет ли ИИ помогать пользователям круче нашей службы поддержки?
Гипотеза только на первый взгляд кажется безумной. На самом деле у современных моделей искусственного интеллекта, таких как GPT-4, огромный потенциал.
Боты на основе GPT-4 отвечают очень быстро, почти мгновенно. Никакая «живая» служба поддержки так не умеет.
Боты очень эмпатичны. Их задумывали в первую очередь как приятного собеседника. Они умеют считывать эмоции, поддерживать человека и подстраиваться под его настроение.
Боты умеют отвечать на вопросы коротко и по существу, четко излагать суть.
Боты не устают. В конце рабочего дня операторы допускают больше ошибок, они могут пропустить какой-нибудь вопрос. С ботом такого не происходит: он ничего не пропустит и ответит последовательно на все поставленные вопросы.
Боты более предсказуемы, чем операторы. Даже самый лучший оператор поддержки может ошибиться — человеческий фактор есть всегда. ИИ, научившись один раз, будет давать стабильный результат в 99% случаев.
Так что все данные для поддержки клиентов у ИИ есть. Почему бы не протестировать его на практике, подумали мы. И решили попробовать.
Какие гипотезы у нас были
У Консоль.Про есть две службы поддержки: для компаний-клиентов и для самозанятых исполнителей. Мы решили протестировать бота на последних. Вопросы от клиентов-компаний, как правило, сложные, для ответов на них нужна техническая экспертиза. Часто для решения проблемы сначала нужно последовательно совершить несколько действий. Такую работу боту пока не доверить.
Исполнители задают большое количество простых однотипных вопросов:
— Как подписать акт выполненных работ?
— Как установить приложение на телефон?
— Мне не пришли деньги, что делать?
— У меня долго открывается приложение, как поступить?
Почти все ответы на возможные вопросы исполнителей есть в базе знаний Консоль.Про. Нам казалось, что, если ИИ дать ответы на все вопросы, он хорошо справится с задачами службы поддержки. Мы решили проверить эту гипотезу.
Как проходил эксперимент
Вот, как проходил эксперимент Консоль.Про по тестированию сил ИИ в поддержке самозанятых исполнителей.
Шаг 1. Выбор подрядчика
Мы выбрали небольшую компанию, которая занимается разработкой ботов для служб поддержки.
Наш подрядчик предлагал простые решения, которые не подразумевали долгую интеграцию и обучение. Под наши задачи это подходило идеально: при небольшом бюджете можно быстро настроить бота и опробовать его на реальных задачах.
Шаг 2. Настройка бота
Для того чтобы бот работал, ему надо дать всю или почти всю информацию, которой владеет служба поддержки. Для этого мы использовали расширенную базу знаний Консоль.Про — она содержит ответы на 80% вопросов, которые могут возникнуть у исполнителей.
Мы «скормили» эту базу знаний боту, чтобы он мог находить ответы на вопросы пользователей.
Дальше настроили бота по параметрам «эмоциональность» и «креативность».
Мы хотели, чтобы бот был в меру «эмоциональный»: умел распознавать эмоции и реагировать на них, был дружелюбным и похожим на человека.
Мы хотели, чтобы бот был в меру «креативным»: умел находить ответы в базе знаний, но в тоже время мог поддержать любой диалог и ответить на вопрос о населении Лондона и погоде в Бангладеше.
Шаг 3. Внутреннее тестирование бота
После настройки параметров бота и его обучения мы перешли к самому интересному — тестированию бота. Сотрудники Консоль.Про задавали вопросы ИИ, чтобы проверить, насколько хорошо он справляется со своими задачами.
На этом этапе ботом все были довольны, он хорошо справлялся с вопросами сотрудников Консоль.Про.
Шаг 4. Тестирование бота на реальных клиентах
Обрадовавшись первыми результатам, мы перешли к главному этапу — тестированию бота в реальной жизни. И здесь нас ждало разочарование. Бота как будто подменили.
Вот только некоторые проблемы, с которыми мы столкнулись.
Проблемы с вызовом человека. Важное условие эксперимента — не заменить поддержку ИИ, а предоставить клиентам альтернативу. Поэтому мы не хотели прятать опцию «вызов человека». По задумке бот должен был по первой просьбе исполнителя подключать оператора. Нам казалось, что с этим проблем возникнуть не должно. Но мы ошиблись.
Большинство компаний, которые автоматизируют службу поддержки, хотят как можно больше снизить затраты на подключение операторов. Некоторые фирмы и вовсе не дают такую возможность пользователю.
Наверное, поэтому наш подрядчик очень удивился такой просьбе и плохо с ней справился. Бот не только не переводил исполнителей к операторам, но и сообщал неверную информацию, что он не может этого сделать. Иногда бот и вовсе принимал себя за человека! Исправить это не получалось.
Подрядчик так и не смог выполнить нашу просьбу — бот стоял на своем. В итоге нам предложили другое решение: сделать так, чтобы к каждому ответу бота прилагалась кнопка «Позвать человека».
Кнопка появилась, но если исполнитель звал человека в сообщении, бот все равно отказывал ему в этой возможности.
Проблема с обращением к базе знаний. Но самая главная проблема — бот не всегда обращался к базе знаний. Иногда он мог прогуглить ответ или предоставить неверную информацию. Это были непростительные ошибки.
Проблема с контекстом. Бот, как правило, хорошо справлялся с прямо поставленными полными вопросами. Если бота спрашивали: «Как мне получить выплату на карту?» — чаще всего он отвечал верно.
Но все менялось, если суть вопроса нужно было понять из контекста — предыдущих сообщений пользователя. В таких случаях бот отвечал невпопад.
Например, в базе знаний для исполнителей слово «оплата» используется в нескольких разделах: оплата налогов, оплата на карту. ИИ не мог из контекста понять, какой раздел ему надо смотреть. Исполнитель мог спросить, как получить выплату на карту, а бот отвечал про то, как ему оплатить налоги. Бот не учитывал контекст и не задавал уточняющих вопросов — он случайно выбирал, как ему ответить.
К каким выводам мы пришли
Эксперимент продлился совсем недолго: пара недель ушла на настройку бота, три дня на внутреннее тестирование и всего несколько часов на тестирование в реальной жизни. После четырех часов тестирования бота на реальных исполнителях мы уже смогли сделать первые выводы.
Наша гипотеза, что бот на базе GPT-4 может сравниться со службой поддержки, не подтвердилась. Качество ответов было в разы хуже ответов наших операторов. Бот не улавливал контекст, отвечал невпопад, на одинаковые вопросы давал разные ответы. Эксперимент решено было прекратить.
Эксперимент был изначально задуман как небольшой челлендж. Сейчас у Консоль.Про замечательная служба поддержки — вводить ИИ никто не собирался. Поэтому мы не ставили целью сделать рабочего бота — мы лишь хотели посмотреть, на что он способен «в стартовой комплектации».
Может быть, часть проблем удалось бы решить при большем бюджете и дополнительном этапе «дообучения» бота. Но мы намеренно обошлись без этого. Эксперимента хватило, чтобы понять: у ИИ есть будущее, но пока наша служба поддержки гораздо круче.
Но для себя эту дверь мы не закрываем. Если компания и дальше будет расти, а ИИ развиваться, мы обязательно вернемся к этой идее и попробуем внедрить бота снова.
Популярное по теме за месяц
Самозанятого вызвали в ФНС: как не подставить заказчика
Закупочный акт: как заполнить форму ОП-5
Служба поддержки VS искусственный интеллект: как Консоль.Про тестировала нейросеть
