Автоматизация SERM: GPT-4o vs Gemini в аналитике отзывов. Опыт Петра Сухоруких

В SERM мы ежедневно разгребаем тысячи отзывов. От монотонного написания однотипных ответов в духе «спасибо, приходите еще» менеджеры быстро устают и начинают ошибаться, из-за чего неизбежно страдает качество работы. Мы решили передать эту рутину ChatGPT и Gemini, чтобы люди занимались стратегией, а не механическим копипастом.

В этой статье я расскажу, как мы внедряли ИИ в процессы агентства, сколько времени реально сэкономили и покажу конкретные промпты, которые помогли нам исправить ошибки нейросетей.

Что мы смогли поручить ИИ

Начали мы с самых простых задач и выбрали процессы, которые отнимают 80% времени сотрудников, но почти не требуют креатива.

В первую очередь алгоритмы забрали на себя ответы на позитив. Если клиент поставил «5 звезд» без текста или написал короткое «Все супер», ИИ сам генерирует благодарность. Раньше копирайтер тратил на это пару минут, сейчас процесс занимает секунды. Также нейросети отлично справляются с «черновой» работой: сортируют сотни отзывов, выделяя главные жалобы, и размечают тональность гораздо быстрее, чем привычные скрипты по ключевым словам.

В итоге время реакции на типовой отзыв сократилось с суток до пары часов, а менеджеры перестали тратить ресурс на рутину.

Где нейросети ошибались

Внедрение прошло не сразу. Мы быстро поняли, что кнопку «Сделать хорошо» еще не придумали. В первых тестах мы писали простые запросы вроде «Ответь вежливо», и результат нас разочаровал.

Самая частая проблема – выдуманные факты. Был случай, когда бот извинился перед клиентом за таракана в супе. В реальном отзыве про насекомых не было ни слова, гость просто пожаловался на холодное блюдо. ИИ сам придумал проблему и сам же за нее покаялся.

Вторая беда – это «эмоциональная глухота». На жалобу о хамстве администратора нейросеть могла ответить сухим канцелярским языком, что только сильнее злило клиента. Также роботы плохо считывают сарказм: фразу «Ну спасибо за испорченный вечер» модель принимала за чистую монету и радостно отвечала «Рады стараться».

Как мы меняли промпты: примеры ДО и ПОСЛЕ

Чтобы убрать выдумки нейросети, нам пришлось полностью переписать инструкции, заменив мягкие просьбы на жесткие ограничения. Лучше всего это видно на конкретных примерах генерации.

Кейс 1. Ответ на жалобу о доставке

• Промпт v1 (Слабый): «Напиши ответ клиенту. Он недоволен долгой доставкой. Извинись».

• Ответ ИИ: «Уважаемый клиент! Приносим глубочайшие извинения за эту непростительную задержку. В качестве компенсации мы дарим вам промокод FREEPIZZA на следующий заказ и обещаем, что курьер будет наказан».

• Проблема: ИИ придумал промокод, которого не существует, и пообещал наказать курьера, хотя причина могла быть в пробках. Это прямой конфликт.

Кейс 2. Ответ с жесткими ограничениями

• Промпт v2 (Рабочий): «Ты менеджер службы заботы. Клиент недоволен доставкой. Задача: проявить эмпатию, запросить номер заказа для проверки. Запрещено: обещать подарки, скидки или наказание сотрудников. Тон: спокойный, уверенный».

• Ответ ИИ: «Здравствуйте! Нам жаль, что ожидание заказа затянулось. Мы хотим разобраться, почему курьер задержался. Пожалуйста, напишите номер вашего заказа в личные сообщения – мы проверим маршрут и вернемся с ответом».

• Результат: безопасный ответ, который переводит диалог в конструктивное русло без лишних обещаний.

Только после внедрения таких жестких рамок количество ошибок снизилось до приемлемого уровня.

Техническая реализация: код и настройки API

Мы быстро ушли от ручного копирования в веб-интерфейс, так как это не масштабируется. Сейчас архитектура выглядит так: Python-скрипт парсит новые отзывы через API геосервисов раз в час, библиотека pandas очищает текст от спецсимволов, а затем отправляется запрос к OpenAI API (модель gpt-4o) или Google Vertex AI (Gemini 1.5 Pro).

Одного промпта мало. Чтобы нейросеть не креативила там, где не надо, мы жестко фиксируем параметр temperature. Для генерации ответов мы используем значение 0.3 (вместо стандартных 0.7), что снижает вероятность «отсебятины».

Пример функции на Python, которую мы используем для безопасной генерации:

<source lang="python"> import openai

def generate_safe_reply(review_text, client_name): system_prompt = f""" Ты – {client_name}. Твоя задача – отвечать на отзывы. Правила: 1. Не извиняйся, если рейтинг 4 или 5. 2. Если рейтинг 1-3, вырази сожаление и попроси контакты. 3. Запрещено выдумывать бонусы и акции. """

response = client.chat.

response = client.chat.completions.create( model="gpt-4o", messages=[ {"role": "system", "content": system_prompt}, {"role": "user", "content": review_text} ], temperature=0.3, # Снижаем креативность для стабильности max_tokens=200, # Ограничиваем длину ответа top_p=0.9 ) return response.choices[0].message.content

</source>

Мы используем top_p=0.9, чтобы отсечь маловероятные токены («длинный хвост») и сделать ответы более сфокусированными, не теряя при этом естественности речи.

Также мы внедрили Post-processing проверку: простой скрипт ищет в сгенерированном ответе стоп-слова (например, «промокод», «скидка», «бесплатно»). Если они найдены, ответ не уходит менеджеру, а помечается флагом ALERT для ручного разбора.

Аналитика трендов через Gemini

Отдельно хочу рассказать про использование Google Gemini 1.5 Pro. В отличие от ChatGPT, у этой модели огромное контекстное окно. Это позволяет нам загружать в нее «сырые» данные без предварительной обработки.

Раньше, чтобы понять, почему упал рейтинг филиала, аналитик вручную читал сотни отзывов и сводил их в Excel. Теперь мы делаем так:

1. Выгружаем все отзывы за месяц в формате CSV.

2. Загружаем файл в Gemini.

3. Пишем запрос: «Проанализируй отзывы с оценкой 1 и 2 звезды. Выдели топ-3 повторяющиеся проблемы. Приведи цитаты, подтверждающие эти проблемы».

Через минуту мы получаем готовый отчет, где видно, что 15 человек пожаловались на грязные столы, а 8 – на сломанный кондиционер. Это позволяет находить системные сбои в бизнесе клиента, которые замыленный глаз менеджера мог пропустить.

Безопасность данных: чего делать нельзя

При работе с нейросетями важно помнить про приватность. Публичные версии ChatGPT и Gemini могут использовать ваши диалоги для дообучения моделей, поэтому мы ввели строгий регламент.

Перед отправкой текста отзыва в нейросеть мы обязательно удаляем любые персональные данные: ФИО, телефоны и номера заказов. Если в отзыве написано «Менеджер Иван дурак», мы меняем это на «Менеджер [Имя]». Также действует абсолютный запрет на загрузку в чат-боты внутренних финансовых отчетов или стратегических планов клиентов – это коммерческая тайна, которая не должна утечь в публичное облако.

Сравнение ChatGPT и Gemini

Мы тестировали обе модели параллельно, и у каждой нашлись свои сильные стороны.

Задача	ChatGPT (GPT-4o)	Google Gemini (1.5 Pro)
Структура	Четко держит инструкцию	Иногда добавляет лишний текст
Большие данные	Теряет суть в длинных файлах	Отлично анализирует логи за месяц
Креатив	Часто использует шаблоны	Пишет более живым языком
Скорость	Зависит от нагрузки	Стабильно быстро

В итоге Gemini забрал на себя аналитику. А ChatGPT остался на потоке – он лучше генерирует ответы по строгим правилам и реже отходит от скрипта.

Человек в контуре

Мы пришли к схеме «Human in the loop» – человек в контуре. Нейросеть пишет черновик, а менеджер его проверяет и утверждает.

Даже при таком подходе мы экономим массу времени. Сотруднику больше не нужно формулировать мысль с нуля, он работает в режиме редактора. Утомляемость снизилась, а обрабатываем мы в три раза больше обращений. При этом мы заметили интересный эффект: менеджеры перестали хамить в ответ на хамство. Когда ты просто правишь текст робота, ты меньше вовлекаешься эмоционально и не принимаешь негатив на свой счет.

Чек-лист для старта

Если вы хотите внедрить ИИ в общение с клиентами, советую начать с малого:

1. Пропишите Tone of Voice. Не просто «пиши вежливо», а дайте примеры удачных и неудачных фраз.

2. Используйте негативные ограничения. Прямо запретите ИИ выдумывать факты и обещать скидки.

3. Чистите данные. Удаляйте телефоны и фамилии перед отправкой запроса.

4. Разделяйте задачи. Gemini — для аналитики больших файлов, ChatGPT – для написания текстов.

5. Не убирайте контроль. Финальную кнопку «Отправить» всегда должен нажимать человек.

Нейросети это полезный инструмент автоматизации, но полностью заменить сотрудников они пока не могут. Используйте их для ускорения работы, но финальное решение и ответственность всегда оставляйте за человеком.

Коллеги, а вы уже используете нейросети в работе с клиентами или пока не доверяете им коммуникацию? Делитесь опытом и рабочими промптами в комментариях.

Источник