Как посчитать эффект от ИИ-проекта: показатели до и после — Nadvan
Почему «стало лучше» не показатель Через месяц после запуска разговор «получилось или нет» без цифр решается по настроению: одним кажется, что стало быстрее, другим, что ответы стали хуже. Чтобы спор не превратился в мнения, показатели выбирают до пилота и записывают.
Какие показатели выбрать
| Задача | Показатель | Как замерить |
|---|---|---|
| Ассистент по документам | Время поиска ответа; доля вопросов, закрытых без обращения к специалисту | Замер на выборке вопросов; счётчик обращений к специалистам |
| Бот в мессенджере | Доля обращений, закрытых без оператора; время первого ответа вне рабочих часов | Журнал диалогов; время в мессенджере и CRM |
| ИИ-продукт для документов или заявок | Время на один документ; доля документов без ручных правок | Замер времени у сотрудников; выборочная проверка |
| Для одной задачи достаточно двух-трёх измеримых показателей. Один про скорость или объём, один про качество. Вот типичные варианты. |
Как замерить «до» Состояние до запуска нужно зафиксировать за одну-две недели. Источники: журнал обращений, выгрузка из CRM, таблицы сотрудников, выборочный замер времени вручную. Если данных нет, начинаем с замера: без него эффект посчитать нечем. Как сравнивать «после» Сравниваем в тех же условиях: тот же период недели, похожий объём обращений. Учитываем сезонность и разовые события: акция или сбой искажают картину. Смотрим на пару «скорость плюс качество»: ИИ мог ускорить работу, но ухудшить ответы. Поэтому качество оценивает человек, который знает задачу.
Как перевести показатели в деньги Выгода складывается из сэкономленного времени, умноженного на стоимость часа сотрудников, и, если это можно измерить, добавленной выручки. Затраты складываются из расходов на запросы к моделям, разработки и внедрения, поддержки и времени сотрудников на проверку ответов. Условный пример, не результат клиента: поддержка получает [600] однотипных вопросов в месяц, на каждый уходит [10] минут, ассистент закрывает без участия сотрудника [50] % вопросов. Получаем 600 × 10 × 0,5 = 3 000 минут, то есть 50 часов в месяц. Умножаем на стоимость часа [X] и сравниваем с месячными затратами на запросы и поддержку [X]. Числа в примере выбраны для удобства счёта и ничего не обещают.
Что делать, если эффекта нет
- Остановить. Если показатели не двигаются и причина в самой задаче, лучше остановиться на пилоте, чем вкладываться в запуск.
- Изменить. Если ответы неточны из-за нехватки материалов, дополняем данные и повторяем замер.
- Расширить. Если эффект есть, но на малой части задач, переносим решение на соседние процессы.
Критерии для каждого из трёх решений удобно записать заранее, до начала пилота. Выбрать показатели для вашей задачи можно на странице внедрения ИИ: nadvan.kz/ai. Мы работаем в Алматы + Казахстан.