98% оценок «Отлично», а стало ли лучше — неизвестно: как измерять качество ИТ-поддержки на самом деле

В отчёте службы ИТ-поддержки группы компаний стоит цифра: 98,1% оценок — «Отлично». Из 265 полученных оценок 260 высших, три «Плохо». По любым меркам — выдающийся результат. Руководитель Группы смотрел на него полгода и не мог ответить на простой вопрос: а стало ли лучше?

Не мог, потому что цифра измеряет не качество. Она измеряет, кто отвечает на анкету. Ниже — что мы увидели на 1 297 заявках, почему одна оценка после заявки вводит в заблуждение и как устроена система измерения, которую мы построили вместо неё.

Что такое CSAT и покрытие обратной связью. CSAT (customer satisfaction) — доля положительных оценок среди полученных ответов на анкету после закрытия заявки. Покрытие обратной связью — доля закрытых заявок, по которым оценку вообще поставили. Высокий CSAT при низком покрытии описывает не качество ИТ-поддержки, а состав тех, кто отвечает; поэтому измерять нужно обе величины, и ниже показано, как.

Что показала выборка оценок ИТ-поддержки

Оценку поставили 265 заявителей из 1 297 — 20,4%. Это среднее за семь месяцев; по месяцам картина хуже:

Покрытие упало почти в четыре раза, а доля «Отлично» не изменилась. Так не бывает, если оценка измеряет качество: за семь месяцев служба пережила пик объёма в мае и сезон отпусков в июле, и хотя бы один из этих факторов должен был отразиться на цифре. Он и отразился — на покрытии. На оценке — нет.

Дальше — разрезы, которых в стандартном отчёте нет. Ноль оценок у автоуведомлений мониторинга (у робота нет мнения). Ноль у внутренних задач службы. 2,4% у второй линии — сложные и проектные заявки почти не оцениваются. 7,5% у розничного направления против 27,8% у управляющей компании. Картина «98% Отлично» построена на голосе одного подразделения и одной линии.

Смещение выборки: кто отвечает на анкету

Механизм известен, но его редко примеряют к своим данным. На анкету после заявки отвечают те, кому помогли быстро и понятно: у них есть минута и есть повод. Те, кому решили частично, кому пришлось напоминать, у кого проблема вернулась через неделю, — не отвечают. Им не до анкеты, и они уже решили, что писать бесполезно.

В результате оценка описывает лучшую часть сервиса и молчит о худшей. Чем ниже покрытие, тем сильнее смещение: при 31% ещё слышно недовольных, при 8% — только тех, кто и так доволен. Три оценки «Плохо» в кейсе — две про интернет и Wi-Fi, одна про долгий вход в 1С — требуют индивидуального разбора, но рейтинг на трёх ответах не построить.

Отсюда первое правило, которое мы применяем в отчётах: рядом с любой оценкой показывать n и отклик. «CSAT 98% (n = 265, отклик 20%)» — это честная цифра. «CSAT 98%» — нет.

Три уровня измерения

Длинный опрос после каждой заявки даст ещё меньший отклик. Поэтому измерение разнесено на три уровня с разной частотой и разными вопросами.

Уровень 1. Короткая анкета после закрытия

45–60 секунд, восемь вопросов, только фактическому пользователю после подтверждённого закрытия. Первый вопрос — главный: «Проблема или запрос решены полностью?» — с вариантами «полностью / частично / не решено / заявка не нужна». Дальше — результат, скорость с учётом влияния, понятность объяснений, лёгкость получения помощи, напоминания и «сохранился ли результат после закрытия». Открытый вопрос — только при оценке 3 и ниже.

Не опрашиваем по автоматике, внутренним проектам и отменённым дублям. Не более двух анкет одному человеку в неделю. Целевое покрытие — не ниже 40%.

Уровень 2. Квартальный опрос отношения к сервису

5–7 минут, 19 вопросов, раз в три месяца. Он спрашивает не про заявку, а про сервис: уверены ли вы, что при критической проблеме получите помощь; понятно ли, куда обращаться; сколько раз за квартал ИТ-проблема мешала работать дольше 30 минут; какие проблемы вы решаете сами, не регистрируя заявку.

Последний вопрос — про скрытый спрос — важнее всех остальных. В кейсе на него указали 39 постановщиков с единственной заявкой за семь месяцев: люди, которые либо не сталкиваются с проблемами, либо решают их в обход системы. Логи заявок этого не покажут никогда.

Уровень 3. Интервью с ключевыми пользователями

20–30 минут, 8–12 человек в квартал: координаторы, руководители подразделений, пользователи из сегментов с низким откликом. Десять вопросов о том, чего нет ни в логах, ни в анкетах: какие заявки закрываются формально, но проблема возвращается; правильно ли определяется срочность; какие системы критичны и какой простой допустим.

Интервью проверяет матрицу приоритетов на реальных примерах и даёт список серий для разбора корневых причин — то, что видно только на тысяче заявок.

Правило реакции на оценку 3 и ниже

Измерение без действия — статистика ради статистики. Поэтому у короткой анкеты есть правило реакции: оценка 1–3, ответ «частично» или «не решено», «повторилась» и «несколько раз напоминал» автоматически уходят руководителю группы сопровождения. Связаться с пользователем — на следующий рабочий день. Итог разбора фиксируется в самой заявке, а не в переписке.

Правило делает две вещи. Пользователь видит, что негативный ответ приводит к разговору, — и отвечает в следующий раз. Служба получает не среднюю оценку, а список конкретных заявок, где что-то пошло не так.

Как не получить ложную картину

Шесть правил, без которых даже правильная анкета даёт неправильные выводы.

1. Не сравнивать инженеров при менее чем 10–15 оценках за сопоставимый период и услугу. В кейсе разброс «минут на заявку» — от 10 до 78, и он отражает характер работы, а не производительность.
2. Не объединять автоматику, проекты и пользовательские заявки в одной строке отчёта.
3. Не делать вывод по одной средней оценке. Результат, скорость, коммуникация и устойчивость — четыре разных показателя, и они расходятся.
4. Не считать отсутствие жалобы удовлетворённостью. Скрытый спрос измеряют вопросом, а не тишиной.
5. Не оставлять негативный ответ без действия — иначе следующего не будет.
6. Сравнивать периоды только при одинаковой методике и выборке. Иначе рост CSAT — это изменение состава отвечающих.

Из этих правил складывается ежемесячный отчёт по качеству: CSAT с откликом, лёгкость получения помощи и доля оценок 1–2, доля полностью решённых, повтор после закрытия, доля заявок с напоминаниями, преждевременное закрытие, сроки первого ответа и восстановления — отдельно, и состояние очереди. Автоматика и проекты — отдельными строками. Как отчётность записывается в договор, мы разбирали в статье «SLA в ИТ-аутсорсинге», а как организовать приём заявок так, чтобы анкета вообще доходила до пользователя, — в материале об организации Help Desk.

Все четыре документа — анкета после закрытия, квартальный опрос, гайд интервью и правила расчёта метрик — приложены к статье. Они собраны для конкретного клиента, но не содержат ничего, что нельзя было бы применить к любой службе поддержки: вопросы про «решено ли окончательно» и «сколько раз ИТ мешало работать» не зависят от отрасли.

Отчёт, в котором рядом с оценкой стоит отклик, а негативный ответ превращается в разговор, — часть ИТ-поддержки на сопровождении: ежемесячная отчётность по качеству, а не средний балл.