Metryka deflekcji, która cię okłamuje

Większość zespołów supportu raportuje wskaźnik deflekcji gdzieś między 30 a 50%. Nie widziałem jeszcze zespołu, w którym ta liczba, policzona uczciwie, wychodzi powyżej 22.

Różnica tkwi w liczeniu. Zgłoszenie, które asystent AI „rozwiązuje”, ale które klient ponownie otwiera 36 godzin później, nadal jest w koszyku deflekcji. To samo dotyczy zgłoszenia, w którym klient porzuca kanał i przechodzi na e-mail — pierwotna rozmowa została zamknięta, więc warstwa raportowania oznacza ją jako zdeflektowaną. Warstwa raportowania nie wie, że klient nadal próbuje rozwiązać ten sam problem. Widzi po prostu zamknięte zgłoszenie.

Jak wygląda uczciwe liczenie

Użyteczna metryka deflekcji śledzi pełną podróż klienta w obrębie jednej intencji, a nie cykl życia pojedynczego zgłoszenia. Jeśli klient odzywa się do chatbota, dostaje odpowiedź i nie eskaluje w ciągu siedmiu dni w obrębie tej samej intencji, to liczy się jako deflekcja. Cokolwiek innego — ponowne otwarcie, zmiana kanału, nowe zgłoszenie z tą samą przyczyną źródłową w obrębie tego okna — nie liczy się.

Przy tej definicji zespoły, z którymi pracowałem, lądują gdzieś między 14% a 22% realnej deflekcji przy pierwszym wdrożeniu. Po kwartale dostrajania bazy wiedzy do faktycznych wzorców ponownych otwarć ta liczba wspina się w okolice wysokich dwudziestek. Żaden z nich nie dochodzi do 50.

Dlaczego zawyżona liczba ma znaczenie

Liderzy supportu prezentujący 45% deflekcji w górę do CFO budują oczekiwanie, którego program nie jest w stanie przetrwać. Sześć miesięcy później AHT na eskalowanych zgłoszeniach się pogorszył — AI obsługuje teraz proste rzeczy, co sprawia, że kolejka agentów staje się gęstsza w swoim składzie. Sponsor z zarządu zaczyna pytać, dlaczego prognozowany wpływ na budżet się nie zmaterializował. Uczciwa odpowiedź brzmi: te 45% było artefaktem pomiaru, ale do tego czasu reputacja programu jest trudniejszym problemem do naprawienia niż kiedykolwiek była ta metryka.

Zespoły, które najdłużej utrzymują sponsoring zarządu, to te, które uczciwie raportują 18% deflekcji w pierwszym miesiącu, podnoszą ją do 24% do czwartego miesiąca, mając pracę, która to potwierdza, i unikają obiecywania gruszek na wierzbie, zanim program na to zasłuży. Mniej imponujące na pierwszym slajdzie. Znacznie trwalsze.

Co faktycznie mierzyć

Cztery liczby warto śledzić zamiast jednej zawyżonej liczby na nagłówek: wskaźnik ponownych otwarć na zgłoszeniach rozwiązanych przez AI (rozbity na klasy intencji), wskaźnik zmiany kanału w ciągu 7 i 14 dni, CSAT na interakcjach rozwiązanych przez AI w porównaniu z tymi rozwiązanymi przez agenta dla tej samej intencji oraz wskaźnik ponownego kontaktu od tego samego klienta w ciągu 30 dni. Jeśli tych czworo zmierza we właściwą stronę, a twoja liczba deflekcji rusza się razem z nimi, program działa. Jeśli twoja liczba deflekcji się rusza, a one nie, to liczba deflekcji cię okłamuje.

Nasz playbook do automatycznego triażu zgłoszeń zbudowany jest wokół uczciwego oprzyrządowania tych metryk od pierwszego dnia wdrożenia, zamiast doposażania pomiaru po tym, jak program już ma kłopoty.