Intent-genkendelse
Intent-genkendelse er den proces, hvor software afgør, hvad en kunde vil opnå med sin henvendelse — for eksempel spore en pakke, ændre en ordre eller opsige et abonnement — og bruger det til at vælge svar eller handling.
Hvorfor det betyder noget
Hensigten er det, alt andet hænger på: den bestemmer, hvilken viden der skal slås op, hvilken kø sagen havner i, og om den overhovedet må besvares uden et menneske. Det er også dér, gamle chatbots typisk fejlede, fordi de matchede på nøgleord frem for på mening — "min pakke er ikke kommet" og "hvornår leveres min ordre" er samme hensigt formuleret på to måder. Moderne sprogmodeller læser hele henvendelsen og håndterer også de mails, der indeholder tre hensigter på én gang.
Sådan måles det
Kvaliteten opgøres på de samme to tal som al anden klassificering:
- Præcision: hvor stor en andel af de henvendelser, systemet gav en bestemt hensigt, faktisk hørte til der.
- Recall: hvor stor en andel af de henvendelser, der reelt hørte til hensigten, blev fanget.
- Andel uden hensigt: hvor mange henvendelser der ikke passede på nogen kendt kategori. En stigning her er som regel et nyt problem i produktet eller leveringen, ikke en fejl i modellen.
Den praktiske metode er at trække 100 tilfældige henvendelser fra sidste uge og gennemgå dem manuelt. Vær særligt opmærksom på præcisionen for de hensigter, der udløser autonome svar — dér er en fejlklassificering dyrere end alle andre steder.
FAQ
Hvad er forskellen på intent og kategori?
En kategori beskriver, hvad henvendelsen handler om, og bruges til rapportering. En intent beskriver, hvad kunden vil have til at ske, og bruges til at handle. "Levering" er en kategori; "spor min pakke" og "klag over forsinket levering" er to hensigter inden for den, som kræver hvert sit svar.
Hvor mange hensigter skal man definere?
Færre end de fleste tror. Start med de 10-15 typer, der dækker størstedelen af indbakken, og tilføj kun nye, når de udløser noget forskelligt. Mange overlappende hensigter gør både klassificeringen mere usikker og rapporterne sværere at læse, uden at nogen svarer bedre af det.