Un assistente AI che riceve molte conversazioni non sta necessariamente funzionando: sta solo venendo usato. La differenza si vede nei numeri che stanno dietro all'uso, quante richieste risolve senza intervento umano, in quanto tempo, con quale tasso di errore riconosciuto e a quale costo per conversazione. Senza queste misure, il giudizio resta un'impressione.
Perché "lo usano tutti" non è una metrica
Il numero di conversazioni avviate è la prima cifra che chiunque guarda quando valuta un assistente AI, ed è anche la meno utile. Dice quante persone hanno iniziato a scrivere, non quante hanno ottenuto una risposta corretta, né quante hanno comunque dovuto aspettare un operatore. Un assistente molto usato ma che smista male finisce per aggiungere un passaggio in più prima dell'operatore umano, invece di toglierlo.
La domanda corretta non è "quante persone lo usano", ma "quante richieste si chiudono senza bisogno d'altro, e a quali condizioni". Vale lo stesso principio che guida qualunque investimento tecnico in azienda: come visto a proposito di dove l'intelligenza artificiale ha davvero senso in azienda, il punto di partenza deve essere il problema da risolvere, non lo strumento in sé.
Le metriche che dicono davvero se funziona
Per uscire dall'impressione servono numeri specifici. Questi sei indicatori, letti insieme, danno un quadro realistico di come si sta comportando l'assistente:
| Metrica | Cosa misura | Perché conta |
|---|---|---|
| Tasso di risoluzione senza escalation | % di conversazioni chiuse dall'assistente senza passare a un operatore | È il numero più diretto per capire se sta davvero assorbendo lavoro |
| Tempo medio di risposta | Secondi tra la domanda dell'utente e la risposta completa | Un tempo troppo lungo fa abbandonare l'utente, anche quando la risposta è corretta |
| Tasso di escalation all'operatore | % di conversazioni passate a un umano, e in quale punto del dialogo | Mostra dove l'assistente si ferma, non solo quanto spesso |
| Tasso di errore riconosciuto | % di risposte segnalate come sbagliate o corrette dopo revisione manuale | Misura la qualità, non solo il volume delle conversazioni gestite |
| Costo per conversazione | Costo delle chiamate API del modello diviso per il numero di conversazioni nel periodo | Un assistente senza canone applicativo può comunque avere un costo variabile rilevante |
| Tasso di conversione a contatto | % di conversazioni che generano una richiesta reale: contatto, prenotazione, ordine | Collega l'assistente a un risultato di business, non solo all'uso |
Nessuno di questi numeri, da solo, basta. Un tasso di risoluzione alto ottenuto rispondendo in modo generico, senza controllo sugli errori, non è un buon segnale: è solo un assistente che chiude le conversazioni senza risolverle davvero.
Come si misura la qualità delle risposte, non solo il volume
Il volume di conversazioni gestite non dice se le risposte sono corrette. Per questo serve un controllo editoriale, non solo tecnico, su cosa l'assistente genera davvero.
Campionamento manuale. Leggere un campione di conversazioni reali ogni settimana, non limitarsi alle metriche aggregate: è il modo più diretto per capire se le risposte sono effettivamente utili.
Feedback esplicito dell'utente. Una semplice domanda a fine conversazione, del tipo "la risposta ti è stata utile?", con un tasso di risposta basso ma comunque indicativo di un problema ricorrente.
Log delle conversazioni. Conservare lo storico, nel rispetto della normativa sulla protezione dei dati e verificando con chi tratta i dati per quanto tempo va conservato, permette di ricostruire cosa è stato detto in caso di contestazione.
Hallucination riconosciute. Quante volte l'assistente ha inventato un'informazione, un prezzo, una disponibilità, una policy, che non esisteva nei dati a sua disposizione. È l'errore più difficile da individuare dalle sole metriche aggregate, perché una risposta inventata può sembrare fluente e sicura quanto una corretta.
Tre tipi di assistente, tre modi di giudicarli
Un assistente informativo, uno di customer care e uno collegato a un ecommerce non si valutano allo stesso modo, perché rispondono a obiettivi diversi.
Assistente informativo (orari, servizi, domande frequenti). La metrica principale è il tasso di risoluzione senza escalation: il compito è rispondere a domande con una risposta nota e stabile.
Customer care. La metrica principale è il tempo di prima risposta e la qualità dello smistamento verso l'operatore giusto, non la risoluzione totale: molte richieste di assistenza, per natura, restano di competenza umana.
Assistente ecommerce (ricerca prodotti, supporto all'acquisto). La metrica principale è il tasso di conversione a contatto o ordine, non la conversazione in sé. Un caso concreto applicato a un negozio PrestaShop mostra come cambia l'obiettivo quando l'assistente è collegato direttamente al catalogo prodotti.
Quando un chatbot a regole batte un modello linguistico
Non ogni assistente conviene costruirlo con un modello linguistico (LLM). Per richieste ripetitive e prevedibili, lo stato di un ordine, gli orari di apertura, una domanda con risposta sempre uguale, un flusso a regole (un classico chatbot con risposte predefinite) resta spesso la scelta più solida: è prevedibile al cento per cento, ha un costo quasi fisso indipendente dal volume e non rischia di inventare una risposta.
Un LLM con recupero delle informazioni, tecnicamente un'architettura RAG (retrieval augmented generation), diventa utile quando le domande sono formulate in modo libero e imprevedibile, o quando serve interpretare un catalogo ampio e in continuo aggiornamento. Lo stesso principio vale per un CMS con intelligenza artificiale integrata: la tecnologia giusta dipende dal tipo di domanda che deve gestire, non dall'etichetta "AI" sul prodotto. Nella pratica, molte aziende finiscono per usare entrambi gli approcci insieme, con il flusso a regole che gestisce i casi prevedibili e l'LLM che subentra per il resto.
I costi che non si vedono nel canone
In alcune soluzioni, come l'assistente AI di Keidea, il canone applicativo può non essere previsto: restano comunque a carico di chi lo usa i costi delle chiamate API del modello linguistico scelto, che crescono con il numero di conversazioni gestite. È una voce di costo che va monitorata mese per mese, non stimata una sola volta al momento dell'attivazione: un assistente con poche decine di conversazioni al giorno ha un profilo di spesa molto diverso da uno che ne gestisce migliaia, e il costo per conversazione (la metrica vista sopra) è l'unico modo per tenerlo sotto controllo nel tempo.
Lo stesso discorso vale per un assistente AI applicato alle vendite online: più il catalogo recuperato a ogni risposta è ampio, più cresce il contesto da elaborare a ogni conversazione, e con esso il costo variabile.
Supervisione, log e privacy: cosa verificare prima di dire che funziona
Un numero di risoluzione alto non basta se l'assistente non prevede un meccanismo di controllo quando sbaglia. Prima di considerarlo affidabile, verifica tre cose.
Fallback ed escalation. Quando l'assistente non è sicuro della risposta, la dichiara e passa la richiesta a un operatore, invece di rispondere comunque con il rischio di inventare un'informazione.
Logging. Ogni conversazione resta tracciata, con data, contenuto e, se previsto, l'esito (risolta, escalata, corretta manualmente): senza log non è possibile ricostruire un errore né calcolare le metriche viste sopra.
Retention e trattamento dei dati. Verifica con chi fornisce il servizio dove vengono conservate le conversazioni, per quanto tempo e chi vi ha accesso. Se vuoi vedere un esempio di come un fornitore documenta pubblicamente queste scelte, la pagina di trasparenza sull'intelligenza artificiale di Keidea mostra cosa dovresti aspettarti di trovare, a prescindere dal fornitore che scegli.
Un metodo minimo in 4 passaggi per iniziare a misurare
Non serve una piattaforma di analytics complessa per iniziare. Bastano questi quattro passaggi, nell'ordine:
Fissa una base di partenza prima di attivarlo. Documenta volumi, tempi e canale attuale delle richieste che l'assistente dovrà gestire: senza un termine di paragone, qualunque numero successivo è privo di contesto.
Scegli 3-4 metriche, non 15. Tasso di risoluzione, tempo di risposta, tasso di escalation e costo per conversazione sono quasi sempre sufficienti per iniziare; aggiungerne altre diluisce l'attenzione senza produrre decisioni in più.
Campiona manualmente le conversazioni ogni settimana, per le prime 6-8 settimane. Leggi un campione reale di scambi, non solo i numeri aggregati: è l'unico modo per intercettare hallucination o risposte tecnicamente corrette ma inutili.
Rivedi dopo un ciclo minimo, non dopo pochi giorni. Un volume basso nelle prime settimane rende qualunque percentuale poco affidabile: aspetta che il campione sia abbastanza ampio prima di cambiare configurazione o giudicare il progetto.
Se vuoi vedere questi numeri calcolati sul tuo caso specifico, il modo più diretto è una demo dell'assistente AI configurata sui tuoi contenuti reali, non su uno scenario generico.
