Provare che l'AI fa quello che dite: prove e registri

Una compagnia assicurativa con 1,5 milioni di clienti usa da un anno un assistente che risponde sulle polizze e apre le denunce di sinistro. Davide, responsabile della sicurezza informatica, riceve due notizie nello stesso giorno.

La prima: il fornitore del motore che legge e scrive, cioè il modello, passa a una versione nuova tra due settimane. La seconda: l'ufficio reclami segnala che l'assistente ha detto a un cliente che una garanzia era inclusa, e non lo era.

Il comitato rischi chiede a Davide di dimostrare che la versione nuova non peggiora le cose, e che l'errore segnalato non si ripeterà. Davide ha solo le prove fatte a mano un anno fa, su un foglio.

Costruiamo con voi un banco di prova: un insieme di domande e situazioni con il risultato atteso, che il sistema affronta in automatico ogni volta che qualcosa cambia.

• Domande normali: le richieste più frequenti dei clienti, con la risposta corretta e la fonte da cui deve venire. Di solito qualche centinaio.
• Casi limite: domande ambigue, polizze con eccezioni, richieste fuori tema, errori di battitura, lingue diverse.
• Temi che devono passare a una persona: reclami, lesioni, contestazioni. La prova verifica che l'assistente non risponda e passi la mano.
• Tentativi di ingannare l'assistente: messaggi che cercano di fargli ignorare le regole, rivelare istruzioni interne o dati di altri clienti.
• Prove di attacco periodiche: un gruppo di persone prova apposta a farlo sbagliare, e i nuovi trucchi entrano nel banco.

Ogni prova ha una soglia. Se la versione nuova scende sotto la soglia, non entra in funzione finché non si corregge.

• Controlla il sistema ogni risposta del banco contro quella attesa e contro la fonte citata.
• Controlla il sistema che i temi riservati vengano passati a una persona, ogni volta.
• Controlla il sistema che nessuna risposta contenga dati personali di altri clienti.
• Registra il sistema ogni esecuzione: versione, data, risultati, differenze rispetto alla volta precedente.
• Decidono le persone dell'ufficio polizze se una risposta nuova, diversa dall'attesa, è comunque corretta.
• Decide Davide, con il responsabile del servizio clienti, se accettare la versione nuova.

• AI Act, la legge europea sull'intelligenza artificiale: per i sistemi ad alto rischio chiede accuratezza, robustezza e sicurezza adeguate, documentate e mantenute nel tempo, con sorveglianza umana; per i sistemi dell'allegato III gli obblighi valgono dal 2 dicembre 2027. Per gli altri, un banco di prova è la migliore difesa in caso di contestazione.
• Settore assicurativo e bancario: le prove rientrano nella gestione del rischio informatico prevista da DORA, il regolamento europeo sulla resilienza digitale del settore finanziario.
• Distribuzione assicurativa: le informazioni date ai clienti devono essere corrette e chiare, chiunque le fornisca; l'assistente non fa eccezione.

Lo stesso principio, provare prima e registrare sempre, vale per ogni processo automatico: dalle fatture ai riordini di magazzino. Come costruiamo i controlli è spiegato in precisione e controlli, gli esempi di processi in cosa possiamo fare.

Le misure di sicurezza generali sono descritte in sicurezza. Per leggere le proposte dei fornitori su questi temi, come leggere un'offerta AI; per il settore finanziario, DORA in pratica.