L'AI aggiunge punti di attacco nuovi: istruzioni malevole nascoste nei testi, risposte inventate, permessi troppo ampi, dipendenza da un modello esterno. Trattateli come rischi da analizzare, non come un'eccezione alle regole.
Chiedete che cosa può leggere e che cosa può scrivere, chi approva le azioni, come si spegne, dove finiscono i testi inviati e per quanto tempo restano memorizzati.
Scenario
Questo è uno scenario costruito per spiegare, non un cliente. I nomi di persone e aziende sono inventati.
Scenario: Luca imposta l'assistente in sola lettura sulle procedure. Le azioni sui sistemi restano a una persona. Il rischio scende, l'utilità resta. Il servizio clienti guadagna tempo senza perdere il controllo.
Se il modello gira fuori dai vostri server, rafforzate contratto, cifratura e riduzione dei dati. Se gira sui vostri server, curate aggiornamenti, accessi e monitoraggio. In entrambi i casi scrivete la procedura di spegnimento.
Aggiornate l'analisi dei rischi e il piano di continuità ogni volta che cambiate modello o perimetro. Un cambio «piccolo» può aprire l'accesso a dati nuovi. Trattatelo come un rilascio, non come un ritocco.
Preparate un'alternativa manuale, così che, se l'assistente si ferma, il lavoro non si blocchi del tutto, almeno sui casi urgenti.