Un sistema di intelligenza artificiale non si protegge solo con firewall e password: modelli, dati di addestramento, prompt e agenti introducono nuove superfici d'attacco. Il threat model (modello delle minacce) è il metodo che permette di individuarle prima che lo faccia un attaccante. In questa guida vediamo cos'è, perché è indispensabile per l'AI e come costruirlo passo per passo.
Cos'è un threat model
Il threat modeling è un processo strutturato per analizzare un sistema dal punto di vista di chi vuole attaccarlo. Non è uno strumento software né un test di penetrazione: è un'attività di progettazione che si fa con un diagramma, una lavagna e le persone giuste attorno al tavolo.
Adam Shostack, uno dei padri della disciplina, lo riassume in quattro domande:
1. Su cosa stiamo lavorando?
Si descrive il sistema: componenti, flussi di dati, confini di fiducia.
2. Cosa può andare storto?
Si individuano le minacce, ad esempio con il modello STRIDE.
3. Cosa facciamo per evitarlo?
Si scelgono le contromisure: mitigare, eliminare, trasferire o accettare il rischio.
4. Abbiamo fatto un buon lavoro?
Si verifica che le difese funzionino e si aggiorna il modello nel tempo.
Il risultato è un documento vivo che elenca asset da proteggere, minacce, rischi e contromisure. Il vantaggio principale è economico: correggere una falla in fase di progetto costa molto meno che correggerla in produzione, dopo un incidente.
Perché l'intelligenza artificiale ha bisogno di un threat model dedicato
Un'applicazione AI eredita tutte le vulnerabilità del software tradizionale, ma ne aggiunge di nuove, legate al fatto che il comportamento del sistema dipende dai dati e non solo dal codice. Le principali superfici d'attacco sono:
- Dati di addestramento: possono essere avvelenati (data poisoning) per inserire backdoor o bias.
- Il modello: può essere rubato, copiato tramite interrogazioni (model extraction) o manipolato con input avversari (adversarial examples).
- Il prompt: nei modelli linguistici (LLM) le istruzioni e i dati viaggiano nello stesso canale, aprendo la porta alla prompt injection, diretta o indiretta.
- Le fonti esterne: documenti, pagine web ed e-mail letti da un sistema RAG possono contenere istruzioni malevole nascoste.
- Agenti e strumenti (tool): un modello che può inviare e-mail, eseguire codice o chiamare API trasforma un errore di "ragionamento" in un'azione reale.
- Gli output: possono rivelare dati sensibili, contenere codice malevolo o essere usati senza validazione da altri sistemi.
- La supply chain: modelli pre-addestrati, dataset e librerie scaricati da repository pubblici.
Per una panoramica degli attacchi più comuni leggi anche Attacchi hacker sull'A.I.
Come fare un threat model passo per passo
Passo 1 – Definire perimetro e asset
Stabilisci cosa stai analizzando (un chatbot, una pipeline di training, un agente) e cosa va protetto: dati degli utenti, pesi del modello, prompt di sistema, credenziali dei tool, budget di calcolo, reputazione dell'azienda.
Passo 2 – Disegnare il diagramma di flusso dei dati (DFD)
Rappresenta il sistema con quattro tipi di elementi:
- Entità esterne: utenti, servizi di terze parti, siti web letti dal modello.
- Processi: l'applicazione, il modello LLM, l'orchestratore degli agenti.
- Archivi dati: dataset, vector database, log, registro dei modelli.
- Flussi di dati: le frecce che collegano gli elementi.
Poi traccia i confini di fiducia (trust boundaries): le linee dove i dati passano da una zona meno fidata a una più fidata. Nei sistemi AI c'è un confine di fiducia importante e spesso dimenticato: quello tra i contenuti esterni e il contesto del modello.
Esempio – Utente → App web → Orchestratore → LLM
Orchestratore ↔ Vector DB (documenti interni)
Orchestratore → Tool: e-mail, ticketing
Tutte le interazioni → Log
Passo 3 – Individuare le minacce
Per ogni elemento del diagramma chiediti cosa può andare storto. Per non dimenticare nulla serve un metodo: il più usato è STRIDE, che classifica le minacce in sei categorie (Spoofing, Tampering, Repudiation, Information disclosure, Denial of service, Elevation of privilege). Lo spieghiamo in dettaglio, con esempi sui sistemi AI, nell'articolo dedicato STRIDE: classificare le minacce dell'intelligenza artificiale.
Una buona formulazione delle minacce segue lo schema: "Un [attaccante] può [azione] su [componente] causando [impatto]".
Passo 4 – Valutare e prioritizzare il rischio
Assegna a ogni minaccia un punteggio di probabilità e impatto (ad esempio da 1 a 5) e moltiplicali. In alternativa puoi usare modelli come DREAD o il CVSS. L'obiettivo non è la precisione matematica, ma decidere cosa affrontare per primo.
| Punteggio | Livello | Azione |
|---|---|---|
| 15 – 25 | Critico / Alto | Mitigare prima del rilascio |
| 6 – 14 | Medio | Pianificare la mitigazione |
| 1 – 5 | Basso | Monitorare o accettare documentando |
Passo 5 – Scegliere le contromisure
Per ogni minaccia hai quattro opzioni: mitigarla (aggiungere un controllo), eliminarla (rimuovere la funzionalità rischiosa), trasferirla (assicurazione, fornitore) o accettarla consapevolmente, documentando la scelta.
Passo 6 – Validare e aggiornare
Verifica le contromisure con test mirati e attività di red teaming AI (tentativi reali di prompt injection, jailbreak, esfiltrazione). Ripeti il threat model ogni volta che cambi modello, aggiungi un tool o una nuova fonte di dati.
I framework da affiancare al threat model
OWASP Top 10 for LLM
I rischi più diffusi nelle applicazioni basate su LLM. Utile come checklist per individuare le minacce.
Leggi l'articolo →MITRE ATLAS
Tattiche e tecniche reali usate contro i sistemi di machine learning. Utile per scenari realistici e red teaming.
Leggi l'articolo →NIST AI RMF e AI Act
Framework di gestione del rischio AI e normativa europea: il contesto di governance in cui inserire e documentare il threat model.
Checklist operativa per il threat model di un sistema AI
- ☐ Ho definito perimetro e asset da proteggere?
- ☐ Ho disegnato il DFD con tutti i componenti AI (modello, dataset, vector DB, tool, agenti)?
- ☐ Ho segnato il confine di fiducia tra contenuti esterni e contesto del modello?
- ☐ Ho analizzato ogni elemento con un metodo strutturato come STRIDE?
- ☐ Ogni minaccia ha un punteggio di rischio e una decisione documentata?
- ☐ I tool dell'agente seguono il principio del minimo privilegio?
- ☐ Le azioni irreversibili richiedono una conferma umana?
- ☐ Esistono log completi e immutabili di prompt, risposte e azioni?
- ☐ Provenienza e integrità di modelli e dataset sono verificate?
- ☐ Il threat model viene aggiornato a ogni cambio di modello, tool o fonte dati?
Domande frequenti sul threat modeling per l'AI
Conclusione
Il threat modeling è il modo più efficace per portare la sicurezza dentro la progettazione dei sistemi di intelligenza artificiale, invece di aggiungerla dopo un incidente. Il consiglio pratico è iniziare in piccolo: un diagramma, le quattro domande e una tabella delle contromisure. Un threat model imperfetto ma aggiornato vale molto più di nessun threat model.