hacking A.I

Threat Model per l'AI: progettare la difesa passo per passo

Difendere l'AI con il threat modeling: cos'è, come costruirlo e quali contromisure adottare.

Un sistema di intelligenza artificiale non si protegge solo con firewall e password: modelli, dati di addestramento, prompt e agenti introducono nuove superfici d'attacco. Il threat model (modello delle minacce) è il metodo che permette di individuarle prima che lo faccia un attaccante. In questa guida vediamo cos'è, perché è indispensabile per l'AI e come costruirlo passo per passo.

Cos'è un threat model

Il threat modeling è un processo strutturato per analizzare un sistema dal punto di vista di chi vuole attaccarlo. Non è uno strumento software né un test di penetrazione: è un'attività di progettazione che si fa con un diagramma, una lavagna e le persone giuste attorno al tavolo.

Adam Shostack, uno dei padri della disciplina, lo riassume in quattro domande:

1. Su cosa stiamo lavorando?

Si descrive il sistema: componenti, flussi di dati, confini di fiducia.

2. Cosa può andare storto?

Si individuano le minacce, ad esempio con il modello STRIDE.

3. Cosa facciamo per evitarlo?

Si scelgono le contromisure: mitigare, eliminare, trasferire o accettare il rischio.

4. Abbiamo fatto un buon lavoro?

Si verifica che le difese funzionino e si aggiorna il modello nel tempo.

Il risultato è un documento vivo che elenca asset da proteggere, minacce, rischi e contromisure. Il vantaggio principale è economico: correggere una falla in fase di progetto costa molto meno che correggerla in produzione, dopo un incidente.

Perché l'intelligenza artificiale ha bisogno di un threat model dedicato

Un'applicazione AI eredita tutte le vulnerabilità del software tradizionale, ma ne aggiunge di nuove, legate al fatto che il comportamento del sistema dipende dai dati e non solo dal codice. Le principali superfici d'attacco sono:

  • Dati di addestramento: possono essere avvelenati (data poisoning) per inserire backdoor o bias.
  • Il modello: può essere rubato, copiato tramite interrogazioni (model extraction) o manipolato con input avversari (adversarial examples).
  • Il prompt: nei modelli linguistici (LLM) le istruzioni e i dati viaggiano nello stesso canale, aprendo la porta alla prompt injection, diretta o indiretta.
  • Le fonti esterne: documenti, pagine web ed e-mail letti da un sistema RAG possono contenere istruzioni malevole nascoste.
  • Agenti e strumenti (tool): un modello che può inviare e-mail, eseguire codice o chiamare API trasforma un errore di "ragionamento" in un'azione reale.
  • Gli output: possono rivelare dati sensibili, contenere codice malevolo o essere usati senza validazione da altri sistemi.
  • La supply chain: modelli pre-addestrati, dataset e librerie scaricati da repository pubblici.

Per una panoramica degli attacchi più comuni leggi anche Attacchi hacker sull'A.I.

Come fare un threat model passo per passo

Passo 1 – Definire perimetro e asset

Stabilisci cosa stai analizzando (un chatbot, una pipeline di training, un agente) e cosa va protetto: dati degli utenti, pesi del modello, prompt di sistema, credenziali dei tool, budget di calcolo, reputazione dell'azienda.

Passo 2 – Disegnare il diagramma di flusso dei dati (DFD)

Rappresenta il sistema con quattro tipi di elementi:

  • Entità esterne: utenti, servizi di terze parti, siti web letti dal modello.
  • Processi: l'applicazione, il modello LLM, l'orchestratore degli agenti.
  • Archivi dati: dataset, vector database, log, registro dei modelli.
  • Flussi di dati: le frecce che collegano gli elementi.

Poi traccia i confini di fiducia (trust boundaries): le linee dove i dati passano da una zona meno fidata a una più fidata. Nei sistemi AI c'è un confine di fiducia importante e spesso dimenticato: quello tra i contenuti esterni e il contesto del modello.

Esempio – Utente → App web → Orchestratore → LLM
Orchestratore ↔ Vector DB (documenti interni)
Orchestratore → Tool: e-mail, ticketing
Tutte le interazioni → Log

Passo 3 – Individuare le minacce

Per ogni elemento del diagramma chiediti cosa può andare storto. Per non dimenticare nulla serve un metodo: il più usato è STRIDE, che classifica le minacce in sei categorie (Spoofing, Tampering, Repudiation, Information disclosure, Denial of service, Elevation of privilege). Lo spieghiamo in dettaglio, con esempi sui sistemi AI, nell'articolo dedicato STRIDE: classificare le minacce dell'intelligenza artificiale.

Una buona formulazione delle minacce segue lo schema: "Un [attaccante] può [azione] su [componente] causando [impatto]".

Passo 4 – Valutare e prioritizzare il rischio

Assegna a ogni minaccia un punteggio di probabilità e impatto (ad esempio da 1 a 5) e moltiplicali. In alternativa puoi usare modelli come DREAD o il CVSS. L'obiettivo non è la precisione matematica, ma decidere cosa affrontare per primo.

Matrice di rischio: probabilità × impatto
PunteggioLivelloAzione
15 – 25Critico / AltoMitigare prima del rilascio
6 – 14MedioPianificare la mitigazione
1 – 5BassoMonitorare o accettare documentando

Passo 5 – Scegliere le contromisure

Per ogni minaccia hai quattro opzioni: mitigarla (aggiungere un controllo), eliminarla (rimuovere la funzionalità rischiosa), trasferirla (assicurazione, fornitore) o accettarla consapevolmente, documentando la scelta.

Passo 6 – Validare e aggiornare

Verifica le contromisure con test mirati e attività di red teaming AI (tentativi reali di prompt injection, jailbreak, esfiltrazione). Ripeti il threat model ogni volta che cambi modello, aggiungi un tool o una nuova fonte di dati.

I framework da affiancare al threat model

OWASP Top 10 for LLM

I rischi più diffusi nelle applicazioni basate su LLM. Utile come checklist per individuare le minacce.

Leggi l'articolo →

MITRE ATLAS

Tattiche e tecniche reali usate contro i sistemi di machine learning. Utile per scenari realistici e red teaming.

Leggi l'articolo →

NIST AI RMF e AI Act

Framework di gestione del rischio AI e normativa europea: il contesto di governance in cui inserire e documentare il threat model.

Checklist operativa per il threat model di un sistema AI

  • ☐ Ho definito perimetro e asset da proteggere?
  • ☐ Ho disegnato il DFD con tutti i componenti AI (modello, dataset, vector DB, tool, agenti)?
  • ☐ Ho segnato il confine di fiducia tra contenuti esterni e contesto del modello?
  • ☐ Ho analizzato ogni elemento con un metodo strutturato come STRIDE?
  • ☐ Ogni minaccia ha un punteggio di rischio e una decisione documentata?
  • ☐ I tool dell'agente seguono il principio del minimo privilegio?
  • ☐ Le azioni irreversibili richiedono una conferma umana?
  • ☐ Esistono log completi e immutabili di prompt, risposte e azioni?
  • ☐ Provenienza e integrità di modelli e dataset sono verificate?
  • ☐ Il threat model viene aggiornato a ogni cambio di modello, tool o fonte dati?

Domande frequenti sul threat modeling per l'AI

Il threat model si fa in fase di progettazione e analizza le minacce teoriche sull'architettura; il penetration test verifica sul sistema reale se quelle minacce sono sfruttabili. Sono complementari: il threat model indica al pentester dove guardare.

Idealmente sviluppatori, data scientist o ML engineer, un esperto di sicurezza e il responsabile di prodotto. Chi conosce il sistema sa come funziona; chi conosce la sicurezza sa come può essere attaccato.

Per iniziare bastano carta e penna o una lavagna. Tra gli strumenti software più diffusi ci sono OWASP Threat Dragon (open source), Microsoft Threat Modeling Tool e soluzioni "threat model as code" come pytm, che permettono di versionare il modello insieme al codice.

A ogni cambiamento significativo: nuovo modello o nuova versione, nuovi tool per gli agenti, nuove fonti di dati, nuove categorie di utenti. In assenza di cambiamenti, una revisione almeno annuale è una buona pratica.

Conclusione

Il threat modeling è il modo più efficace per portare la sicurezza dentro la progettazione dei sistemi di intelligenza artificiale, invece di aggiungerla dopo un incidente. Il consiglio pratico è iniziare in piccolo: un diagramma, le quattro domande e una tabella delle contromisure. Un threat model imperfetto ma aggiornato vale molto più di nessun threat model.

Livio Bollini
Walter Livio Bollini

Matematico & Informatico · Intelligenza Artificiale · Sviluppo Web