Attacchi e difese dell'AI

LLM05 — Gestione insicura dell'output

Quando l'output del modello viene usato senza controlli e diventa codice: XSS, injection, comandi.

La lettura vocale non è disponibile su questo browser.

Uno dei difetti più sottovalutati: l'app usa la risposta del modello così com'è, e quella risposta diventa codice a valle.

🧪 In pratica
Cosa cerca l'attaccanteFar produrre al modello un output che a valle viene eseguito o inserito senza controlli.
Come si trovaIndurre il modello a generare codice (HTML, SQL, comandi) che l'app poi usa.
Cosa ottieneXSS, SQL injection o esecuzione di comandi, usando il modello come tramite.
Quanto è graveAlta o critica.
Come ci si difendeTrattare l'output del modello come input non fidato: validarlo e codificarlo.

Come funziona

Se l'app prende la risposta del modello e la inserisce in una pagina HTML, in una query o la esegue, un attaccante la fa produrre in modo che diventi un attacco (per esempio uno <script> → XSS).

🛡 Come difendersi

La regola è semplice: l'output del modello non è fidato.

  • Codificare/validare l'output come qualsiasi input non fidato (contro XSS e injection).
  • Non eseguire mai direttamente il codice generato.
  • Eseguire eventuali azioni in un ambiente isolato (sandbox) con privilegi minimi.
Livio Bollini
Walter Livio Bollini

Matematico & Informatico · Intelligenza Artificiale · Sviluppo Web

Articoli correlati