hacking A.I

Difendere i guard dalla Prompt Injection: lezioni da Gandalf

Capire come cedono system prompt, input e output guard per renderli robusti. Laboratorio Gandalf di Lakera.

Per difendere un'applicazione LLM bisogna capire come viene attaccata. Usiamo Gandalf di Lakera, un gioco creato da un'azienda di sicurezza AI proprio per allenarsi: a ogni livello il modello protegge una password segreta con una difesa in più. Invece di elencare prompt d'attacco, qui analizziamo perché ogni difesa cede e, soprattutto, come renderla robusta. È un articolo per chi costruisce e protegge i guard, non per chi vuole aggirarli.

Lo scenario: un segreto nel system prompt

Gandalf ha nel proprio system prompt una frase del tipo "La password è XXXXX". Il giocatore cerca di farla uscire; a ogni livello superato il sistema aggiunge una difesa, seguendo lo schema visto in Input e output guard:

User Input → Input Guard → Model (+ System Prompt) → Output Guard → Model Output

Studiare dove ciascuno di questi punti si rompe è il modo migliore per imparare a irrobustirlo. È lo stesso principio del red teaming: attaccare i propri sistemi, in un ambiente controllato, per scoprirne le debolezze prima di un attaccante reale.

Il principio: il segreto non va nel prompt

Al livello 1 Gandalf non ha difese e rivela la password a chi la chiede. La lezione non è "come chiederla", ma una regola di progettazione fondamentale:

La prima e più importante difesa, quindi, non è un filtro: è non affidare al modello segreti che non deve divulgare. Le credenziali restano nel backend, protette da controlli di accesso tradizionali; il modello ne vede al massimo il risultato di un'operazione autorizzata, mai il valore in chiaro.

Difendere il system prompt

La debolezza. Dal livello 2 Gandalf è istruito a non rivelare la password. Ma il system prompt è un'istruzione, non un controllo: con tecniche come la falsa autorità ("sono l'amministratore"), il gioco di ruolo o la richiesta di ripetere il contesto, l'utente mette le proprie istruzioni in conflitto con quelle dello sviluppatore, e spesso vince.

Come difendersi.

  • Non considerarlo un confine di sicurezza: deve ridurre gli abusi, non essere l'unica barriera.
  • Istruzioni esplicite e ripetute: dichiarare che il modello non deve cambiare ruolo né rivelare le istruzioni, e ribadirlo anche in fondo al prompt (sandwich defense).
  • Separare i dati dalle istruzioni con delimitatori, come descritto in Prompt injection indiretta e system prompt.
  • Non riporre nel system prompt ciò che non deve comunque uscire: così, anche se il prompt viene "letto", non c'è nulla di sensibile da perdere.

Difendere l'output guard

La debolezza. L'output guard blocca la risposta se contiene la password. Un attaccante prova allora a farla uscire in forma trasformata (lettere separate, ordine invertito, codifiche, acrostici): il valore è lo stesso, ma non corrisponde più alla stringa cercata dal filtro.

Come difendersi.

  • Normalizzare prima di controllare: rimuovere spazi, trattini e simboli, verificare anche la stringa invertita e le codifiche note (Base64, esadecimale) prima del confronto.
  • Guard semantico, non solo testuale: affiancare al confronto di stringhe un secondo modello che valuti se la risposta rivela il segreto, anche in forma indiretta o a indizi.
  • Limitare il formato dell'output: se l'assistente deve dare solo risposte su un dominio preciso, output fuori schema (poesie, cifrari, elenchi di lettere) possono essere bloccati a prescindere.
  • Resta il punto chiave: un output guard perfetto non esiste, perciò il segreto non dovrebbe essere nel contesto fin dall'inizio.

Difendere l'input guard a blacklist

La debolezza. Un input guard che rifiuta le richieste contenenti parole come "password" si aggira facilmente: sinonimi, perifrasi, altre lingue o la parola spezzata trasmettono lo stesso significato senza il termine vietato. Una blacklist controlla le parole, ma il modello ragiona sul significato.

Come difendersi.

  • Non fermarsi alla blacklist: è utile come primo filtro veloce, ma va affiancata ad altro.
  • Classificatore di intenzione: usare un modello addestrato a riconoscere i tentativi di prompt injection (es. classificatori dedicati) invece del semplice elenco di parole.
  • Similarità semantica: confrontare la richiesta con una base di attacchi noti tramite embedding, per intercettare le varianti riformulate.
  • Attenzione ai falsi positivi: un filtro troppo rigido blocca anche richieste legittime ("come cambio la mia password?"); il bilanciamento va misurato.

Difendere l'input guard con secondo LLM

La debolezza. Al livello 6 Gandalf usa un secondo LLM come giudice dell'intenzione della richiesta. È una difesa forte, ma il giudice è a sua volta un modello: una richiesta che sembra un compito creativo o didattico innocuo può ingannarlo pur spingendo il modello principale a usare il segreto. In altre parole, anche il guard è vulnerabile alla prompt injection.

Come difendersi.

  • Difesa in profondità: il giudice-LLM non va usato da solo, ma insieme a output guard e controlli deterministici, così un singolo aggiramento non basta.
  • Istruzioni robuste al giudice: delimitare chiaramente il messaggio da valutare e istruirlo a segnalare anche richieste che usano la "parola segreta" dentro compiti apparentemente innocui.
  • Valutare l'intera conversazione: molti aggiramenti spezzano l'attacco su più messaggi, ciascuno innocuo se letto da solo; il guard deve considerare la storia della chat.
  • Non delegare la sicurezza al linguaggio: dove possibile, la protezione del segreto deve stare nel codice (controlli di accesso, privilegio minimo), non nella capacità del modello di "resistere".

Attacco e difesa a confronto

Per ogni tecnica di aggiramento, la difesa corrispondente
Tecnica di attaccoDifesa che aggiraCome difendersi
Falsa autorità / gioco di ruoloSystem promptIstruzioni esplicite e ripetute, segreto fuori dal prompt
Trasformazioni del testoOutput guard deterministicoNormalizzazione + guard semantico
Codifiche (Base64, cifrari)Output guard deterministicoDecodifica e controllo prima del confronto
Acrostici / indiziOutput guard con LLMLimitare il formato dell'output ammesso
Sinonimi / altre lingueInput guard a blacklistClassificatore di intenzione, similarità semantica
Compito creativo innocuoInput guard con LLMDifesa in profondità, contesto multi-turno
Attacco multi-turnoGuard su singolo messaggioValutare l'intera conversazione

Checklist difensiva

1. Niente segreti nel contesto

Password e chiavi restano nel backend; il modello non le conosce.

2. Normalizza prima di controllare

L'output guard rimuove spazi e simboli e verifica inversioni e codifiche.

3. Valuta la conversazione intera

I guard considerano la storia della chat, non solo l'ultimo messaggio.

4. Combina i livelli

System prompt, input guard e output guard insieme alzano molto il costo dell'attacco (livello 7 di Gandalf).

5. Privilegio minimo

Il modello accede solo alle funzioni necessarie, con i permessi dell'utente.

6. Red teaming periodico

Testare i propri guard con esercizi come Gandalf e inserirli nel threat model.

La prompt injection è classificata da OWASP come LLM01 proprio perché non esiste una soluzione definitiva: la difesa è un processo a più livelli, non un singolo filtro. Per la teoria completa si veda Prompt injection diretta e indiretta.

Livio Bollini
Walter Livio Bollini

Matematico & Informatico · Intelligenza Artificiale · Sviluppo Web