hacking A.I

PortSwigger: laboratorio per testare e difendere le A.I.

Web Security Academy di PortSwigger: gli attacchi Web LLM e, per ciascuno, come difendere l'applicazione.

PortSwigger, l'azienda che sviluppa Burp Suite, offre gratuitamente la Web Security Academy: un percorso di studio con laboratori pratici e vulnerabili per allenarsi sulla sicurezza web. Tra gli argomenti c'è la sezione Web LLM attacks, dedicata agli attacchi contro le applicazioni che integrano un Large Language Model. È quindi un ottimo laboratorio, legale e gratuito, anche per testare le intelligenze artificiali.

La Web Security Academy

La Web Security Academy (portswigger.net/web-security) è una piattaforma di formazione online gratuita. Ogni argomento è composto da una parte teorica e da laboratori interattivi: siti web volutamente vulnerabili, avviati in un'istanza dedicata, da sfruttare per risolvere un obiettivo preciso.

Gratuita

Serve solo un account registrato.

Legale

I lab sono creati per essere attaccati: nessun sistema reale coinvolto.

Graduata

Livelli Apprentice, Practitioner ed Expert.

Completa

SQL injection, XSS, CSRF, API e, oggi, anche LLM.

Il menu della piattaforma comprende Dashboard, Learning paths, Latest topics, All content, Hall of Fame, Get started e Get certified (la certificazione Burp Suite Certified Practitioner).

Web LLM attacks: il punto di partenza

La pagina portswigger.net/web-security/llm-attacks parte da una constatazione: le organizzazioni si affrettano a integrare gli LLM per migliorare l'esperienza dei clienti online. Questo le espone ad attacchi che sfruttano l'accesso del modello a dati, API o informazioni degli utenti che l'attaccante non potrebbe raggiungere direttamente. Ad esempio, un attacco può:

  • Recuperare i dati a cui l'LLM ha accesso: il prompt, il training set e le API fornite al modello;
  • Eseguire azioni dannose tramite le API: per esempio usare l'LLM per compiere una SQL injection su un'API a cui ha accesso;
  • Attaccare altri utenti e sistemi che interrogano l'LLM.

Il percorso di studio

Il menu laterale della sezione organizza la teoria in modo progressivo:

Struttura della sezione Web LLM attacks
BloccoArgomenti
OverviewWhat is a large language model? · LLM attacks and prompt injection · Detecting LLM vulnerabilities
Exploiting LLM APIs, functions, and pluginsHow LLM APIs work · Mapping LLM API attack surface · Chaining vulnerabilities in LLM APIs · Insecure output handling
Indirect prompt injectionIstruzioni nascoste in contenuti esterni · Training data poisoning
Leaking sensitive training dataEstrarre dati sensibili usati nell'addestramento
Defending against LLM attacksCome proteggere un'integrazione LLM
AI-powered scanner vulnerabilitiesRischi degli strumenti di scansione basati su AI

La teoria della prompt injection è approfondita anche in Prompt injection diretta e indiretta.

Il metodo: rilevare le vulnerabilità LLM

PortSwigger propone un metodo in tre passi, utile per qualunque test su un chatbot aziendale:

  1. Identificare gli input dell'LLM, sia diretti (il prompt) sia indiretti (dati di training, pagine, recensioni, email che il modello legge).
  2. Scoprire a quali dati e API ha accesso l'LLM.
  3. Sondare questa nuova superficie di attacco alla ricerca di vulnerabilità.

Per mappare la superficie di attacco si parte spesso chiedendo al modello stesso a quali funzioni e argomenti ha accesso; se rifiuta, PortSwigger suggerisce di fornire un contesto fuorviante, ad esempio fingendosi uno sviluppatore che sta verificando l'integrazione.

Sfruttare API, funzioni e plugin

Come funzionano le API degli LLM

Quando un chatbot può "fare cose" (controllare un ordine, iscrivere a una newsletter, cambiare un indirizzo email), il flusso è questo:

  1. Il client chiama l'LLM con il prompt dell'utente.
  2. L'LLM riconosce che deve essere chiamata una funzione e restituisce un oggetto JSON con argomenti conformi allo schema dell'API esterna.
  3. Il client chiama la funzione con quegli argomenti.
  4. Il client elabora la risposta della funzione.
  5. Il client richiama l'LLM aggiungendo la risposta della funzione come nuovo messaggio.
  6. L'LLM chiama l'API esterna usando la risposta della funzione.
  7. L'LLM riassume all'utente i risultati della chiamata.

Il problema: l'utente controlla indirettamente gli argomenti passati alle API, e spesso l'LLM chiama le funzioni per conto dell'utente senza che questi ne sia consapevole.

Excessive agency

Si parla di excessive agency quando l'LLM ha accesso ad API sensibili che possono essere usate in modo non sicuro. Un modello che può eseguire query SQL di debug, ad esempio, può essere convinto a cancellare un utente.

Concatenare le vulnerabilità

Anche se le API sembrano innocue, gli argomenti che l'LLM passa possono contenere input malevoli. L'LLM diventa così un "proxy" verso vulnerabilità tradizionali: SQL injection, path traversal, command injection. Nel lab dedicato, ad esempio, l'argomento email di un'API di iscrizione alla newsletter viene usato per una command injection sul sistema operativo.

Prompt injection indiretta

Nei lab di PortSwigger la prompt injection indiretta si sperimenta tramite le recensioni dei prodotti: l'attaccante scrive una recensione che contiene istruzioni; quando un altro utente chiede al chatbot informazioni su quel prodotto, l'LLM legge la recensione ed esegue le istruzioni con i permessi della vittima.

La tecnica sfrutta falsi delimitatori all'interno del testo della recensione, per far credere al modello che la recensione sia finita e che quanto segue sia un nuovo messaggio dell'utente.

Training data poisoning

PortSwigger classifica il training data poisoning come un tipo di prompt injection indiretta in cui sono compromessi i dati su cui il modello viene addestrato. Le cause tipiche: addestrare il modello su dati provenienti da fonti non fidate oppure usare un dataset troppo ampio.

Leaking sensitive training data

Con una prompt injection un attaccante può ottenere dati sensibili usati per addestrare l'LLM. Il metodo consiste nel costruire prompt che chiedono al modello di completare una frase o di ricordare informazioni del proprio addestramento.

La fuga avviene quando l'output del modello non è filtrato correttamente o quando i dati sensibili degli utenti non sono stati rimossi del tutto dall'archivio usato per l'addestramento.

Insecure output handling

Si verifica quando l'output dell'LLM non viene validato o sanificato prima di essere passato ad altri sistemi o mostrato nel browser. Se il chatbot riporta il testo di una recensione contenente HTML, e la pagina della chat lo esegue invece di codificarlo, si ottiene una XSS o persino una CSRF. La difesa è validare e codificare sempre l'output del modello, come visto negli output guard.

I laboratori disponibili

La sezione Web LLM attacks comprende quattro laboratori. I lab usano un LLM reale: PortSwigger avverte che il modello non risponde sempre allo stesso modo, quindi a volte serve riformulare il prompt o ripetere il tentativo. Le pagine ufficiali non indicano una fascia di difficoltà (Apprentice/Practitioner/Expert) per questi lab.

Laboratori della sezione Web LLM attacks
LaboratorioObiettivo ufficialeTecnica
Exploiting LLM APIs with excessive agencyUsare l'LLM per eliminare l'utente carlosExcessive agency: l'LLM può chiamare una Debug SQL API che esegue SQL grezzo sul database
Exploiting vulnerabilities in LLM APIsRimuovere un file dalla home directory di CarlosOS command injection nell'argomento email della Newsletter Subscription API
Indirect prompt injectionEliminare carlosRecensione avvelenata che induce l'assistente a chiamare delete_account quando Carlos chiede informazioni sul prodotto
Exploiting insecure output handling in LLMsUsare la prompt injection indiretta per un attacco XSS che elimina carlosL'assistente ripete il testo di una recensione che contiene HTML, reso dalla pagina della chat

Gli strumenti dei lab

  • Live chat: l'interfaccia per dialogare con l'LLM, presente in tutti i lab.
  • Email client: riceve le email inviate all'indirizzo dell'attaccante (conferme di iscrizione, registrazione dell'account).
  • Exploit server: fornisce un dominio controllato dall'attaccante, usato ad esempio come indirizzo email nel lab sulla command injection.
  • Recensioni dei prodotti: il canale per la prompt injection indiretta; nei lab il bersaglio è la pagina della giacca di pelle (leather jacket), su cui l'utente Carlos chiede informazioni.

Come iniziare

  1. Registrarsi gratuitamente su portswigger.net (pulsante My account).
  2. Aprire Academy > All content > Web LLM attacks e leggere la teoria.
  3. Avviare un lab con Access the lab: l'istanza resta attiva per un tempo limitato.
  4. Opzionale: configurare il browser con Burp Suite (anche la Community Edition) per intercettare le richieste della chat e analizzarle in Proxy e Repeater.
  5. Tenere traccia dei progressi con Track your progress nella Dashboard.

Le difese suggerite

La sezione Defending against LLM attacks indica tre principi, coerenti con la OWASP Top 10 per LLM:

API come se fossero pubbliche

Le API date all'LLM vanno trattate come accessibili a chiunque: autenticazione per ogni chiamata e controlli di accesso gestiti dalle applicazioni con cui l'LLM comunica, non dal modello.

Non dare dati sensibili all'LLM

Sanificare il dataset di addestramento, fornire solo i dati accessibili all'utente con i privilegi più bassi, limitare le fonti esterne e testare regolarmente cosa il modello "sa".

Non affidarsi al prompt

Istruzioni come "non usare queste API" possono essere aggirate con prompt costruiti ad arte (jailbreaker prompt).

A queste si aggiunge la validazione e codifica dell'output prima di mostrarlo nel browser, come visto per l'insecure output handling e negli output guard.

AI-powered scanner vulnerabilities

L'ultima parte della pagina riguarda le vulnerabilità degli scanner di sicurezza basati su AI: anche gli strumenti che usano un LLM per analizzare siti e applicazioni possono essere bersaglio di prompt injection, ad esempio tramite contenuti malevoli presenti nelle pagine che stanno scansionando. Chi usa l'AI per fare security testing deve quindi considerare l'AI stessa come parte della superficie di attacco.

Livio Bollini
Walter Livio Bollini

Matematico & Informatico · Intelligenza Artificiale · Sviluppo Web