Attacchi e difese dell'AI

LLM02 — Divulgazione di informazioni sensibili

Quando il modello rivela dati riservati: dati di addestramento, segreti nel prompt o informazioni di altri utenti.

La lettura vocale non è disponibile su questo browser.

Un LLM può ripetere informazioni che ha "visto": dati di addestramento, segreti messi nel prompt o dati di altri utenti.

🧪 In pratica
Cosa cerca l'attaccanteFar rivelare al modello dati riservati.
Come si trovaChiedere direttamente, o con inganno, informazioni che il modello non dovrebbe dare.
Cosa ottieneDati personali, chiavi, segreti del system prompt, dati di altri utenti.
Quanto è graveAlta (privacy e conformità).
Come ci si difendeNon mettere segreti nel prompt, filtrare l'output, ridurre i dati nel contesto.
📖 Le parole in breve
Dati di addestramento
i testi con cui il modello è stato istruito: può ripeterne dei frammenti.

Come funziona

Il modello può restituire frammenti dei dati su cui è stato addestrato, oppure informazioni messe nel suo contesto (system prompt, documenti del RAG). Senza filtri, un attaccante le fa emergere.

🛡 Come difendersi

Si limita cosa il modello può sapere e dire:

  • Non mettere segreti (chiavi, password) nel system prompt.
  • Ridurre i dati nel contesto al minimo necessario.
  • Filtrare l'output (output guard) e mascherare i dati sensibili.
  • Controllo accessi sui documenti del RAG, separati per utente.
Livio Bollini
Walter Livio Bollini

Matematico & Informatico · Intelligenza Artificiale · Sviluppo Web

Articoli correlati