Attacchi e difese dell'AI

LLM04 — Avvelenamento di dati e modello

Inquinare i dati di addestramento per inserire comportamenti nascosti o "porte sul retro".

La lettura vocale non è disponibile su questo browser.

Se l'attaccante riesce a inquinare i dati con cui il modello viene addestrato o aggiornato, può insegnargli comportamenti nascosti.

🧪 In pratica
Cosa cerca l'attaccanteInserire nei dati di addestramento esempi malevoli.
Come si trovaContribuire dati avvelenati alle fonti usate per addestrare o fare fine-tuning.
Cosa ottieneIl modello impara risposte pilotate o una "porta sul retro" attivabile con una parola chiave.
Quanto è graveAlta.
Come ci si difendeControllare la provenienza dei dati, validarli, trattare i dati di terzi come non fidati.
📖 Le parole in breve
Fine-tuning
un addestramento aggiuntivo su dati specifici per adattare il modello.
Backdoor
un comportamento nascosto che si attiva solo con un certo input.

Come funziona

I dati di addestramento spesso vengono da fonti pubbliche o esterne. Inserendovi contenuti malevoli, un attaccante può far sì che il modello risponda in modo pilotato, a volte solo in presenza di una parola "grilletto".

🛡 Come difendersi

La difesa è sulla qualità e la provenienza dei dati:

  • Provenienza verificata dei dataset (origine, integrità).
  • Pulizia e validazione dei dati prima dell'addestramento.
  • Trattare i dati di terzi come non fidati.
  • Testare il modello prima del rilascio, cercando comportamenti anomali.
Livio Bollini
Walter Livio Bollini

Matematico & Informatico · Intelligenza Artificiale · Sviluppo Web

Articoli correlati