Se l'attaccante riesce a inquinare i dati con cui il modello viene addestrato o aggiornato, può insegnargli comportamenti nascosti.
| Cosa cerca l'attaccante | Inserire nei dati di addestramento esempi malevoli. |
|---|---|
| Come si trova | Contribuire dati avvelenati alle fonti usate per addestrare o fare fine-tuning. |
| Cosa ottiene | Il modello impara risposte pilotate o una "porta sul retro" attivabile con una parola chiave. |
| Quanto è grave | Alta. |
| Come ci si difende | Controllare la provenienza dei dati, validarli, trattare i dati di terzi come non fidati. |
📖 Le parole in breve
- Fine-tuning
- un addestramento aggiuntivo su dati specifici per adattare il modello.
- Backdoor
- un comportamento nascosto che si attiva solo con un certo input.
Come funziona
I dati di addestramento spesso vengono da fonti pubbliche o esterne. Inserendovi contenuti malevoli, un attaccante può far sì che il modello risponda in modo pilotato, a volte solo in presenza di una parola "grilletto".
🛡 Come difendersi
La difesa è sulla qualità e la provenienza dei dati:
- Provenienza verificata dei dataset (origine, integrità).
- Pulizia e validazione dei dati prima dell'addestramento.
- Trattare i dati di terzi come non fidati.
- Testare il modello prima del rilascio, cercando comportamenti anomali.