C'è un rovescio della medaglia: il modello che usi per difenderti può a sua volta essere attaccato. Chi vuole passare inosservato impara a ingannarlo.
📖 Le parole in breve
- Adversarial ML
- le tecniche per ingannare o corrompere un modello di machine learning.
- Evasione
- modificare un input (malware, email) perché il modello non lo riconosca.
- Avvelenamento
- corrompere i dati di addestramento per far sbagliare il modello.
Evasione
L'attaccante cambia piccoli dettagli del suo malware o della sua email di phishing finché il modello lo classifica come "pulito", pur restando dannoso.
Avvelenamento
Se l'attaccante riesce a inserire dati nei tuoi set di addestramento, può insegnare al modello a ignorare certi attacchi.
Come ci si difende
- Addestrare anche con esempi avversari per rendere il modello più robusto.
- Controllare la provenienza dei dati di addestramento.
- Riaddestrare e monitorare: un calo improvviso di segnalazioni può indicare un'evasione in corso.
- Non affidarsi al solo modello: tenerlo come uno strato tra gli altri.