PyRIT (di Microsoft) e Giskard automatizzano i test di sicurezza e robustezza di un'applicazione basata su LLM.
PyRIT
Un framework per il red teaming automatizzato: genera e invia attacchi al tuo sistema AI e misura come risponde, in modo ripetibile.
Giskard
Analizza l'app e genera test che scoprono problemi di sicurezza e qualità: prompt injection, fughe di dati, risposte distorte.
Entrambi sono librerie Python, da inserire nel processo di sviluppo per controllare la sicurezza prima del rilascio.