promptfoo serve a testare i prompt come si testa il codice: definisci dei casi, dei controlli attesi, e verifichi a ogni modifica.
A cosa serve
- Confrontare prompt e modelli diversi sugli stessi casi.
- Controllare che il modello non ceda a prompt injection e non riveli dati.
- Inserire i test nella pipeline, così ogni modifica viene verificata in automatico.
Come si usa
# definisci i casi in un file e lancia\nnpx promptfoo eval