Quale strumento scegliere

Per testare i prompt non serve niente di speciale: bastano l'assistente che usi e un posto dove annotare casi e risultati (un foglio, una nota). Se fai prompt per un lavoro ripetuto — descrizioni, risposte ai clienti, riassunti — l'investimento di mezz'ora in un metodo di prova ti ripaga ogni giorno. Se è un prompt usa-e-getta, testarlo a fondo non vale la pena: lo aggiusti al volo e via. Il metodo serve ai prompt che riuserai.

Come si fa

Il problema di migliorare i prompt a occhio: cambi qualcosa, l'esempio davanti a te va meglio, concludi che il prompt è migliore. Ma magari l'hai peggiorato su tre casi che non hai provato. Senza casi di prova fissi, non stai migliorando, stai indovinando.

  1. Raccogli cinque o sei casi reali rappresentativi, compresi quelli difficili e i casi limite.
  2. Per ognuno, scrivi cosa sarebbe una buona risposta: il tuo metro di giudizio.
  3. Prova il prompt attuale su tutti i casi e annota dove fallisce.
  4. Cambia una sola cosa nel prompt, riprova sugli stessi casi, confronta.
  5. Tieni la versione che va meglio sull'insieme, non quella che vince su un caso solo. Ripeti finché regge su tutti.

La sintassi operativa per farti aiutare dall'AI nel confronto:

Ti do un compito, due versioni del prompt e tre casi di prova con la risposta attesa. Esegui ogni versione del prompt su ogni caso, poi dimmi quale versione si avvicina di più alle risposte attese e su quali casi ciascuna fallisce.

Compito: [...]
Prompt A: [...]
Prompt B: [...]
Casi di prova con risposta attesa:
1. [input] -> [risposta giusta]
2. [input] -> [risposta giusta]
3. [input] -> [risposta giusta]

Dopo il confronto, cambia ancora una cosa sola sulla versione vincente e riprova. La regola del cambiamento singolo è ciò che ti dice quale modifica ha funzionato; se ne cambi tre insieme, non saprai mai quale ha fatto la differenza.

Esempio concreto

Valentina scrive un prompt per generare risposte ai messaggi dei clienti. La prima versione andava bene sul reclamo facile che aveva in mente, ma quando l'ha usata davvero inciampava sui casi spinosi. Costruisce sei casi di prova: due facili, due difficili, due limite (un cliente arrabbiato, una richiesta fuori catalogo). Prova la versione attuale: passa quattro su sei. Cambia una riga, riprova: cinque su sei. Cambia ancora: sei su sei. Ora sa che il prompt regge anche sui casi che prima la facevano sfigurare con i clienti veri.

Quando NON funziona (e come rimediare)

Se ogni modifica sistema un caso e ne rompe un altro

Stai oscillando perché i casi di prova tirano in direzioni opposte e il prompt prova ad accontentarli tutti. Verifica se i casi sono compatibili: a volte due richieste sono davvero in conflitto e devi decidere quale priorità. Altre volte serve aggiungere una regola che distingue i casi invece di una che li tratta uguali.

Se non sai dire quale risposta sia "giusta"

Senza un metro, non puoi testare. Prima di toccare il prompt, scrivi per ogni caso che aspetto deve avere una buona risposta, anche solo in due righe. Definire il bersaglio è metà del lavoro: spesso il prompt non migliorava perché non sapevi nemmeno tu cosa volevi.

Se i miglioramenti sono minimi e non valgono la fatica

Forse il prompt è già buono abbastanza per lo scopo. Il test sistematico serve per i prompt che usi tanto e dove l'errore costa; per gli altri, "funziona" basta. Riconoscere quando fermarsi fa parte del metodo: l'ottimizzazione infinita di un prompt poco usato è tempo sprecato.

Un consiglio da chi lo usa davvero

I casi che insegnano di più sono quelli difficili, non quelli facili. È comodo provare il prompt sull'esempio che funziona sempre, ma è inutile: lì passa qualunque versione. Riempi la tua raccolta di prova con i casi spinosi, quelli dove la prima versione del prompt sfigurava. Un prompt che regge sui casi difficili regge anche sui facili; il contrario non è vero.

Domande frequenti

Quanti casi di prova servono?

Pochi e ben scelti battono tanti e simili. Cinque o sei casi che coprono il facile, il difficile e i limiti dicono di più di venti varianti dello stesso scenario. La qualità della copertura conta più del numero: ogni caso deve mettere alla prova qualcosa di diverso.

Posso usare l'AI stessa per giudicare quale prompt è migliore?

Sì per il confronto grezzo (quale versione si avvicina di più alle risposte attese), ma il metro di "giusto" resta tuo, perché solo tu conosci lo scopo reale e il pubblico. Usa l'AI per eseguire e confrontare velocemente; tieni per te il verdetto finale sui casi che contano.

Non è più veloce aggiustare il prompt al volo quando sbaglia?

Per i prompt usa-e-getta sì. Per quelli che riusi, no, ed è il malinteso che fa perdere più tempo: aggiustando al volo sistemi il sintomo del momento e rompi in silenzio gli altri casi, fino a un prompt che funziona "a volte" senza che tu sappia quando. I casi di prova trasformano il "mi pare migliore" in un fatto verificabile.