In questa pagina
Una risposta su un ordine restituito sembra pronta da inviare: corretta sul piano grammaticale, cordiale, breve. In questo caso illustrativo, una valutazione automatica le dà il massimo. L’assistente però dice anche al cliente che il rimborso è stato emesso, senza che nessuno abbia controllato il sistema dei pagamenti.
L’errore non è una frase debole. È una definizione debole di buono.
In una dimostrazione registrata sulla valutazione, un team costruisce punteggi per un agente che scrive documentazione software. Il momento interessante arriva quando chi conosce il lavoro descrive la qualità e uno strumento trasforma quella descrizione in criteri. In seguito, un punteggio basso solleva il dubbio giusto: va corretto l’agente o va corretta la valutazione?
La rubrica è una teoria sul compito. Mettila alla prova.
Parti dall’errore che invalida il risultato
Spesso i team iniziano da dimensioni facili da valutare: chiarezza, tono, struttura, completezza. Sono utili. Raramente bastano.
Per la risposta illustrativa sul rimborso, «non affermare mai che il rimborso è stato emesso senza una ricevuta del pagamento» conta più della qualità della prosa. In una sincronizzazione, «non mappare l’email di fatturazione sull’email del titolare dell’account» conta più di una spiegazione elegante della mappatura.
Chiedi all’esperto del settore tre tipi di casi: uno chiaramente buono, uno chiaramente sbagliato e uno su cui persone competenti potrebbero non essere d’accordo. Conserva i record di origine e il motivo di ogni giudizio. Se un caso dipende da una regola modificabile, registra la versione della regola insieme all’etichetta.
Il primo giro può essere piccolo. Non può essere vago.
- Responsabile del compito
casi buoni, cattivi e controversi
- Controlli esatti identità · permesso · destinazione
il codice verifica i fatti
- Rubrica semantica
valuta solo ciò che richiede interpretazione
- Analisi dei disaccordi
corregge etichette e criteri
| Controllo | Responsabile più adatto | Perché |
|---|---|---|
| Esiste il permesso richiesto | Codice e record autorevoli | È un fatto esatto e importante |
| L’ID nella destinazione corrisponde all’identità di origine | Codice e record di prova | Un modello non dovrebbe indovinare un identificatore |
| La risposta affronta la domanda del cliente | Rubrica controllata da persone, eventualmente giudice automatico | Il significato richiede interpretazione |
| Il tono è adatto alla situazione | Rubrica controllata da persone, eventualmente giudice automatico | Esistono più forme accettabili |
La nostra guida all’AI nei flussi di lavoro esistenti distingue compiti stretti del modello, regole fisse e revisione umana quando c’è rischio. Dopo la scelta del modello, il codice dovrebbe copiare i valori originali e verificare i vincoli. Il livello di confidenza del modello non diventa un permesso.
Il punteggio eredita i punti ciechi della rubrica
L’obiezione è giusta: «Una persona non può rivedere ogni esecuzione dell’agente. Ci serve un giudice che funzioni su larga scala». Sì. La domanda è che cosa stia moltiplicando.
Se la rubrica premia una risposta rifinita ma non controlla mai se l’ordine è stato davvero rimborsato, l’automazione moltiplica l’omissione. Un numero con due decimali sembra preciso. Può comunque misurare la cosa sbagliata.
La documentazione di Google Cloud sulla valutazione del giudice descrive una verifica pratica: prepara casi con valutazioni umane, esegui la metrica basata sul modello e confronta i punteggi. Non significa che il parere di una persona sia infallibile. Significa che il modello ha bisogno di un criterio esterno prima che il suo punteggio abbia peso.
Esamina i disaccordi, non soltanto la concordanza media. Se il giudice approva una risposta rifiutata da chi dirige l’assistenza, chiediti quale criterio manca. Se due esperti non concordano, conserva entrambe le etichette e trova la regola interpretata in modo diverso. Non appiattire la disputa facendo una media silenziosa.
Il campione conta quanto la formulazione di un criterio. Una raccolta di successi ordinari può far apparire affidabile un giudice lasciando da parte i casi difficili. Includi record incompleti, istruzioni in conflitto e casi in cui la risposta giusta è fermarsi e chiedere. Tieni separati alcuni casi su cui gli autori della rubrica non hanno lavorato, perché un miglioramento sugli esempi familiari deve reggere anche altrove. Quando cambia la regola aziendale, aggiorna etichette e risultati attesi: un insieme di prove congelato può premiare la politica di ieri.
Tieni il risultato legato alla valutazione
Una rubrica per un agente di sincronizzazione deve seguire l’esito per il cliente. È stato modificato il contatto giusto? È stato rispettato il consenso? Si può rielaborare un record fallito senza ripetere un’azione dalle conseguenze rilevanti?
La guida ai connettori Brevo spiega perché una chiamata API riuscita può convivere con un attributo mancante. Se la valutazione verifica solo la chiamata, perde il risultato. Se verifica soltanto la destinazione, può non vedere un percorso vietato che per caso ha prodotto il valore giusto. Quando il percorso comporta rischi, contano entrambi.
Parti da un compito preciso e da pochi modi in cui può fallire. Fai etichettare i casi alla persona responsabile. Affida al codice i fatti esatti e usa un giudice automatico solo dove linguaggio o giudizio lo richiedono davvero. Esegui gli stessi casi dopo una modifica del prompt, del modello o dello strumento. Registra ciò che gli errori successivi rivelano sulla rubrica.
Il costo è il tempo degli esperti all’inizio. Il vantaggio è che ogni punteggio successivo ha un significato difendibile.
Una dashboard può mostrare un punteggio. Solo la rubrica dice cosa hai contato.
Domande frequenti
Chi dovrebbe definire i criteri di valutazione di un agente AI?
Le persone che conoscono il compito e le sue conseguenze definiscono i risultati accettabili e gli errori che li invalidano. Chi sviluppa trasforma questi giudizi in controlli ripetibili e verifica se un giudice automatico concorda con le valutazioni umane.
Un punteggio alto del giudice dimostra che l’agente funziona?
No. Il punteggio misura l’aderenza alla rubrica nei casi provati. Una rubrica debole, esempi poco rappresentativi o un giudice mal calibrato possono dare voti alti a risultati dannosi.
Cosa dovrebbe controllare il codice invece del giudice automatico?
Permessi esatti, identificatori dei record, chiamate agli strumenti richieste e stato della destinazione vanno verificati con codice quando possibile. Un giudice automatico serve per qualità semantiche che regole esatte non risolvono.