Odgovor je pravilen. Pot do njega je napačna.

Pravilna končna vrednost lahko skrije nedovoljeno pot. Preverite, kaj je agent prebral in spremenil, ne le, kaj je vrnil.

agent evaluation process

Kakšen je kratek odgovor?

Pravilen rezultat je nepopoln dokaz. Pri delu agentov preverjajte uporabljene vire, izvedena dejanja in opravljene preglede, še posebej pri podatkih strank in dovoljenjih. Preverjanje postopka lahko avtomatizirate, kadar je pravilo izrecno; človek naj obravnava le pomembno dvoumnost. Ta članek govori o poti do rezultata, ne o zvestobi simuliranega ciljnega sistema.

Izvedite več
Na tej strani

Število 420 je lahko pravilno iz dveh nezdružljivih razlogov. V tem ponazoritvenem primeru dva agenta vrneta isti segment stikov in oba navedeta 420 strank. Prvi je uporabil odobreno občinstvo trgovine in preveril privolitev. Drugi je prekopiral zastarel izvoz iz drugega delovnega prostora, pa je po naključju dobil isto število.

Če ocenimo samo rezultat, oba dobita najvišjo oceno. Takšna ocena je napačna.

Razprava o preverjanju v okoljih agentov razlikuje med končnim rezultatom in potjo do njega. V primeru preglednice je prava številka le del naloge. Pomembne so tudi formule, sklici na vire in zahtevano oblikovanje. Pri integracijah je razlika še ostrejša: izvor rezultata lahko določa, ali je bila njegova pridobitev sploh dovoljena.

Končna vrednost ne dokazuje izvora

Predpostavimo, da agent predlaga preslikavo polj iz objekta stranke trgovine v sistem za trženje. email preslika v e-pošto, firstName v ime, polje privolitve pa v trženjski status ciljnega sistema. Predogled je videti verjeten.

Kaj je prebral pred temi odločitvami? Trenutno shemo, star vzorec ali dokument iz drugega računa? Je preveril pomen polja privolitve ali ga je sklepal iz oznake? Je vrednost null razumel kot „ni naročen“ ali kot „neznano“?

Vsak odgovor spremeni zanesljivost iste končne preslikave. Preslikava je rezultat. Sled dokazov je utemeljitev, zakaj jo uporabiti.

Sled mora pokazati, katera različica posameznega vira je bila na voljo ob odločitvi. Poznejši posnetek zaslona popravljene sheme ne pojasni včeraj predlagane preslikave. Z odločitvijo shranite ustrezno različico sheme ali dokumenta, nato ohranite povezavo med to različico in odobrenim pravilom. Cilj je rekonstruirati odločitev, ne arhivirati vsake strani, ki jo je agent videl.

Zato je sled klicev orodij včasih pomembnejša od samozavestne razlage. Zabeleži konkretne klice in identifikatorje, ki jih je agent uporabil. Pisni povzetek je lahko koristen, vendar ne more dokazati, da je bil vir dejansko uporabljen. Pri integraciji naj dokaz kaže na izvorni objekt, tehnično specifikacijo ciljnega sistema in konkretno pravilo za premik podatkov.

Vodnik za povezovanje poslovnih orodij začne z lastništvom polj, saj imeni na dveh straneh redko sami po sebi določita pristojnost. Preverjanje postopka vpraša, ali je agent pred pripravo zapisa res upošteval odločitev o lastništvu.

Dober preizkusni primer ima dva dela. Najprej navedite, kaj mora biti v ciljnem sistemu. Nato navedite, kateri dokazi in dejanja so dovoljeni na poti do tega stanja.

Pri ponazoritvenem segmentu je pričakovan rezultat morda 420 stikov. Dovoljena pot lahko poleg tega zahteva poizvedbo znotraj določene trgovine, trenutno preslikavo privolitve in predogled, ki navede izključene zapise. Prepove pa lahko branje iz drugega delovnega prostora in neposredno pošiljanje kampanje.

Preverjevalnik tako dobi konkretna pravila. Mehansko lahko zavrne identifikator drugega delovnega prostora. Preveri lahko, ali je bil pred aktivacijo opravljen klic za predogled. Potrdi lahko, da se vir podatkov v rezultatu ujema z virom v sledi. To so pravila, ne mnenja modela.

Preostalo vprašanje morda zahteva presojo: ali je izbrano polje privolitve res pomenilo dovoljenje za to kampanjo? Takrat naj oseba ali ozko usmerjen model za odločanje pregleda definicijo polja in predvideno uporabo. Pravilo in presoja opravljata različni nalogi.

Tako preizkus vrne koristno sporočilo o napaki. „Napačen odgovor“ ekipo pusti v negotovosti. „Pravilno število, vendar je občinstvo prišlo iz drugega delovnega prostora“ določi kršitev podatkovne meje. „Pravilna preslikava, vendar definicija privolitve ni bila na voljo“ določi manjkajoč dokaz. Preverjevalnik naj navede neuspešen pogoj in zapis sledi, ki ga je povzročil, da popravek spremeni pot in ne le polepša končnega besedila.

Kaj dokazuje sled?

  1. Odobren vir in zahtevani pregledi

    Sprejmite pot

    Rezultat ima dokaze, ki jih zahteva naloga.

  2. Vir iz drugega delovnega prostora

    Zavrnite pot

    Ujemajoče se število ne dovoli takega branja.

  3. Zahtevani dokaz manjka

    Zadržite za pregled

    Sam rezultat ne pokaže, kako je nastal.

Konceptualni pregled poti. Isto končno število lahko nastane po različnih poteh.

Sled naj ne postane obred

Pošten ugovor je: „Agent lahko opravi zahtevane klice in jih potem prezre.“ Res je. Seznam klicev dokazuje, da se je klic zgodil. Ne dokazuje, da je vrnjeni dokaz vplival na odločitev.

Eden od načinov preverjanja je spreminjanje dokazov. Predstavite dva sicer podobna zapisa z različnima stanjema privolitve. Če agent v obeh primerih poda isto preslikavo in isto razlago, je njegovo navidezno preverjanje vira morda zgolj predstava. Druga možnost je, da odstranite zahtevan vir in od agenta zahtevate ustavitev. Agent, ki vrzel zapolni iz spomina, ni sledil dovoljeni poti.

Cena je več dela pri pripravi preizkusnega primera. Nekdo mora določiti dovoljene vire, pričakovane razlike in prepovedane bližnjice. Splošna ocena „Ali je odgovor videti dober?“ je cenejša za pripravo. Nauči pa manj.

Obratni ETL spremeni preslikavo v ponavljajoče se premikanje podatkov. Ko je preslikava odobrena, jo lahko običajna koda uporablja, ne da bi agent pri vsaki vrstici znova pregledoval dokaze. Pregled poti sodi k odločitvam, ki pravilo ustvarijo ali spremenijo, in ponovno k trenutku, ko spremenjena tehnična specifikacija postavi pravilo pod vprašaj.

Pravilen odgovor, pridobljen prek napačnega računa, ni skoraj pravilen poskus. To je druga naloga.

Pogosto Zastavljena Vprašanja

Zakaj preverjati pot, če je končni odgovor pravilen?

Agent je morda uporabil nedovoljene podatke, izpustil obvezen pregled ali po naključju prišel do prave vrednosti. Sam rezultat ne dokazuje, da je bila pot varna ali ponovljiva.

Ali mora človek pregledati vsako vmesno dejanje?

Ne. Beležite klice orodij in z determinističnimi pravili preprečite prepovedana dejanja. Preglejte korake s pomembnimi posledicami ali dvoumnostjo ter preizkusite reprezentativne sledi.

Kako lahko ekipa to preveri?

Pričakovanim končnim stanjem dodajte dovoljene vire dokazov in zahtevane preglede. Ponovite primere, kjer bi bližnjica dala isti odgovor, in preverite, ali jo preverjevalnik zavrne.

Zaprosite za zgodnji dostop

Vnesite svoje ime in službeni e-poštni naslov. Poslali vam bomo povezavo za potrditev zahteve za dostop do Taja.

Pridobite Brevo