Kdaj naj začasna rešitev za AI izgine?

Med ponazoritvenim pomočnikom za integracijo in njegovo preslikavo polj stojijo tri vprašanja modelu. Prvo razvrsti zahtevo. Drugo izbere orodje. Tretje isto izbiro prepiše v daljšo obliko. Zaporedje je nastalo, ko je model pogosto zamenjal dve operaciji. Po nadgradnji modela dodatna pot morda povzroča zamudo, napak pa ne preprečuje več.

To lahko ugotovite le, če iste naloge poženete po obeh poteh. To, da je postopek znan, ni dokaz njegove vrednosti.

Razprava o izdelkih, ki se spreminjajo z zmogljivostjo modelov, zagovarja, da se izdelek izboljša, ko se izboljša njegov model. Opiše tudi težavnost odstranjevanja znanih vmesnikov. Nauka ne gre razumeti kot poziv k odstranitvi vsake opore. Preverite, ali si opora še zasluži svoje mesto.

Ločite pomoč od pooblastila

Stara pomoč je lahko poziv, ki ponavlja opise orodij, usmerjevalnik, ki vedno izbere isto operacijo, ali tog vmesnik za nalogo, ki jo model zdaj bolje razloži po potrebi. Njena naloga je pomagati modelu ali uporabniku dokončati delo. Če tega ne počne več, je strošek vzdrževanja odveč.

Preverjanje dovoljenj je drugačno. Odloča, ali je dejanje dovoljeno. Model, ki odlično izbira orodja, si še vedno ne more podeliti dostopa do podatkov drugega trgovca. Model, ki napiše brezhibno posodobitev stika, pred živim zapisom še vedno potrebuje pravilno odobritev.

Razlaga MCP opisuje dostop do orodij in varnostno ceno njegovega odpiranja. Zmogljivost modela lahko spremeni način, kako pomočnik najde pravo orodje. Ne odpravi potrebe po omejitvi njegovega obsega in preverjanju vhodnih podatkov.

Ta razlika prepreči pogosto napako pri poenostavljanju. Ekipe vidijo stari potek kot eno plast in ga bodisi v celoti ohranijo bodisi v celoti odstranijo. Razdelite ga na vprašanja: kateri deli pomagajo modelu razmišljati, kateri pomagajo uporabniku razumeti in kateri uveljavljajo pravilo zunaj modela? Le prva dva sta kandidata za odstranitev zaradi boljših zmogljivosti.

Poštena primerjava potrebuje iste vhodne naloge in ista dovoljena dejanja. Če preprostejša pot dobi novejšo shemo ali širša dovoljenja, dober rezultat ne pove veliko o odstranjeni plasti. Vključite primere napak, ki naj bi jih stara pomoč ujela, in preverite, ali jih nova pot ujame iz istega razloga. Sicer lahko nekaj uspešnih običajnih primerov izbriše spomin, zakaj je pomoč sploh obstajala.

Primerjajte dokončane naloge

Preizkus modela sam po sebi ni dovolj. Vprašanje izdelka je, ali uporabniki dejansko nalogo dokončajo z manj napakami, v krajšem času ali z jasnejšimi dokazi.

Sestavite majhen nabor scenarijev: običajno preslikavo stika, neznano polje v ciljnem sistemu, račun brez potrebnih dovoljenj in zahtevo po aktivaciji pred predogledom. Vsakega izvedite s pomožno plastjo in brez nje. Preverite nastale klice orodij, razlage in odločitve za ustavitev. Ob pravilnosti merite zamudo in strošek.

Če je preprostejša pot pri običajnih nalogah enako dobra, pri primeru z dovoljenjem pa slabša, ohranite varovalo. Če pomoč ničesar ne spremeni in doda dve sekundi, jo odstranite. Če pomaga le pri eni redki vrsti zahteve, jo omejite na to vrsto.

Pošten ugovor je: „Uporabniki so se starega vmesnika naučili; z odstranitvijo jim ustvarite novo delo.“ Res je. Znan način upravljanja lahko pomaga človeku tudi potem, ko ga model ne potrebuje več. Opazujte, ali ti uporabniki nalogo dokončajo in razumejo. Stari vmesnik lahko ostane zaradi ljudi, vendar razlog poimenujte in preizkusite.

Ločite strošek začasne rešitve od stroška njene spremembe. Usmerjevalnik lahko doda majhno zamudo, a ga je poceni ohraniti; krhek ročno napisan razčlenjevalnik lahko zahteva vzdrževanje vsakič, ko ponudnik doda polje. Preglednica lahko beleži zamudo, delež napak, breme vzdrževanja in razumevanje uporabnikov. Vrednosti izvirajo iz nalog samega izdelka, ne iz splošne trditve, da je novejši model pametnejši.

Kaj stara pomoč še varuje?

1. Uveljavlja dovoljenje ali obseg podatkov

   Ohranite nadzor

   Zmogljivost modela ne podeli pooblastila.

2. Pomaga le pri eni vrsti izjem

   Pomoč zožite

   Uporabite jo tam, kjer preizkusi nalog pokažejo vrednost.

3. Ne spremeni nobenega preizkušenega izida

   Pomoč odstranite

   Ne upravičuje več zamude in vzdrževanja.

Začasno rešitev odstranite premišljeno

Varna odstranitev ima izhodišče in pot nazaj. Zabeležite izid stare poti na istih scenarijih, novo pot vključite za omejeno skupino in spremljajte napake. Staro vedenje ohranite dovolj dolgo, da lahko diagnosticirate poslabšanje. To so običajni preizkusi izdelka, ne obljuba, da napredek modelov zastara vsako funkcijo.

Tajov vodnik za obratni ETL pokaže uporabno mejo: ponavljajoče se premikanje podatkov sodi v stabilen cevovod. Močnejši model lahko izboljša predlog ali razlago preslikave. Klic modela za vsak zapis pa zato še ne postane boljši način prenosa.

Cena takšne discipline je občasno ponovno preizkušanje. Dobiček je izdelek, ki včerajšnjih začasnih rešitev ne nosi večno.

Napredek modela naj odstrani odvečno delo, ne pravil.

Ob vsaki ohranjeni plasti zapišite kratek razlog. „Ta korak preprečuje nepooblaščene zapise“ ostane veljaven, tudi ko se kakovost modela izboljša. „Ta korak nadomešča modelovo zamenjevanje dveh orodij“ pa naj ob naslednji spremembi modela sproži nov preizkus. Kratek popis prihodnje poenostavljanje spremeni v ponovljivo odločitev, ne v razpravo o tem, ali se stara zasnova zdi znana.