Proč i sto téměř dokonalých kroků může selhat

Krok spolehlivý z 99 % zopakovaný stokrát uspěje v jednoduchém modelu jen v 36,6 % případů. Co to znamená pro dlouhé postupy agentů?

agent workflow reliability

Jaká je stručná odpověď?

Akce spolehlivá z 99 % dokončí stokrát opakovaný řetězec jen asi v 36,6 % případů, jsou-li selhání nezávislá. Číslo je ilustrativní, ale poučení pro návrh je skutečné: zkraťte řetězec rozhodnutí vyžadujících model, určete ověřitelný konečný stav a měřte dokončené transakce místo úspěšných mezikroků. I kratší řetězec potřebuje kontrolu na hranici, kde se práce stává skutečností.

Zjistit více
Na této stránce

Představte si ilustrativní úlohu v prohlížeči se sto kroky. Předpokládejme, že každý krok uspěje v 99 % případů nezávisle na ostatních. Pravděpodobnost, že vyjdou všechny kroky, je 0.99^100, tedy asi 36,6 %.

Devadesát devět procent zní výborně. Třicet šest procent už ne.

Zdrojová diskuse o transakční práci v prohlížeči tímto výpočtem ukazuje úzký bod: zákazník získá hodnotu při dokončení úlohy, zatímco náklad a riziko selhání narůstají v každém kroku. Jde o aritmetiku založenou na předpokladu, ne o zveřejněnou úspěšnost konkrétního prohlížečového agenta nebo synchronizace Tajo. Skutečné chyby spolu mohou souviset. Jedno vypršelé přihlášení může zmařit několik pozdějších akcí současně.

Užitečná otázka proto nezní „Jak přesné bylo poslední kliknutí modelu?“, ale „Vznikl stav, který uživatel požadoval?“.

Důležitou jednotkou je transakce

Představte si agenta, který otevře pojišťovací portál, najde dokument, stáhne jej a potvrdí, že patří ke správnému účtu. Může správně projít 99 obrazovek a na sté stáhnout nesprávný soubor. Výpis úspěšných kliknutí výsledek nespraví.

Stejný rozdíl platí pro integraci. Agent může objevit API, navrhnout mapování polí a uložit koncept. Nic z toho ještě neznamená, že kontakt v cílovém systému má zamýšlený stav souhlasu. Práce je dokončena až po provedení schválené operace a ověření příslušné výsledné podmínky.

Jde o rozdíl mezi činností a dokončením. Činnost se počítá snadno. Dokončení vyžaduje definici.

U staženého souboru to může být artefakt, jehož identifikátor účtu odpovídá požadavku. U synchronizace kontaktu to může být cílový záznam se správným identifikátorem, poli a povoleným stavem komunikace. Kontrola musí prozkoumat věc, na které uživateli záleželo. Zelená odpověď předchozího volání dokazuje, že volání odpovědělo. Nemusí dokazovat, že se cíl změnil podle záměru.

Průvodce propojením firemních nástrojů Tajo začíná pracovním postupem a zdrojem pravdy pro každý datový objekt. Tato rozhodnutí dávají závěrečné kontrole význam. Pokud si dva systémy nárokují vlastnictví stejného pole, i technicky dokonalý zápis může vést ke špatnému dlouhodobému stavu.

Cena dalšího rozhodnutí

Za stejného hypotetického předpokladu 99 % dá deset nezávislých rozhodnutí úspěšnost celého řetězce asi 90,4 %. Padesát rozhodnutí dá asi 60,5 %. Sto dá asi 36,6 %.

Úspěšnost celého řetězce (%)

Vypočtená pravděpodobnost úspěchu všech kroků při předpokladu nezávislých kroků s úspěšností 99 % a bez opakování. Matematický příklad, nikoli naměřený výkon agenta.Vypočtená pravděpodobnost úspěchu všech kroků při předpokladu nezávislých kroků s úspěšností 99 % a bez opakování. Matematický příklad, nikoli naměřený výkon agenta.Vypočtená pravděpodobnost úspěchu všech kroků při předpokladu nezávislých kroků s úspěšností 99 % a bez opakování. Matematický příklad, nikoli naměřený výkon agenta.Vypočtená pravděpodobnost úspěchu všech kroků při předpokladu nezávislých kroků s úspěšností 99 % a bez opakování. Matematický příklad, nikoli naměřený výkon agenta.

Počet nezávislých kroků

  • Předpoklad: 99 % úspěch každého kroku
Přečtěte si vypočtené hodnoty
Vypočtená pravděpodobnost úspěchu všech kroků při předpokladu nezávislých kroků s úspěšností 99 % a bez opakování. Matematický příklad, nikoli naměřený výkon agenta.
KrokyÚspěch celého řetězce (%)
0100,0
1090,4
2577,8
5060,5
7547,1
10036,6
Ilustrativní řetězec: 99 % na krok klesne po 100 nezávislých krocích na 36,6 %.

Křivka rychle klesá, protože násobení nebere ohled na dobrý průměr. Každé další rozhodnutí si musí své místo zasloužit.

To neznamená, že se všechna volání API mají sloučit do jedné obří operace. Některá jsou deterministická: načtení stránky se známým kurzorem, porovnání identifikátoru nebo zápis pole podle schváleného mapování. Model o nich nemusí rozhodovat znovu pro každý záznam. Jiná volání zahrnují skutečnou nejednoznačnost: nové pole dodavatele, změněnou chybovou zprávu nebo požadavek s nejasným vlastníkem. Ta mohou vyžadovat úsudek.

Praktický přístup je nechat úsudek navrhnout nebo opravit pravidlo a běžný kód aplikovat stabilní pravidlo. Reverzní ETL je příkladem opakovaného přesunu dat: rutinní operaci nad každým řádkem má vykonat pipeline, ne konverzace. Agent stále může pomoci určit, co má pipeline dělat.

To je hranice, ne heslo. Pokud dodavatel změní význam pole, deterministické pravidlo může stále dokola dokonale opakovat špatnou akci. Systém musí poznat změnu předpokladů a vrátit případ k posouzení.

Proč jedno velké volání není řešení

Rozumná námitka zní: „Když dlouhé řetězce selhávají, skryjme celou úlohu za jedno volání nástroje.“ Pomáhá to, pokud je nástroj jasně vymezenou transakcí s ověřitelným výsledkem. Selže to, když pouze schová dlouhý nejistý proces.

Předpokládejme, že syncCustomer() vrátí success: true po odeslání aktualizace. Pokud cíl zpracovává aktualizace později, volání ještě nemůže dokázat konečný stav kontaktu. Nástroj snížil počet viditelných kroků. Nesnížil nejistotu.

Lepší rozhraní rozlišuje podstatné stavy: přijato, použito, ověřeno nebo selhalo. Za každým slovem má stát důkaz. Přijatý zápis může stačit pro nezávažný náhled. Publikum kampaně nebo změna souhlasu si zaslouží kontrolu cíle, než ji někdo označí za dokončenou.

V tomto navrženém pohledu Tajo jsou přijatý požadavek a provedená změna odděleny od ověřeného stavu v cílové službě. Poslední kontrola čeká. Další krok má jasný účel: zjistit, co cíl uložil. Další úspěšné volání nástroje by původní otázku nezodpovědělo.

TajoIlustrace konceptu · Ukázková data

Dokončený zápis stále potřebuje důkaz

Skončila synchronizace zákazníků?

Aplikace Tajo MCPAktivita

Zápis byl proveden. Ověření čeká.

Stav v cílové službě zatím nebyl zkontrolován.

Aktivita synchronizace

  1. Požadavek přijat
  2. Změna provedena
  3. Kontrola cílové služby čeká

Ukázkové spuštění · 14:32 UTC

Co víme

Odpověď poskytovatele
Přijato
Výsledek zápisu
Provedeno
Zpětné načtení z cíle
Čeká
Zobrazit původní událost

Úspěšné volání nedokazuje konečný stav.

Navržené uspořádání vychází z přehledu aktivity Tajo. Ilustrace přidává stav ověření; netvrdí, že zpětné načítání z cíle už bylo implementováno.

Přijetí a provedení jsou mezistavy. U této ilustrované úlohy zbývá ověřit cílovou službu.

To mění i měření. Počet pokusů zaznamenejte, pokud pomáhá určit náklady. Průběžné chyby zaznamenejte, pokud ukazují na vadný krok. Postup ale posuzujte podle ověřených dokončených transakcí a vedle čísla uveďte způsob ověření. Tým hlásící „99 % volání uspělo“ stále neodpověděl, zda zákazníci dostali hotovou práci.

Vysvětlení serverů MCP ukazuje, jak nástroje umožňují asistentovi zavolat jiný systém. Přístup k nástroji je jen začátek. Smlouvou je stav, který po práci zůstane.

Sto dobrých kliknutí může zanechat prázdné ruce. Počítejte výsledek.

Často Kladené Otázky

Proč dlouhý postup selhává, když jsou jednotlivé kroky obvykle správné?

Pokud každý krok uspěje nezávisle s pravděpodobností p, celý řetězec o n krocích uspěje s pravděpodobností p na n-tou. Při předpokládaných 99 % na krok dokončí sto kroků asi 36,6 % případů. Skutečná selhání mohou být závislá, takže výpočet je ilustrace, nikoli naměřená úspěšnost agenta.

Zaručí méně volání nástrojů vyšší spolehlivost?

Ne. Méně volání pomůže jen tehdy, když sloučená operace stále nabízí potřebné kontroly a body obnovení. Jediné neprůhledné volání může skrýt nezdařený zápis stejně jako dlouhý řetězec může ztratit návaznost.

Co má tým u postupu agenta měřit?

Měřte ověřené dokončení transakce požadované uživatelem, ne jen úspěšná volání modelu. Určete artefakt nebo cílový stav, který dokazuje dokončení práce, a sledujte, jak často vznikne po celém postupu.

Požádejte o přednostní přístup

Zadejte své jméno a pracovní e-mailovou adresu. Pošleme vám odkaz pro potvrzení žádosti o přístup k Tajo.

Získat Brevo