Olcsón ellenőrizz mindent; csak néhány ügyet vizsgálj mélyebben

Vegyünk egy szemléltető, 10 000 kapcsolatfrissítést tartalmazó köteget. Minden rekordot elküldhetnénk egy modellnek, hogy újra megítélje a mezőit. Ezzel egyetlen leképezési döntésből 10 000 ismételt döntés lenne.

Kezdd olcsóbb kérdéssel: megfelel-e a rekord a jóváhagyott leképezés ismert feltételeinek? Kóddal ellenőrizd a mezők meglétét, az adattípusokat, a sémaverziót és a kifejezett hozzájárulási feltételeket. A hibás vagy kétértelmű rekordokat küldd szűkebb vizsgálatra.

Ez szemléltető terv, nem Tajo-teljesítményadat. Az érdekes szám nem az, hány rekordot enged át az első kör. Hanem az, hány fontos hibát enged át tévesen.

Az előadásban ismertetett speciális munkafolyamat széles, normális-vagy-rendellenes osztályozással indul, majd a megjelölt eseteket tovább elemzi. A terület kockázatai és bizonyítékai eltérnek a marketingadatokétól. A forrás a lépcsőzetes döntést mutatja be, nem az első algoritmus költségét vagy determinisztikus voltát. Integrációban az ismert feltételeket olcsó determinisztikus ellenőrzés fedheti le, mielőtt a bizonytalan eseteket gondosan megvizsgálnánk.

Az első kör döntse el az egyszerű eseteket

A jó első kör az elérhető adatokból kóddal megválaszolható kérdést tesz fel. „Megvan a forrásmező?” ilyen. „Megfelel az érték a célrendszer deklarált típusának?” szintén. „Ugyanaz a sémaverzió, amelyhez jóváhagyták a leképezést?” egy harmadik.

A szabály minden soron lefuthat anélkül, hogy egyenként új értelmezést találna ki. A válaszát is meg tudja magyarázni. Az elutasított sor jelezheti, hogy a célrendszer birthday mezője dátumot vár, de a forrás szabad szöveget adott. Ez hasznosabb, mint az „alacsony MI-bizonyosság”.

A Tajo Brevo-csatlakozóról szóló útmutatója elmagyarázza, miért fontosak a célrendszer attribútumdefiníciói. Egy csatlakozó elküldhet HTTP-kérést úgy, hogy a fogadó rendszer figyelmen kívül hagy egy nem deklarált attribútumot. A deklarált mezők előzetes ellenőrzése egy hibaosztályt már írás előtt elkap. Az utólagos visszaolvasás egy másikat. Egyiket sem szabad összekeverni a modell véleményével arról, hogy egy kapcsolat „jónak tűnik-e”.

Nem az a cél, hogy eltűnjön a megítélés, hanem hogy olyan kérdésre tartsuk fenn, amely valóban igényli.

1. Új szinkronizálási köteg

2. ELŐSZÖR

   Ismert szabályok ellenőrzése

   • Azonosító, mezőtípus és fiókhatár
3. AZTÁN

   Egyértelmű esetek lezárása

   • Egyszerű rekordok átengedése, ismert hibák visszatartása
4. CSAK HA KELL

   Nyitott esetek vizsgálata

   • A szabályokkal el nem dönthető bizonyítékok vizsgálata

5. Ellenőrzött eredmény vagy kifejezett visszatartás

A drága körbe a megfelelő esetek kerüljenek

Tegyük fel, hogy a szemléltető 10 000 rekordból 9800 átmegy az első ellenőrzésen. A többi 200 közelebbi vizsgálatot kap. Ez hatékonynak hangzik. A helyességről semmit sem mond, amíg valaki mintát nem ellenőriz a 9800-ból és meg nem nézi a 200 kimenetelét.

Az első kör kétféleképpen tévedhet. Megjelölhet egyszerű esetet, szükségtelen ellenőrzési munkát okozva. Súlyosabb, ha átenged egy esetet, amelyet meg kellett volna állítania. Hogy melyik hiba drágább, az a munkafolyamattól függ. Egy hiányzó választható címke és a marketingüzenethez szükséges hozzájárulás hiánya nem kaphat azonos küszöböt.

Jogos ellenvetés: „Ha a modell megérti az egyes rekordokat, miért bízzunk egy törékeny szabályban?” Mert az ismétlődő, szokványos rekordok nem lesznek helyesebbek attól, hogy újra megkérdezzük a modellt. A szabály gyengesége látható: ha a forrás vagy a cél szerződése változik, a feltételezései elavulhatnak. Ez ok a szerződés figyelésére és az elfogadott esetek mintavételére. Nem ok arra, hogy minden stabil ellenőrzést korlátlan megítéléssel váltsunk fel.

A továbbküldés is lehet szűkebb a teljes emberi felülvizsgálatnál. Ismert szolgáltatói hibához dokumentált javítás kellhet. Egy valóban új mezőjelentéshez ügynök javasolhat leképezést. A hozzájárulás kétértelműségét az illetékes személynek kell rendeznie. Az első kör minden esetet a legkisebb jogosultságú döntéshozóhoz irányítson, aki lezárhatja.

Az üzleti eszközök integrálásáról szóló útmutató az eszközválasztás előtt tárgyalja a mértékadó forrást és a kiváltó eseményt. Ezek a döntések határozzák meg, mely kivételek fontosak. Egy eltérés a később sehol nem használt mezőben várhat. A kampányközönséget meghatározó mező eltérése nem.

A kiszökő hibákat mérd, ne csak a megtakarítást

A lépcsőzetes rendszer szép grafikont adhat: sok esetet olcsón kezelt, keveset küldött tovább. Ez hiányos kép. Adj hozzá még egy mutatót: az első kör által átengedett esetek közül hány bukott el későbbi célrendszerbeli ellenőrzésen vagy független mintavételen?

A mérés a valódi feladathoz kapcsolódjon. Ha a kapcsolatok összhangban tartása a feladat, vizsgáld a célrendszerben lévő kapcsolat állapotát. Ha egy közönség fenntartása, nézd meg, kik kerültek be és kik maradtak ki. A hibaszám nevező és későbbi következmény nélkül könnyen ünnepelhető, de nehezen hihető.

Kis próbával indulhatsz. Ments el egy ellenőrzött, egyszerű és kivételes rekordokból álló készletet. Futtasd rajta az olcsó szabályt. Nézz meg minden elszalasztott kivételt. Ezután figyeld élő forgalomban döntési jog nélkül. Csak akkor engedd, hogy kihagyhasson mélyebb vizsgálatot, ha már érted a hibáit.

A fordított ETL-ről szóló útmutató az ilyen feladat mögötti ismétlődő adatmozgatást tárgyalja. A válogatás kérdése mellette áll: mely megfigyelések mutatják meg, hogy a stabil szabály már nem stabil?

Arra költsd a gondos vizsgálatot, amit a széles első kör nem tudhat.