A döntésből induljon ki, ne a rendelkezésre álló adatkészletből
Egy adatkészlet lehet tiszta, mégis alkalmatlan a tervezett felhasználásra. A felkészültség attól függ, mit befolyásol a modell, kit érint, mit jelent a hiba, milyen gyorsan változnak a körülmények, és mit tehet az ember alacsony bizonyosság esetén. Ezek a kérdések határozzák meg a lényeges tényeket és a szükséges bizonyíték mennyiségét.
Egyszerű üzemeltetési nyelven határozza meg a tervezett ajánlást vagy műveletet. Azonosítsa a felelőst, a felhasználót, az érintett alanyt, a döntés időzítését, az alternatívákat és a következményeket, majd vezesse vissza ezekhez a szükséges adatokat. Így egy vonzó adatkészlet nem hoz létre olyan felhasználást, amelyet a szervezet nem tud felelősen működtetni.
A közös jelentés az éles működés előfeltétele
A tanítási és az üzemi rendszerek ugyanazt a címkét eltérő fogalmakra használhatják. Az „ügyfél” jelenthet fiókot, jogi személyt, háztartást vagy aktív szerződést. A „lezárt ügy” lehet megoldott, adminisztratívan befejezett vagy félbehagyott eset. Ha a jelentés időszakonként, forrásonként vagy csapatonként eltér, a modell működése olyan okból változhat, amelyet az értékelés soha nem vizsgált.
A kritikus jellemzőkhöz és eredményekhez üzleti definíció, bevonási és kizárási szabály, időbeli kontextus és felelős adatgazda szükséges. A történeti változások legyenek láthatók. Nem minden mezőt kell dokumentálni; azt kell elérni, hogy a döntést érdemben befolyásoló jelentések elég stabilak legyenek a megkérdőjelezéshez és felügyelethez.
Az adatok eredetének az üzemi döntésig követhetőnek kell lennie
Az adatok eredetlánca akkor hasznos, ha megmagyarázza, honnan származik egy érték, mely átalakítások módosították, és milyen szabály vagy verzió alapján került a tanításba, értékelésbe és éles működésbe. Egy műszaki adatfolyam-ábra megmutathatja a mozgást, miközben kihagyja az adatot alakító üzleti kiválasztási és korrekciós döntéseket.
A származást a kockázattal arányos részletességgel rögzítse. A csapatnak képesnek kell lennie egy eredmény kivizsgálására, egy forrásváltozás hatásának felmérésére és a vonatkozó értékelés megismétlésére. Ha emberek vagy beszállítók gazdagítják vagy címkézik az adatot, e kontextusnak és minőség-ellenőrzésének is szerepelnie kell az eredetláncban.
A minőségi kontrollokat a következményekhez kell kötni
Az általános teljességi és pontossági mutatók gyenge felkészültségi tesztek. Egy ritkán hiányzó érték lényeges lehet, ha biztonsági vagy jogosultsági feltételt távolít el, míg egy gyakori hiba közömbös lehet a tervezett döntés szempontjából. A minőséget a felhasználáshoz viszonyítva határozza meg: az érvényes tartományok, időszerűség, reprezentativitás, konzisztencia, duplikáció és címkemegbízhatóság ott számít, ahol az eredményt befolyásolja.
Minden kritikus hibánál döntse el, hogy meg kell-e előzni, észlelni, javítani vagy utasítani, eszkalálni kell-e, illetve az ember számára láthatóvá kell-e tenni a bizonytalanságot. Rendeljen hozzá felelőst és beavatkozási küszöböt. E kontrolloknak az üzembe helyezés után is működniük kell, mert az éles források és viselkedések változnak.
Az értékelési adatoknak a működési feltételeket kell tükrözniük
Az értékelési készletnek tükröznie kell azokat az eseteket, időszakokat, kivételeket és populációkat, amelyekkel a képesség működés közben találkozik, beleértve azokat a helyzeteket is, amelyekben a modellnek emberhez kell továbbítania a döntést. Fontos a tanítóadatoktól való elkülönítés, de ugyanígy a kapcsolódó entitásokon keresztüli adatszivárgás, a csak az eredmény után elérhető információ és a döntés pillanatában nem létező kézi korrekciók kizárása is.
Az elfogadást az üzleti művelet, ne egyetlen összesített modellpontszám köré határozza meg. Térjen ki a fontos hibatípusokra, az emberi felülvizsgálati kapacitásra, a késleltetésre, a hibás működésre és a döntéstől való tartózkodás költségére. Rögzítse az adatkészlet és a szabályok verzióját, hogy a későbbi változások érdemben összehasonlíthatók legyenek.
Az éles működéshez visszajelzési és változáskezelési rendszer kell
Az adatok felkészítése nem ér véget az indulással. A forrásrendszerek és definíciók változnak, az üzemeltetési viselkedés alkalmazkodik, a populáció pedig eltolódhat. A felügyeletnek ki kell terjednie a bemeneti feltételekre, adatkontrollokra, modellviselkedésre, emberi felülbírálatokra, eredménybizonyítékokra és megoldatlan kivételekre, a döntési kockázathoz illő gyakorisággal.
A szervezetnek a beavatkozási jogkört is meg kell határoznia: ki vizsgál, ki függesztheti fel az automatizálást, hogyan működik a tartalék folyamat, mikor szükséges újratanítás vagy újratervezés, és milyen bizonyíték engedi meg a szolgáltatás újraindítását. E működési modell nélkül a modell technikailag elérhető maradhat akkor is, amikor a döntési környezete már megváltozott.