Začnite z odločitvijo, ne z razpoložljivim naborom podatkov
Nabor podatkov je lahko tehnično čist, vendar še vedno neprimeren za konkretno uporabo. Pripravljenost je odvisna od odločitve, na katero bo model vplival, prizadetih oseb, posledic napake, hitrosti sprememb in možnosti človeškega ukrepanja ob nizkem zaupanju. Ta vprašanja določijo, katera dejstva so bistvena in koliko dokazov potrebujemo.
Predvideno priporočilo ali dejanje opišite v preprostem operativnem jeziku. Določite lastnika, uporabnika, predmet, čas odločanja, alternative in posledice. Nato sledite podatkom, ki so potrebni za podporo tej odločitvi. Tako privlačen nabor podatkov ne ustvari primera uporabe, ki ga organizacija ne more odgovorno upravljati.
Skupni pomen je pogoj za produkcijo
Učni in operativni sistemi lahko isto oznako uporabljajo za različne pojme. »Stranka« lahko pomeni račun, pravno osebo, gospodinjstvo ali veljavno pogodbo. »Zaključen primer« je lahko rešen, administrativno zaprt ali opuščen. Če se pomen spreminja glede na obdobje, vir ali ekipo, se lahko spremeni tudi vedenje modela iz razlogov, ki jih vrednotenje ni zajelo.
Kritične značilnosti in izidi potrebujejo poslovne definicije, pravila vključevanja in izključevanja, časovni kontekst ter odgovorne lastnike. Zgodovinske spremembe morajo ostati vidne. Cilj ni dokumentirati vsakega polja, temveč dovolj stabilizirati pomene, ki bistveno vplivajo na odločitev, da jih je mogoče preverjati, izpodbijati in spremljati.
Izvor podatkov mora segati do operativne odločitve
Sledljivost je uporabna, ko pojasni, od kod vrednost izvira, katere pretvorbe so jo spremenile ter po katerem pravilu ali različici je vstopila v učenje, vrednotenje in produkcijo. Tehnični diagram podatkovnega toka lahko pokaže premikanje podatkov, vendar izpusti poslovne odločitve o izbiri in popravkih, ki so podatke oblikovale.
Izvor beležite na ravni, sorazmerni s tveganjem. Ekipa mora biti sposobna raziskati rezultat, oceniti vpliv spremembe vira in ponoviti ustrezno vrednotenje. Če podatke bogatijo ali označujejo ljudje oziroma dobavitelji, morajo biti v sledljivosti zajeti tudi ta kontekst in pripadajoče kontrole kakovosti.
Povežite nadzor kakovosti s posledicami
Splošne ocene popolnosti in natančnosti so šibek preizkus pripravljenosti. Redka manjkajoča vrednost je lahko odločilna, če odstrani varnostni ali upravičenostni pogoj, medtem ko je pogosta napaka lahko za predvideno odločitev nepomembna. Kakovost opredelite glede na uporabo: veljavne razpone, pravočasnost, reprezentativnost, doslednost, podvajanje in zanesljivost oznak preverjajte tam, kjer vplivajo na izid.
Za vsako kritično napako določite odziv: preprečitev, zaznavo, popravek, zavrnitev, eskalacijo ali jasno predstavitev negotovosti človeku. Določite lastnika in prag za ukrepanje. Kontrole morajo delovati tudi po uvedbi, saj se bodo produkcijski viri in vedenje sčasoma spreminjali.
Podatki za vrednotenje morajo predstavljati dejanske pogoje delovanja
Nabor za vrednotenje mora odražati primere, časovna obdobja, izjeme in populacije iz dejanskega delovanja, vključno s pogoji, v katerih mora model odločitev prepustiti človeku. Ločite ga od učnih podatkov, hkrati pa preverite uhajanje prek povezanih subjektov, pozneje nastalih informacij in ročnih popravkov, ki ob času odločitve ne bodo na voljo.
Merila sprejemljivosti opredelite okoli poslovnega dejanja, ne zgolj ene skupne ocene modela. Vključite pomembne razrede napak, zmožnost človeškega pregleda, zakasnitev, vedenje ob odpovedi in strošek vzdržanja od odločitve. Zabeležite različice nabora podatkov in pravil, da bo mogoče poznejše spremembe smiselno primerjati.
Produkcija potrebuje povratne informacije in upravljanje sprememb
Pripravljenost podatkov ni končana z uvedbo. Izvorni sistemi se spreminjajo, definicije drsijo, operativno vedenje se prilagaja in populacije se razvijajo. Spremljanje mora v obsegu, ki ga upravičuje tveganje odločitve, zajeti vhodne pogoje, podatkovne kontrole, vedenje modela, človeške razveljavitve, izide in nerešene izjeme.
Organizacija potrebuje tudi pooblastila za odziv: kdo preiskuje, kdo lahko ustavi avtomatizacijo, kako deluje nadomestni postopek, kdaj se razmisli o ponovnem učenju ali prenovi ter kateri dokazi dovoljujejo vrnitev v uporabo. Brez tega operativnega modela je lahko model tehnično dosegljiv, čeprav se je kontekst odločanja že spremenil.