Počnite od odluke, ne od dostupnog skupa podataka

Skup podataka može biti uredan, a ipak neprikladan za konkretnu namenu. Spremnost zavisi od toga na šta će model uticati, ko je pogođen, šta greška znači, koliko se brzo uslovi menjaju i šta čovek može da uradi kada je pouzdanost niska. Ta pitanja utvrđuju koje su činjenice važne i koliko je dokaza potrebno.

Opišite nameravanu preporuku ili radnju jasnim operativnim jezikom. Utvrdite vlasnika, korisnika, subjekta, trenutak odluke, alternative i posledice, pa pratite podatke potrebne za podršku toj odluci. Tako privlačan skup podataka neće stvoriti slučaj upotrebe kojim organizacija ne može odgovorno da upravlja.

Zajedničko značenje je preduslov produkcionog rada

Sistemi za obuku i operativni sistemi mogu koristiti istu oznaku za različite pojmove. „Klijent“ može značiti nalog, pravno lice, domaćinstvo ili aktivan ugovor. „Zatvoren predmet“ može biti rešen, administrativno završen ili napušten. Ako se značenje razlikuje po periodu, izvoru ili timu, ponašanje modela može se promeniti iz razloga koje evaluacija nikada nije proverila.

Ključna obeležja i ishodi zahtevaju poslovne definicije, pravila uključivanja i isključivanja, vremenski kontekst i odgovorne vlasnike. Istorijske promene moraju biti vidljive. Cilj nije dokumentovati svako polje, već značenja koja bitno utiču na odluku učiniti dovoljno stabilnim za preispitivanje i nadzor.

Poreklo podataka mora biti sledljivo do operativne odluke

Sled porekla je koristan kada objašnjava odakle je vrednost došla, koje su je transformacije promenile i po kom pravilu ili verziji je ušla u obuku, evaluaciju i produkciju. Tehnički graf toka može prikazati kretanje, a izostaviti poslovne odluke o izboru i ispravci koje su oblikovale podatke.

Beležite poreklo srazmerno riziku. Tim treba da može da istraži ishod, proceni uticaj promene izvora i ponovi relevantnu evaluaciju. Ako podatke obogaćuju ili označavaju ljudi ili dobavljači, taj kontekst i njegove kontrole kvaliteta pripadaju prikazu porekla.

Povežite kontrole kvaliteta sa posledicama

Opšti pokazatelji potpunosti i tačnosti slabi su testovi spremnosti. Retka nedostajuća vrednost može biti presudna ako uklanja uslov bezbednosti ili podobnosti, dok česta greška može biti nevažna za nameravanu odluku. Kvalitet definišite prema upotrebi: dozvoljenim opsezima, pravovremenosti, reprezentativnosti, doslednosti, duplikatima i pouzdanosti oznaka tamo gde utiču na ishod.

Za svaku ključnu grešku odlučite da li je treba sprečiti, otkriti, ispraviti, odbaciti, eskalirati ili njenu neizvesnost prikazati čoveku. Dodelite vlasnika i prag za delovanje. Kontrole moraju raditi i posle puštanja, jer će se produkcioni izvori i ponašanje menjati.

Tehnički pristup nije isto što i ovlašćena upotreba

Tim može tehnički da preuzme podatke bez opravdane svrhe, dozvole ili primerenog modela zadržavanja za AI upotrebu. Obrnuto, stroge kontrole pristupa mogu ostati nedovoljne ako izvedeni rezultati otkrivaju informacije ili ako ljudski pregled dobija kontekst koji ne bi smeo da vidi.

Mapirajte subjekte podataka, vlasnike, dozvoljene svrhe, puteve pristupa, zadržavanje, izvedene artefakte i posledice brisanja ili ispravke. Pravni, stručnjaci za privatnost, bezbednost i sektor moraju potvrditi stvarne obaveze. Inženjerski doprinos je da se upotreba i tok informacija učine dovoljno konkretnim da se te odluke mogu primeniti.

Podaci za evaluaciju moraju predstavljati stvarne uslove rada

Skup za evaluaciju treba da predstavlja slučajeve, periode, izuzetke i populacije sa kojima će se sposobnost susretati, uključujući uslove u kojima model treba da odustane i prepusti odluku. Odvajanje od obuke jeste važno, ali i curenje kroz povezana lica, informacije nastale posle ishoda i ručne ispravke kojih u trenutku odluke neće biti.

Prihvatanje definišite oko poslovne radnje, ne jednog zbirnog rezultata modela. Uključite važne klase grešaka, kapacitet ljudskog pregleda, kašnjenje, ponašanje pri otkazu i cenu odustajanja. Zabeležite verzije skupa i pravila kako bi kasnija promena mogla smisleno da se uporedi.

Produkciji je potreban sistem povratnih informacija i upravljanja promenom

Spremnost podataka ne završava se puštanjem u rad. Izvorni sistemi se menjaju, definicije pomeraju, operativno ponašanje prilagođava, a populacija može odstupiti. U ritmu primerenom riziku odluke, nadzor treba da obuhvati ulazne uslove, kontrole podataka, ponašanje modela, ljudska preinačenja, dokaze o ishodu i nerešene izuzetke.

Organizaciji su potrebna i ovlašćenja za reakciju: ko istražuje, ko može obustaviti automatizaciju, kako radi rezervni postupak, kada se razmatra nova obuka ili preoblikovanje i koji dokazi dozvoljavaju povratak u rad. Bez tog operativnog modela, model može ostati tehnički dostupan iako se kontekst njegove odluke već promenio.