Aloita päätöksestä, ei saatavilla olevasta aineistosta

Aineisto voi olla teknisesti moitteeton ja silti sopimaton käyttötarkoitukseen. Valmius riippuu siitä, mihin mallin tulos vaikuttaa, keitä päätös koskee, mitä virhe merkitsee, kuinka nopeasti olosuhteet muuttuvat ja mitä ihminen voi tehdä luottamuksen ollessa heikko. Nämä kysymykset osoittavat, mitkä tiedot ovat olennaisia ja kuinka vahvaa näyttöä tarvitaan.

Kuvaa tavoiteltu suositus tai toimi selkein operatiivisin termein. Tunnista omistaja, käyttäjä, päätöksen kohde, ajankohta, vaihtoehdot ja seuraukset. Jäljitä sitten päätöksen tueksi tarvittava data. Näin kiinnostava aineisto ei pääse synnyttämään käyttötapausta, jota organisaatio ei pysty toteuttamaan vastuullisesti.

Yhteinen merkitys on tuotantokäytön edellytys

Koulutus- ja tuotantojärjestelmät voivat käyttää samaa nimikettä eri käsitteistä. Asiakas voi tarkoittaa asiakkuutta, oikeushenkilöä, kotitaloutta tai voimassa olevaa sopimusta. Suljettu tapaus voi tarkoittaa ratkaistua, hallinnollisesti päätettyä tai keskeytettyä asiaa. Jos merkitys vaihtelee ajanjakson, lähteen tai tiimin mukaan, mallin käyttäytyminen voi muuttua syistä, joita arvioinnissa ei koskaan testattu.

Päätökseen olennaisesti vaikuttavat syötteet ja tulokset tarvitsevat liiketoimintamääritelmät, mukaanotto- ja poissulkusäännöt, ajallisen kontekstin sekä vastuulliset omistajat. Historiallisten muutosten on oltava näkyviä. Tarkoitus ei ole dokumentoida jokaista kenttää, vaan vakauttaa olennaiset merkitykset niin, että niitä voidaan arvioida kriittisesti ja seurata tuotannossa.

Datan alkuperäketjun on ulotuttava operatiiviseen päätökseen

Datan alkuperäketjusta on hyötyä, kun se kertoo, mistä arvo on peräisin, mitkä muunnokset ovat muuttaneet sitä ja millä säännöllä tai versiolla se päätyi koulutukseen, arviointiin ja tuotantoon. Tekninen tietovirtakaavio voi kuvata siirtymät mutta jättää piiloon liiketoiminnalliset valinta- ja korjauspäätökset, jotka muovasivat dataa.

Kirjaa alkuperä riskin edellyttämällä tarkkuudella. Tiimin on pystyttävä tutkimaan yksittäistä lopputulosta, arvioimaan lähdemuutoksen vaikutus ja toistamaan olennainen arviointi. Jos ihmiset tai toimittajat rikastavat tai luokittelevat dataa, myös tämä konteksti ja siihen liittyvä laadunhallinta kuuluvat alkuperäketjuun.

Yhdistä laatuvalvonta seurauksiin

Koko aineiston kattavuus- ja tarkkuusluvut ovat heikkoja valmiusmittareita. Harvinainen puuttuva arvo voi olla ratkaiseva, jos se poistaa turvallisuus- tai kelpoisuusehdon, kun taas yleinen virhe voi olla tavoitellun päätöksen kannalta merkityksetön. Määrittele laatu käyttötarkoituksen perusteella: tarkista sallitut arvot, ajantasaisuus, edustavuus, johdonmukaisuus, kaksoiskappaleet ja luokitusten luotettavuus siltä osin kuin ne vaikuttavat lopputulokseen.

Päätä jokaisen kriittisen virheen kohdalla, estetäänkö, havaitaanko tai korjataanko se, hylätäänkö tapaus, eskaloidaanko se vai tuodaanko epävarmuus ihmisen arvioitavaksi. Nimeä omistaja ja toimintakynnys. Hallintakeinojen on toimittava myös käyttöönoton jälkeen, sillä tuotannon lähteet ja käyttäytyminen muuttuvat.

Tekninen pääsy dataan ei tarkoita oikeutta käyttää sitä

Tiimi voi pystyä hakemaan dataa teknisesti ilman perusteltua käyttötarkoitusta, asianmukaista lupaa tai tekoälykäsittelyyn sopivaa säilytysmallia. Tiukkakaan pääsynhallinta ei yksin riitä, jos johdetut tulokset paljastavat suojattua tietoa tai ihmisarvioijat saavat kontekstia, jota heidän ei pitäisi nähdä.

Kartoita henkilöt ja muut kohteet, joita data koskee, datan omistajat, sallitut käyttötarkoitukset, pääsyreitit, säilytysajat, johdetut artefaktit sekä poistojen ja korjausten vaikutukset. Oikeudellisten, tietosuoja-, tietoturva- ja toimiala-asiantuntijoiden on vahvistettava todelliset velvoitteet. Teknisen toteutuksen tehtävä on tehdä käyttö ja tiedonkulku niin konkreettisiksi, että päätöksiä voidaan soveltaa käytännössä.

Arviointidatan on vastattava todellisia toimintaolosuhteita

Arviointiaineiston on kuvattava tuotannossa vastaan tulevia tapauksia, ajanjaksoja, poikkeuksia ja ihmisryhmiä, myös tilanteita, joissa mallin pitäisi siirtää ratkaisu ihmiselle. Aineiston erottaminen koulutusdatasta on tärkeää, mutta niin ovat myös toisiinsa liittyvien kohteiden kautta syntyvät tietovuodot, vasta lopputuloksen jälkeen saatava tieto ja manuaaliset korjaukset, joita ei ole käytettävissä päätöshetkellä.

Määrittele hyväksyntä liiketoiminnallisen toiminnan ympärille, älä yhden kokonaispistemäärän varaan. Huomioi olennaiset virheluokat, ihmisten tarkistuskapasiteetti, viive, häiriökäyttäytyminen ja päätöksestä pidättäytymisen kustannus. Tallenna aineiston ja sääntöjen versiot, jotta myöhempiä muutoksia voidaan verrata mielekkäästi.

Tuotanto tarvitsee palautetta ja muutosjärjestelmää

Datan valmius ei valmistu käyttöönottohetkellä. Lähdejärjestelmät muuttuvat, määritelmät elävät, toimintatavat mukautuvat ja kohdejoukko voi vaihtua. Päätöksen riskin edellyttämällä tiheydellä tehtävän seurannan on katettava syötteiden olosuhteet, datan hallintakeinot, mallin käyttäytyminen, ihmisten tekemät ohitukset, näyttö lopputuloksista ja ratkaisemattomat poikkeukset.

Organisaatio tarvitsee myös toimivallan reagoida: kuka tutkii ongelman, kuka voi keskeyttää automaation, miten varamenettely toimii, milloin harkitaan uudelleenkoulutusta tai uudelleensuunnittelua ja millainen näyttö sallii palvelun palauttamisen. Ilman tällaista toimintamallia malli voi pysyä teknisesti saatavilla, vaikka sen päätöksentekoympäristö on jo muuttunut.