Begynn med beslutningen, ikke det tilgjengelige datasettet

Et datasett kan være ryddig og likevel uegnet for et bruksområde. Beredskapen avhenger av hva modellen skal påvirke, hvem som berøres, hva feil innebærer, hvor raskt forholdene endres, og hva et menneske kan gjøre når tilliten er lav. Disse spørsmålene fastslår hvilke fakta som er vesentlige, og hvor mye dokumentasjon som kreves.

Definer den tiltenkte anbefalingen eller handlingen i enkle driftsmessige termer. Identifiser eieren, brukeren, den berørte personen, tidspunktet for beslutningen, alternativene og konsekvensene. Spor deretter dataene som trengs for å støtte beslutningen. Dette hindrer et attraktivt datasett i å skape et bruksområde som organisasjonen ikke kan drifte på en ansvarlig måte.

Delt betydning er produksjonsavhengighet

Opplærings- og driftssystemer kan bruke den samme etiketten om ulike begreper. «Kunde» kan bety en konto, juridisk person, husholdning eller aktiv kontrakt. «Lukket sak» kan bety løst, administrativt avsluttet eller oppgitt. Hvis betydningen varierer etter tidsperiode, kilde eller team, kan modellatferden endres av årsaker evalueringen aldri prøvde.

Kritiske egenskaper og resultater trenger forretningsdefinisjoner, regler for inkludering og ekskludering, tidskontekst og ansvarlige eiere. Historiske endringer bør være synlige. Målet er ikke å dokumentere hvert felt, men å gjøre betydningene som påvirker beslutningen vesentlig, stabile nok til å etterprøves og overvåkes.

Datasporbarheten må nå helt frem til beslutningen i drift

Datasporbarhet er nyttig når den forklarer hvor en verdi kom fra, hvilke omforminger som endret den, og under hvilken regel eller versjon den gikk inn i opplæring, evaluering og produksjon. En teknisk graf over dataprosessen kan vise bevegelse og samtidig utelate forretningsvalgene og korrigeringsbeslutningene som formet dataene.

Registrer dokumentasjonen på et nivå som står i forhold til risikoen. Teamet bør kunne undersøke et resultat, vurdere virkningen av en kildeendring og gjenskape den relevante evalueringen. Hvis data berikes eller merkes av mennesker eller leverandører, hører denne konteksten og kvalitetskontrollene med i sporbarhetsbildet.

Koble kvalitetskontroller til konsekvens

Samlede poeng for fullstendighet og nøyaktighet er svake beredskapstester. En sjelden manglende verdi kan være vesentlig hvis den fjerner en sikkerhets- eller kvalifikasjonsbetingelse, mens en hyppig feil kan være irrelevant for den tiltenkte beslutningen. Definer kvalitet ut fra bruken: gyldige verdiområder, aktualitet, representativitet, konsistens, duplikater og pålitelig merking der de påvirker resultatet.

Bestem for hver kritiske feil om den skal forebygges, oppdages, korrigeres, avvises, eskaleres eller synliggjøres som usikkerhet for et menneske. Tildel en eier og en terskel for handling. Disse kontrollene bør virke etter produksjonssetting så vel som under utviklingen, fordi produksjonskilder og atferd vil endre seg.

Tilgang er ikke den samme som å bruke

Et team kan være teknisk i stand til å hente data uten å ha et berettiget formål, tillatelse eller en riktig oppbevaringsmodell for bruk av KI. Omvendt kan strenge tilgangskontroller fortsatt svikte hvis avledede resultater avslører informasjon, eller hvis menneskelige kontrollører mottar kontekst de ikke bør se.

Kartlegg registrerte personer, eiere, tillatte formål, tilgangsveier, oppbevaring, avledede produkter og virkninger av sletting eller retting. Spesialister innen jus, personvern, sikkerhet og den aktuelle sektoren må validere de faktiske forpliktelsene. Utviklingsbidraget er å gjøre bruken og informasjonsflyten konkrete nok til at disse beslutningene kan anvendes.

Vurderingsdata må representere driftsbetingelser

Et evalueringssett bør gjenspeile sakene, tidsperiodene, unntakene og befolkningsgruppene som kapasiteten vil møte, også forhold der modellen bør utsette en avgjørelse. Det må skilles fra opplæringsdataene, men lekkasje gjennom beslektede enheter, informasjon som først finnes etter resultatet, og manuelle rettelser som ikke vil finnes på beslutningstidspunktet, betyr like mye.

Definer akseptanse rundt forretningshandlingen, ikke én samlet modellpoengsum. Ta med viktige feilklasser, kapasitet for menneskelig gjennomgang, responstid, atferd ved feil og kostnaden ved nedetid. Registrer versjoner av datasett og regler slik at en senere endring kan sammenlignes på en meningsfull måte.

Produksjon krever et system for tilbakemelding og endring

Databeredskap er ikke ferdig ved produksjonssetting. Kildesystemer endres, definisjoner flytter seg, driftsatferd tilpasses og befolkningsgrunnlaget kan skifte. Overvåkingen bør dekke inndataforhold, datakontroller, modellatferd, menneskelige overstyringer, dokumentasjon av resultater og uløste unntak med en frekvens som beslutningsrisikoen forsvarer.

Organisasjonen trenger også myndighet til å reagere: Hvem undersøker, hvem kan stanse automatiseringen, hvordan virker reserveløsningen, når vurderes ny opplæring eller omforming, og hvilken dokumentasjon tillater at tjenesten tas i bruk igjen? Uten denne driftsmodellen kan en modell forbli teknisk tilgjengelig selv om beslutningskonteksten allerede har endret seg.