Start med beslutningen, ikke det tilgængelige datasæt

Et datasæt kan være rent og alligevel uegnet til et anvendelsestilfælde. Paratheden afhænger af, hvad modellen påvirker, hvem der berøres, hvad fejl betyder, hvor hurtigt forholdene ændrer sig, og hvad et menneske kan gøre ved lav tillid. Spørgsmålene afgør, hvilke fakta der er væsentlige, og hvor meget dokumentation der kræves.

Definér den planlagte anbefaling eller handling med enkle driftsmæssige ord. Identificér ejeren, brugeren, genstanden, beslutningstidspunktet, alternativerne og konsekvenserne. Spor derefter de data, der kræves for at understøtte beslutningen. Det forhindrer et attraktivt datasæt i at skabe et anvendelsestilfælde, som organisationen ikke kan drive ansvarligt.

Fælles betydning er en produktionsafhængighed

En kunde kan betyde en konto, en juridisk person, en husstand eller en aktiv kontrakt. En lukket sag kan betyde løst, administrativt afsluttet eller opgivet. Hvis betydningen varierer efter periode, kilde eller team, kan modeladfærd ændre sig af årsager, som aldrig er testet.

Kritiske egenskaber og resultater kræver forretningsdefinitioner, regler for medtagelse og udelukkelse, tidsmæssig kontekst og ansvarlige ejere. Historiske ændringer bør være synlige. Formålet er ikke at dokumentere alle felter, men at gøre de betydninger, der væsentligt påvirker beslutningen, stabile nok til at kunne udfordres og overvåges.

Oprindelsen skal nå frem til beslutningen i driften

Datasporbarhed er nyttig, når den forklarer, hvor en værdi kom fra, hvilke transformationer der ændrede den, og under hvilken regel eller version den indgik i træning, evaluering og produktion. En teknisk graf over databehandlingen kan vise bevægelsen, men udelade de forretningsmæssige valg og korrektionsbeslutninger, der formede dataene.

Registrér oprindelsen på et niveau, der svarer til risikoen. Teamet bør kunne undersøge et resultat, vurdere virkningen af en kildeændring og reproducere den relevante evaluering. Hvis data beriges eller mærkes af mennesker eller leverandører, hører denne kontekst og dens kvalitetskontroller med i dokumentationen af datasporbarheden.

Knyt kvalitetskontroller til konsekvensen

En sjælden manglende værdi kan være væsentlig, hvis den fjerner en betingelse for sikkerhed eller ret til støtte, mens en hyppig defekt kan være irrelevant for den påtænkte beslutning. Definér kvalitet i forhold til anvendelsen: gyldige intervaller, rettidighed, repræsentativitet, konsistens, dubletter og mærkningens pålidelighed, hvis de påvirker resultatet.

Beslut for hver kritisk fejl, om den skal forebygges, opdages, korrigeres, afvises eller eskaleres, eller om usikkerheden skal overlades til et menneske. Tildel en ejer og en handlingstærskel. Kontrollerne skal fungere både under forberedelsen og efter ibrugtagning, fordi produktionskilder og adfærd ændrer sig.

Adgang er ikke den samme som myndighed til at bruge

Et team kan teknisk kunne hente data uden at have et legitimt formål, en tilladelse eller en passende opbevaringsmodel til AI-anvendelsen. Omvendt kan streng adgangskontrol stadig svigte, hvis afledte resultater afslører oplysninger, eller hvis menneskelige bedømmere modtager kontekst, de ikke bør se.

Kortlæg registrerede personer, ejere, tilladte formål, adgangsveje, opbevaring, afledte materialer og virkningerne af sletning eller rettelse. Juridiske specialister samt specialister i databeskyttelse, sikkerhed og brancheforhold skal validere de faktiske forpligtelser. Det tekniske bidrag er at gøre anvendelsen og informationsstrømmen konkrete nok til, at beslutningerne kan håndhæves.

Evalueringsdata skal repræsentere driftsbetingelserne

Et evalueringssæt bør afspejle de tilfælde, tidsperioder, undtagelser og befolkningsgrupper, som kapabiliteten møder, herunder forhold hvor modellen bør afstå. Adskillelse fra træningsdata er vigtig, men det samme er lækage gennem beslægtede enheder, oplysninger efter udfaldet og manuelle rettelser, der ikke findes på beslutningstidspunktet.

Definér accept omkring forretningshandlingen, ikke ét samlet modelresultat. Medtag vigtige fejlklasser, kapaciteten til menneskelig gennemgang, svartid, adfærd ved fejl og omkostningen ved at afstå. Registrér versionerne af datasættet og reglerne, så en senere ændring kan sammenlignes meningsfuldt.

Produktion kræver et system til opfølgning og forandring

Dataparathed slutter ikke ved lanceringen. Kildesystemer ændres, definitioner flytter sig, driftsadfærd tilpasser sig, og befolkningsgrupper kan forskydes. Overvågningen bør omfatte forhold i inddata, datakontroller, modeladfærd, menneskelige tilsidesættelser, dokumentation for resultater og uløste undtagelser med en hyppighed, der svarer til beslutningsrisikoen.

Organisationen behøver også myndighed til at reagere: Hvem undersøger? Hvem kan standse automatiseringen? Hvordan virker reserveløsningen, mens genoptræning eller en ny udformning overvejes? Hvilken dokumentation tillader, at tjenesten genoptages? Uden denne driftsmodel kan en model fortsat være teknisk tilgængelig, selv om dens beslutningskontekst allerede har ændret sig.