Börja med beslutet, inte med den tillgängliga datamängden
En datamängd kan vara ren och ändå olämplig för ett användningsfall. Beredskapen beror på vad modellen påverkar, vem som påverkas, vad ett fel innebär, hur snabbt förhållandena förändras och vad en människa kan göra när tillförlitligheten är låg. Dessa frågor avgör vilka fakta som är väsentliga och hur mycket belägg som behövs.
Beskriv den avsedda rekommendationen eller åtgärden i enkla operativa termer. Identifiera ägaren, användaren, föremålet, beslutstidpunkten, alternativen och konsekvenserna. Spåra sedan vilka data som krävs för att stödja beslutet. Då får inte en attraktiv datamängd styra fram ett användningsfall som organisationen inte kan driva ansvarsfullt.
Delad mening är ett produktionsberoende
Träningssystem och operativa system kan använda samma etikett för olika begrepp. En kund kan avse ett konto, en juridisk person, ett hushåll eller ett aktivt avtal. Ett avslutat ärende kan vara löst, administrativt stängt eller övergivet. Om betydelsen varierar mellan perioder, källor eller team kan modellbeteendet förändras av orsaker som utvärderingen aldrig prövade.
Kritiska egenskaper och resultat behöver verksamhetsdefinitioner, regler för inkludering och uteslutning, tidskontext och ansvariga ägare. Historiska förändringar bör vara synliga. Målet är inte att dokumentera alla fält, utan att göra de betydelser som väsentligt påverkar beslutet tillräckligt stabila för att kunna granskas och övervakas.
Dataursprunget måste vara spårbart ända till det operativa beslutet
Dataspårbarhet är användbar när den förklarar var ett värde kommer ifrån, vilka omvandlingar som har ändrat det och enligt vilken regel eller version det fördes in i träning, utvärdering och produktion. Ett tekniskt flödesdiagram kan visa förflyttningen men utelämna de verksamhetsval och korrigeringsbeslut som har format data.
Dokumentera ursprunget på en nivå som står i proportion till risken. Teamet ska kunna undersöka ett resultat, bedöma effekten av en källförändring och återskapa den relevanta utvärderingen. Om data berikas eller märks av människor eller leverantörer hör även den kontexten och dess kvalitetskontroller hemma i spårbarheten.
Koppla kvalitetskontroller till följd
Globala mått för fullständighet och korrekthet är svaga beredskapstest. Ett sällan saknat värde kan vara avgörande om det tar bort ett säkerhets- eller behörighetsvillkor, medan en vanlig brist kan vara irrelevant för det avsedda beslutet. Definiera kvalitet utifrån användningen: giltiga intervall, aktualitet, representativitet, konsekvens, dubbletter och märkningens tillförlitlighet där de påverkar resultatet.
Bestäm för varje kritisk brist om den ska förebyggas, upptäckas, rättas, avvisas, eskaleras eller synliggöras som osäkerhet för en människa. Tilldela en ägare och en åtgärdströskel. Kontrollerna bör fungera både efter driftsättning och under förberedelserna, eftersom produktionskällor och beteenden förändras.
Utvärderingsdata måste representera driftsförhållanden
En utvärderingsmängd bör spegla de fall, tidsperioder, undantag och populationer som förmågan kommer att möta, inklusive villkor där modellen bör avstå. Separation från träningsdata är viktig, liksom att undvika läckage genom relaterade objekt, information som bara finns efter utfallet och manuella korrigeringar som saknas vid beslutstidpunkten.
Definiera acceptans utifrån verksamhetsåtgärden, inte ett sammanvägt modellmått. Ta med viktiga felklasser, tillgänglig förmåga till mänsklig granskning, svarstid, felbeteende och kostnaden för utebliven tjänst. Dokumentera datamängds- och regelversioner så att senare förändringar kan jämföras meningsfullt.
Produktionen behöver ett återkopplings- och förändringssystem
Databeredskapen blir inte färdig vid lanseringen. Källsystem förändras, definitioner förskjuts, operativt beteende anpassas och populationen kan ändras. Övervakningen bör omfatta indataförhållanden, datakontroller, modellbeteende, mänskliga åsidosättanden, resultatbevis och olösta undantag med en frekvens som beslutsrisken motiverar.
Organisationen behöver också befogenhet att agera: vem utreder, vem får avbryta automatiseringen, hur reservlösningen fungerar, när omträning eller ny utformning övervägs och vilka bevis som tillåter återgång till tjänsten. Utan denna operativa modell kan en modell förbli tekniskt tillgänglig trots att beslutskontexten redan har förändrats.