उपलब्ध डेटासेट नहीं, निर्णय से शुरुआत करें
डेटासेट साफ़ होने के बावजूद किसी विशेष उपयोग के लिए अनुपयुक्त हो सकता है। तत्परता इस बात पर निर्भर करती है कि मॉडल क्या प्रभावित करेगा, कौन प्रभावित होगा, त्रुटि का क्या मतलब है, स्थितियाँ कितनी जल्दी बदलती हैं और आत्मविश्वास कम होने पर मनुष्य क्या कर सकता है। ये प्रश्न स्थापित करते हैं कि कौन से तथ्य महत्वपूर्ण हैं और कितने साक्ष्य की आवश्यकता है।
साधारण परिचालन शर्तों में इच्छित अनुशंसा या कार्रवाई को परिभाषित करें। स्वामी, उपयोगकर्ता, विषय, निर्णय का समय, विकल्प और परिणाम की पहचान करें। फिर इसका समर्थन करने के लिए आवश्यक डेटा का पता लगाएं। यह एक आकर्षक डेटासेट को उपयोग का मामला बनाने से रोकता है जिसे संगठन जिम्मेदारी से संचालित नहीं कर सकता है।
साझा अर्थ प्रोडक्शन संचालन की पूर्वशर्त है
प्रशिक्षण और परिचालन प्रणालियाँ विभिन्न अवधारणाओं के लिए एक ही लेबल का उपयोग कर सकती हैं। ग्राहक का मतलब खाता, कानूनी व्यक्ति, घरेलू या सक्रिय अनुबंध हो सकता है। एक बंद मामले का मतलब हल हो जाना, प्रशासनिक रूप से समाप्त हो जाना या छोड़ दिया जाना हो सकता है। यदि अर्थ अवधि, स्रोत या टीम के अनुसार भिन्न है, तो मॉडल व्यवहार उन कारणों से बदल सकता है जिनका मूल्यांकन कभी परीक्षण नहीं किया गया।
महत्वपूर्ण विशेषताओं और परिणामों के लिए व्यावसायिक परिभाषाओं, समावेशन और बहिष्करण नियमों, समय संदर्भ और जवाबदेह मालिकों की आवश्यकता होती है। ऐतिहासिक बदलाव दिखना चाहिए. उद्देश्य हर क्षेत्र का दस्तावेजीकरण करना नहीं है, बल्कि उन अर्थों को बनाना है जो निर्णय को चुनौती देने और निगरानी करने के लिए पर्याप्त रूप से स्थिर हैं।
डेटा उद्गम को परिचालन निर्णय तक जोड़ना चाहिए
वंश तब उपयोगी होता है जब यह बताता है कि कोई मूल्य कहां से आया, किन परिवर्तनों ने इसे बदल दिया और किस नियम या संस्करण के तहत इसने प्रशिक्षण, मूल्यांकन और उत्पादन में प्रवेश किया। एक तकनीकी पाइपलाइन ग्राफ डेटा को आकार देने वाले व्यवसाय चयन और सुधार निर्णयों को छोड़ते समय आंदोलन दिखा सकता है।
जोखिम के अनुपातिक स्तर पर उद्गम को रिकॉर्ड करें। टीम को किसी परिणाम की जांच करने, स्रोत परिवर्तन के प्रभाव का आकलन करने और प्रासंगिक मूल्यांकन को पुन: पेश करने में सक्षम होना चाहिए। यदि डेटा लोगों या आपूर्तिकर्ताओं द्वारा समृद्ध या लेबल किया गया है, तो वह संदर्भ और उसके गुणवत्ता नियंत्रण वंश दृश्य में हैं।
गुणवत्ता नियंत्रण को परिणामों से जोड़ें
वैश्विक पूर्णता और सटीकता स्कोर कमजोर तत्परता परीक्षण हैं। एक दुर्लभ गुम मूल्य महत्वपूर्ण हो सकता है यदि यह सुरक्षा या पात्रता शर्त को हटा देता है, जबकि बार-बार होने वाला दोष इच्छित निर्णय के लिए अप्रासंगिक हो सकता है। उपयोग के विरुद्ध गुणवत्ता को परिभाषित करें: वैध सीमाएँ, समयबद्धता, प्रतिनिधित्वशीलता, स्थिरता, दोहराव और लेबल विश्वसनीयता जहां वे परिणाम को प्रभावित करते हैं।
हर गंभीर दोष के लिए तय करें कि उसे रोकना, पहचानना, सुधारना, अस्वीकार करना, आगे भेजना या उसकी अनिश्चितता मनुष्य के सामने स्पष्ट करना है। जिम्मेदार स्वामी और कार्रवाई की सीमा तय करें। इन नियंत्रणों को तैनाती के बाद और तैयारी के दौरान भी काम करना चाहिए, क्योंकि उत्पादन स्रोत और व्यवहार बदल जाएंगे।
मूल्यांकन डेटा वास्तविक परिचालन परिस्थितियों को दर्शाए
एक मूल्यांकन सेट को उन मामलों, समय अवधि, अपवादों और आबादी को प्रतिबिंबित करना चाहिए जिनका क्षमता सामना करेगी, जिसमें वे स्थितियां भी शामिल हैं जिनमें मॉडल को स्थगित करना चाहिए। प्रशिक्षण से अलगाव मायने रखता है, लेकिन संबंधित संस्थाओं, परिणाम के बाद की जानकारी और मैन्युअल सुधारों के माध्यम से रिसाव भी होता है जो निर्णय के समय मौजूद नहीं होगा।
व्यावसायिक कार्रवाई के आसपास स्वीकृति को परिभाषित करें, न कि एक समग्र मॉडल स्कोर को। महत्वपूर्ण त्रुटि वर्ग, मानव समीक्षा क्षमता, विलंबता, विफलता व्यवहार और संयम की लागत शामिल करें। डेटासेट और नियम संस्करणों को रिकॉर्ड करें ताकि बाद में होने वाले बदलाव की तुलना सार्थक ढंग से की जा सके।
प्रोडक्शन में प्रतिक्रिया और बदलाव-प्रबंधन आवश्यक हैं
लॉन्च के समय डेटा तैयारी पूरी नहीं हुई है। स्रोत प्रणालियाँ बदल जाती हैं, परिभाषाएँ बदल जाती हैं, परिचालन व्यवहार बदल जाता है और लक्षित समूह बदल सकता है। निगरानी में इनपुट स्थितियों, डेटा नियंत्रण, मॉडल व्यवहार, मानव ओवरराइड, परिणाम साक्ष्य और अनसुलझे अपवादों को उस ताल पर शामिल किया जाना चाहिए जो निर्णय जोखिम को उचित ठहराता है।
संगठन को जवाब देने के लिए भी प्राधिकरण की आवश्यकता है: कौन जांच करता है, कौन स्वचालन को निलंबित कर सकता है, फ़ॉलबैक कैसे काम करता है, कब पुनर्प्रशिक्षण या पुन: डिज़ाइन पर विचार किया जाता है और कौन से सबूत सेवा में वापसी की अनुमति देते हैं। इस ऑपरेटिंग मॉडल के बिना, एक मॉडल तकनीकी रूप से उपलब्ध रह सकता है जबकि इसका निर्णय संदर्भ पहले ही बदल चुका है।