एआई विफलता मोड

इच्छित व्यवहार और उसकी सीमाओं से शुरुआत करें। एक गलत श्रेणी, एक आविष्कृत उद्धरण और एक डुप्लिकेट भुगतान अनुरोध के लिए अलग-अलग प्रतिक्रियाओं की आवश्यकता होती है। प्रत्येक विफलता के लिए ट्रिगर, देखे गए परिणाम, प्रभावित घटक और व्यावहारिक परिणाम को रिकॉर्ड करें। मॉडल त्रुटियों को सिस्टम त्रुटियों से अलग करें। एक मॉडल किसी अनुरोध की सही ढंग से व्याख्या कर सकता है जबकि कोई उपकरण गलत खाते के साथ निष्पादित होता है, एक पुराना दस्तावेज़ पुरानी नीति प्रदान करता है, या एक पुनः प्रयास एक पूर्ण ऑपरेशन को दोहराता है। जब कोई आउटपुट बाहरी स्थिति बदल सकता है तो एंड-टू-एंड सत्यापन आवश्यक है। सामान्य परिवर्तनशीलता और जानबूझकर दुरुपयोग का अलग से परीक्षण करें। फ़ॉर्मेटिंग परिवर्तन, बोलियाँ, गुम डेटा, लंबे दस्तावेज़ और परस्पर विरोधी निर्देश बिना किसी विरोधी के कमज़ोरियों को उजागर कर सकते हैं। सुरक्षा परीक्षण ऐसे मामले जोड़ते हैं जहां कोई हमलावर व्यवहार को पुनर्निर्देशित करने या जानकारी तक पहुंचने का प्रयास करता है। कारण से मेल खाने वाले नियंत्रण चुनें: इनपुट अनुबंध, साक्ष्य जांच, अनुमति सीमा, लेनदेन पहचानकर्ता, परहेज, या मानव समीक्षा। प्रतिगमन परीक्षण के लिए विफल मामलों को रखें और अवशिष्ट अनिश्चितता को रिकॉर्ड करें। एक उदाहरण को पकड़ने वाले शमन को विफलताओं के पूरे वर्ग को समाप्त करने के रूप में वर्णित नहीं किया जाना चाहिए।