मशीनी अनुवाद

समानांतर प्रशिक्षण डेटा संबंधित अनुवादों के साथ स्रोत अंशों को जोड़ता है। गलत संरेखण, डुप्लिकेट सामग्री, या बेमेल भाषा लेबल गलत संबंध सिखा सकते हैं। लगभग डुप्लिकेट रिसाव से बचने के लिए मूल्यांकन डेटा को विभाजित करते समय जोड़ियों को साफ़ करें और दस्तावेज़ों को एक साथ रखें। टोकनाइजेशन यह निर्धारित करता है कि टेक्स्ट कैसे मॉडल इनपुट बनता है। एक टोकननाइज़र जो एक लेखन प्रणाली को कुशलतापूर्वक संभालता है वह दूसरे को कई और इकाइयों में विभाजित कर सकता है। दोनों भाषाओं में लंबाई सीमा की जाँच करें और क्या काट-छाँट स्रोत या लक्ष्य मार्ग के अंत को हटा देती है। स्वचालित मेट्रिक्स बार-बार किए गए प्रयोगों को व्यावहारिक बनाते हैं। BLEU संदर्भ अनुवादों के साथ शब्द अनुक्रमों के पैटर्न की तुलना करता है, लेकिन एक मीट्रिक किसी डोमेन के लिए अर्थ, पठनीयता या उपयुक्तता का पूर्ण निर्णय नहीं है। मूल्यांकन सेटिंग्स और संदर्भ विकल्प मायने रखते हैं, इसलिए उन्हें स्कोर के साथ रिकॉर्ड करें। मेट्रिक्स के साथ-साथ त्रुटि वर्गीकरण का उपयोग करें: जोड़, चूक, परिवर्तित संख्याएँ, असंगत शब्दावली, गलत निषेध, और अजीब वाक्यांश। प्रत्येक भाषा युग्म और डोमेन का अलग-अलग मूल्यांकन करें। कई अच्छी तरह से संसाधन वाली भाषाओं का औसत कम-प्रतिनिधित्व वाली भाषा या विशेष दस्तावेज़ प्रकार में विफलताओं को छुपा सकता है।