የቋንቋ ሞዴሊንግ

This single objective, scaled up massively, is what produces today's powerful chatbots and writing assistants.

በመሰረቱ፣ የቋንቋ ሞዴል ዕድሎችን ለጽሁፎች ቅደም ተከተሎች ይመድባል። 'የፈረንሳይ ዋና ከተማ ናት' ከሚለው ጥያቄ አንጻር እያንዳንዱ ቀጣይ ማስመሰያ ምን ያህል ሊሆን እንደሚችል ይገምታል፣ እና 'ፓሪስ' ከፍተኛ ውጤት ማስመዝገብ አለባት። ቀደምት የቋንቋ ሞዴሎች ስንት ጊዜ የቃላት ቅደም ተከተሎች እንደታዩ የሚቆጥሩ እስታቲስቲካዊ n-ግራሞች ነበሩ፣ ነገር ግን ከረዥም አውድ እና ከማይታዩ ሀረጎች ጋር ታግለዋል። የነርቭ ቋንቋ ሞዴሎች ቆጠራን በተማሩ ውክልና ተክተዋል፣ እና ከ2017 ጀምሮ የነበረው የትራንስፎርመር አርክቴክቸር ሞዴሎች ረዣዥም የፅሁፍ ፅሁፎችን በብቃት እንዲከታተሉ አድርጓል። እንደ GPT ቤተሰብ ያሉ ዘመናዊ ትልልቅ የቋንቋ ሞዴሎች ከአንድ ዓላማ ጋር በትልቅ ጽሑፍ ኮርፖራ ላይ የሰለጠኑ ናቸው፡ የሚቀጥለውን ቶከን ይተነብዩ። በሚያስደንቅ ሁኔታ፣ ይህንን በሚገባ ማድረጉ ሞዴሉ ሰዋሰውን፣ እውነታዎችን፣ የማመዛዘን ዘይቤዎችን እና ዘይቤን እንዲቀበል ያስገድደዋል፣ ምክንያቱም ጽሑፍን በትክክል መተንበይ እሱን መረዳትን ይጠይቃል። ትውልድ የሚቀጥለውን ቶከን ደጋግሞ በመተንበይ እና ተመልሶ በመመገብ ይሰራል።