คู่มือ AI ภาษา
ChatGPT และโมเดลภาษาขนาดใหญ่ (LLMs)
โมเดลภาษาขนาดใหญ่ (LLM) คือโครงข่ายประสาทเทียมที่ได้รับการฝึกอบรมเกี่ยวกับข้อความจำนวนมหาศาลเพื่อคาดเดาข้อความชิ้นเล็กๆ ถัดไปที่เรียกว่าโทเค็น จากนั้นจึงปรับให้ทำตามคำแนะนำ
ฟังคำแนะนำนี้บรรยายโดย AI · ~8 min
บนหน้านี้อ่าน 9 นาที
ภาพรวม
ChatGPT เป็นผลิตภัณฑ์ที่สร้างขึ้นสำหรับรุ่นดังกล่าว การรู้ว่าการทำนายทำงานอย่างไรจะอธิบายว่าทำไมระบบเหล่านี้จึงเขียนได้คล่อง และเหตุใดจึงสามารถระบุสิ่งที่เป็นเท็จได้อย่างมั่นใจ
ประเด็นสำคัญ
- แบบจำลองภาษาขนาดใหญ่ทำนายโทเค็นถัดไปของข้อความ ทีละโทเค็น โดยใช้ความน่าจะเป็นที่เรียนรู้จากเนื้อหาที่เป็นลายลักษณ์อักษรจำนวนมหาศาล
- ChatGPT เป็นผลิตภัณฑ์ที่สร้างขึ้นจากโมเดลภาษา OpenAI เปิดตัวเมื่อวันที่ 30 พฤศจิกายน 2022 โดยปรับแต่งมาจากรุ่นซีรีส์ GPT-3.5
- ผู้ช่วยแชทถูกสร้างขึ้นในสองขั้นตอน: การฝึกอบรมเบื้องต้นเกี่ยวกับข้อความดิบ จากนั้นจัดตำแหน่งตามตัวอย่างที่เขียนโดยมนุษย์และการจัดอันดับของมนุษย์หรือที่เรียกว่า RLHF
- ในการศึกษา InstructGPT ของ OpenAI ผู้คนชอบคำตอบจากโมเดลที่ปรับแต่งคำสั่งด้วยพารามิเตอร์ 1.3 พันล้านพารามิเตอร์ มากกว่าคำตอบของ GPT-3 พารามิเตอร์ 175 พันล้านพารามิเตอร์
- Chinchilla ของ DeepMind แสดงให้เห็นว่าโมเดลที่มีพารามิเตอร์ 7 หมื่นล้านพารามิเตอร์ที่ฝึกฝนบนโทเค็น 1.4 ล้านล้านโทเค็น สามารถทำงานได้ดีกว่าโมเดลขนาดใหญ่กว่ามากที่ฝึกฝนโดยใช้ข้อความน้อยลง
- LLM สามารถจัดทำข้อความที่คล่องแต่เป็นเท็จ ดังนั้นข้อเท็จจริง รูปภาพ คำพูดอ้างอิง และการอ้างอิงจากสิ่งเหล่านี้จึงจำเป็นต้องตรวจสอบกับแหล่งที่มาดั้งเดิม
เจาะลึก
A large language model is a computer program that has learned the statistical patterns of language by reading a very large amount of text. Its job, at the lowest level, is simple: given some text, predict what comes next. It does this one token at a time. A token is a chunk of text such as a whole common word, part of a rarer word, a number or a punctuation mark. The model assigns a probability to every token in its vocabulary, picks one, adds it to the text, and repeats. Large refers to the number of adjustable internal numbers, called parameters: GPT-3, described in a 2020 OpenAI paper, had 175 billion. ChatGPT, by contrast, is a product. It wraps one or more language models in an app with a chat interface, safety filters, memory features and, in later versions, tools such as web search. The model and the product are not the same thing.
Inside, almost every current LLM is a Transformer, the design introduced by Google researchers in 2017. First, each token is turned into a list of numbers called an embedding. Then the text passes through a stack of identical layers. Each layer has an attention step, in which every token looks back at the earlier tokens and pulls in information from the ones that matter for it, and a feed-forward step, which transforms each token's numbers on its own. GPT-3 stacked 96 such layers, each 12,288 numbers wide with 96 attention heads, and could look at 2,048 tokens of text at once, a limit called the context window. After the last layer, the model converts the final token's numbers into a probability for every possible next token.
Building a chat assistant takes two broad stages. The first is pretraining. The model reads a huge collection of text and, at each position, is penalized according to how much probability it gave the token that actually came next. GPT-3 was trained on 300 billion tokens, mostly filtered web pages plus books and Wikipedia, using about 3.14 times 10 to the 23rd power arithmetic operations. The result is a model that can continue any text but does not reliably follow requests. The second stage is alignment. In OpenAI's 2022 InstructGPT work, people wrote example answers to prompts and the model was fine-tuned on them; then people ranked several model answers from best to worst, a separate reward model learned to predict those rankings, and reinforcement learning nudged the language model toward answers the reward model scored highly. This is called reinforcement learning from human feedback, or RLHF. In human evaluations, answers from a 1.3-billion-parameter InstructGPT model were preferred to those of the original 175-billion-parameter GPT-3.
The key milestones are well documented. June 2017: the Transformer paper. May 2020: GPT-3 shows that a sufficiently large model can do new tasks from a few examples written into the prompt, which its authors called few-shot learning. March 2022: InstructGPT introduces the instruction-following recipe, and DeepMind's Chinchilla paper shows that many large models had been trained on too little text. Chinchilla, with 70 billion parameters trained on 1.4 trillion tokens, outperformed the 280-billion-parameter Gopher and the 175-billion-parameter GPT-3, and the authors concluded that training text should double whenever model size doubles. November 30, 2022: ChatGPT launches as a free research preview, trained with the same RLHF methods using dialogue data. March 2023: GPT-4 accepts images as well as text and scores around the top 10% on a simulated bar exam, though its report discloses no details of model size or architecture.
LLMs are often compared with search engines and with older chatbots. A search engine finds existing documents and shows where they came from. An LLM generates new text from patterns it learned, so its answer may be fluent but has no built-in link to a source unless the product adds retrieval or search. Older chatbots, such as phone menus and customer service scripts, matched keywords to replies written in advance; an LLM composes each reply fresh, which makes it far more flexible and far less predictable. Among LLMs, closed models are offered only through a company's app or API, while open-weight models publish their parameters so anyone can run them; the Stanford AI Index 2025 found the performance gap between the best open and closed models shrank from 8% to 1.7% on some benchmarks in a year.
The main weakness is that predicting likely text is not the same as knowing facts. OpenAI's own ChatGPT launch post listed the problems plainly: the model sometimes writes plausible-sounding but incorrect answers, gives different answers to slightly reworded questions, is often too wordy, guesses at ambiguous questions instead of asking, and can still follow harmful instructions or show bias. A 2025 paper by Adam Tauman Kalai and colleagues argues that these confident errors, usually called hallucinations, persist partly because training and benchmark scoring reward guessing over admitting uncertainty. Other limits follow from the design. A model knows nothing after the date its training text was collected unless it is connected to search. It cannot see its own sources. And the GPT-4 report itself notes the model is less capable than people in many real-world situations.
Costs fall into training and use. Training is the expensive part: GPT-3's 3.14 times 10 to the 23rd operations was already a very large budget in 2020, and the largest models since then have used far more. Chinchilla's results showed that a smaller model trained on more text could match or beat a larger one while being cheaper to run afterward. Using a model is priced per token, both for the text sent in and the text generated, so long documents and long answers cost more. The Stanford AI Index 2025 measured a more than 280-fold drop in the price of GPT-3.5-level performance between late 2022 and late 2024. For ordinary users the practical cost is mostly time: checking claims, supplying context and verifying anything that will be relied on.
04ตัวอย่างการทำงาน
คำนวณความน่าจะเป็นของโทเค็นถัดไปและดูอุณหภูมิในที่ทำงาน
ลองจินตนาการถึงความรวดเร็ว เมืองหลวงของฝรั่งเศสคือและผู้ท้าชิงสามคนถัดไปที่มีคะแนนดิบจากแบบจำลอง: ปารีส 5, ลียง 3, ฝรั่งเศส 2
ยกกำลังแต่ละคะแนน: e กำลัง 5 ประมาณ 148.4, e กำลัง 3 ประมาณ 20.1, e กำลัง 2 ประมาณ 7.4 ผลรวมของพวกเขาคือประมาณ 175.9
หารด้วยผลรวมเพื่อให้ได้ความน่าจะเป็นที่อุณหภูมิ 1: ปารีสประมาณ 0.84 ลียงประมาณ 0.11 ฝรั่งเศสประมาณ 0.04
ตอนนี้ให้หารทุกคะแนนด้วยอุณหภูมิ 2 ก่อนที่จะยกกำลัง: e กำลัง 2.5 มีค่าประมาณ 12.2, e กำลัง 1.5 มีค่าประมาณ 4.5, e กำลัง 1 มีค่าประมาณ 2.7, ผลรวมประมาณ 19.4
คำนวณความน่าจะเป็นใหม่: ปารีสประมาณ 0.63, ลียงประมาณ 0.23, ฝรั่งเศสประมาณ 0.14
โปรดทราบว่าแบบจำลองจะเลือกลียงประมาณหนึ่งครั้งในเก้าครั้งที่อุณหภูมิ 1 และเกือบหนึ่งครั้งในสี่ที่อุณหภูมิ 2 แม้ว่าปารีสจะถูกต้องก็ตาม
มันแสดงให้เห็นอะไร
ความน่าจะเป็นในแต่ละกรณีรวมกันได้ประมาณ 1 ซึ่งก็คือเช็ค แบบฝึกหัดนี้แสดงให้เห็นว่า LLM เลือกคำโดยการสุ่มตัวอย่างจากการแจกแจงความน่าจะเป็น ดังนั้นอุณหภูมิที่สูงขึ้นจะทำให้ข้อความมีความหลากหลายมากขึ้น และยังมีโอกาสเกิดโทเค็นที่ผิดมากขึ้นอีกด้วย
การใช้งานจริงในโลกแห่งความเป็นจริง
ผู้ช่วยสนทนา: OpenAI เปิดตัว ChatGPT ในวันที่ 30 พฤศจิกายน 2022 ในรูปแบบตัวอย่างการวิจัยฟรี ปรับแต่งมาจากรุ่นซีรีส์ GPT-3.5 พร้อมการเรียนรู้เสริมจากความคิดเห็นของมนุษย์ เพื่อให้สามารถจัดการกับคำถามติดตามผลได้
การเรียนรู้จากตัวอย่างบางส่วน: รายงาน GPT-3 ปี 2020 แสดงแบบจำลองพารามิเตอร์ 1.75 แสนล้านรายการที่ทำการแปล การตอบคำถาม และเลขคณิตจากตัวอย่างจำนวนหนึ่งที่อยู่ในข้อความแจ้ง โดยไม่มีการฝึกอบรมซ้ำ
การสอบระดับมืออาชีพ: รายงานทางเทคนิค GPT-4 ของ OpenAI ตั้งแต่เดือนมีนาคม 2023 ระบุว่า GPT-4 ผ่านการสอบแบบแท่งจำลองด้วยคะแนนประมาณ 10% แรกของผู้สอบ และยอมรับทั้งรูปภาพและข้อความ
การใช้งานในชีวิตประจำวันที่ถูกกว่า: Stanford AI Index ปี 2025 รายงานว่าต้นทุนของประสิทธิภาพระดับ GPT-3.5 ลดลงมากกว่า 280 เท่าระหว่างเดือนพฤศจิกายน 2022 ถึงตุลาคม 2024 ซึ่งเป็นเหตุผลว่าทำไมความช่วยเหลือในการสรุป การร่าง และการเขียนโค้ดจึงมีราคาไม่แพงนัก
อนาคตของ ChatGPT และโมเดลภาษาขนาดใหญ่ (LLM)
Several open problems are shaping language models after 2025. Reliability is the most visible. The 2025 paper Why Language Models Hallucinate proposes changing how leaderboards score answers so that admitting uncertainty is not punished, rather than adding more specialized hallucination tests; whether benchmark makers adopt that approach is still an open question. A second direction is grounding. Products increasingly connect models to search engines, document stores and software tools so answers can be checked against current sources, which reduces but does not remove fabricated details. A third is efficiency. Following the 2022 Chinchilla findings, developers have favored training smaller models on more text, and the Stanford AI Index 2025 recorded both falling inference prices and a narrowing gap between open-weight and closed models. Transparency is a fourth issue. The GPT-4 Technical Report of March 2023 withheld model size, hardware and training data details, citing competition and safety, which makes independent evaluation of such models harder. Researchers continue to debate whether next-token prediction plus more scale will keep yielding broader reasoning abilities, or whether different training methods will be needed.
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ความเร็วและขนาด. ขั้นตอนการทำงานของภาษาสามารถดำเนินไปได้เร็วขึ้นโดยไม่กระทบต่อความสม่ำเสมอ
- เข้าถึงและเข้าถึง. ขยายการเข้าถึงภาษาและรูปแบบการสื่อสาร
- การตัดสินใจที่ชัดเจนยิ่งขึ้น. ทีมสามารถใช้เวลามากขึ้นในการตัดสิน ในขณะที่ระบบอัตโนมัติจัดการกับการทำซ้ำ
ระวัง
- ข้อเท็จจริงที่หลอนประสาทสามารถเข้าสู่รายงาน กระแสสนับสนุน หรือผลการวิจัยได้อย่างเงียบๆ
- ความละเอียดอ่อนของการแจ้งเตือนสามารถสร้างผลลัพธ์ที่ไม่สอดคล้องกันในคำขอที่คล้ายกัน
- ข้อมูลข้อความที่ละเอียดอ่อนอาจถูกเปิดเผยหากการควบคุมการเข้าถึงอ่อนแอ
ขั้นตอนต่อไป
- กำหนดรูปแบบเอาต์พุต โทนเสียง และมาตรฐานคุณภาพก่อนเปิดตัว
- การตอบสนองภาคพื้นดินกับแหล่งข้อมูลที่เชื่อถือได้เมื่อใดก็ตามที่ความแม่นยำมีความสำคัญ
- รักษาจุดตรวจสอบการตรวจสอบโดยมนุษย์สำหรับผลลัพธ์ที่มีเดิมพันสูง
- ติดตามรูปแบบความล้มเหลวและฝึกอบรมพร้อมท์หรือเวิร์กโฟลว์เป็นประจำ
ที่มาและอ่านเพิ่มเติม
- arXiv (Google, 2017)ความเอาใจใส่คือสิ่งที่คุณต้องการ
- arXiv (OpenAI, 2020)โมเดลภาษาเป็นผู้เรียนเพียงไม่กี่คน
- arXiv (OpenAI, 2022)ฝึกอบรมโมเดลภาษาให้ปฏิบัติตามคำแนะนำพร้อมคำติชมของมนุษย์
- arXiv (DeepMind, 2022)การฝึกอบรมโมเดลภาษาขนาดใหญ่ที่เพิ่มประสิทธิภาพการประมวลผล
- OpenAIขอแนะนำ ChatGPT
- arXiv (OpenAI, 2023)รายงานทางเทคนิค GPT-4
- arXiv (Kalai, Nachum, Vempala and Zhang, 2025)เหตุใดโมเดลภาษาจึงเกิดภาพหลอน
- Stanford Institute for Human-Centered AIรายงานดัชนี AI ปี 2025
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ทำแบบทดสอบ ChatGPT และ Large Language Models (LLM)
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
ChatGPT และ Large Language Models (LLM) คืออะไร
โมเดลภาษาขนาดใหญ่ (LLM) คือโครงข่ายประสาทเทียมที่ได้รับการฝึกอบรมเกี่ยวกับข้อความจำนวนมหาศาลเพื่อคาดเดาข้อความชิ้นเล็กๆ ถัดไปที่เรียกว่าโทเค็น จากนั้นจึงปรับให้ทำตามคำแนะนำ ChatGPT เป็นผลิตภัณฑ์ที่สร้างขึ้นสำหรับรุ่นดังกล่าว การรู้ว่าการทำนายทำงานอย่างไรจะอธิบายว่าทำไมระบบเหล่านี้จึงเขียนได้คล่อง และเหตุใดจึงสามารถระบุสิ่งที่เป็นเท็จได้อย่างมั่นใจ
วัตถุประสงค์การฝึกอบรมทั่วไปสำหรับโมเดลภาษาแบบถอยหลังอัตโนมัติคืออะไร
คู่มือนี้อธิบายว่าโมเดลภาษาแบบถอยหลังอัตโนมัติใช้บริบทเพื่อให้คะแนนโทเค็นถัดไปที่เป็นไปได้
โมเดลภาษาสามารถแบ่งคำหนึ่งคำออกเป็นหลายหน่วยประมวลผลได้ หน่วยเหล่านั้นคืออะไร?
ข้อความจะถูกแปลงเป็นโทเค็น ซึ่งสามารถแทนคำ ส่วนของคำ หรือหน่วยอื่นๆ ได้
Chatbot เกี่ยวข้องกับ LLM อย่างไร
คู่มือนี้จะแยกแยะโมเดลจากแอปพลิเคชันที่สามารถรวมเข้ากับระบบอื่นได้
ข้อความใดที่ทำให้การฝึกอบรมแตกต่างจากการกระตุ้นเตือนและการดึงข้อมูลกลับมา
คู่มือนี้ถือว่าการฝึกอบรม การแจ้ง การดึงข้อมูล และเครื่องมือเป็นกลไกที่แตกต่างกัน
การจัดหาแหล่งช่วยขจัดภาพหลอนหรือไม่?
แหล่งข้อมูลที่เกี่ยวข้องสามารถช่วยได้ แต่ยังต้องมีการตรวจสอบคำตอบกับแหล่งข้อมูลเหล่านั้น
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้