การฝังข้อความ

They are the foundation for semantic search, recommendations, clustering, and the retrieval behind many AI assistants.

คอมพิวเตอร์ไม่สามารถให้เหตุผลโดยตรงเกี่ยวกับข้อความดิบได้ ดังนั้นการฝังจึงแปลงภาษาเป็นเวกเตอร์ตัวเลขที่มีความยาวคงที่ ซึ่งมักจะมีขนาดตั้งแต่สองสามร้อยไปจนถึงมากกว่าหนึ่งพันมิติ คุณสมบัติหลักคือระยะทางในพื้นที่เวกเตอร์นี้สะท้อนถึงความหมาย: แผ่นดินที่ "มีความสุข" และ "สนุกสนาน" อยู่ใกล้กัน ในขณะที่ "ความสุข" และ "ยางมะตอย" อยู่ห่างไกลกัน การฝังคำในยุคแรกๆ เช่น Word2Vec และ GloVe กำหนดให้แต่ละคำมีเวกเตอร์คงที่หนึ่งตัว ซึ่งช่วยให้สามารถเปรียบเทียบได้ เช่น ราชาลบชายบวกหญิงลงจอดใกล้ราชินี ข้อจำกัดของพวกเขาคือคำเช่น "ธนาคาร" มีเวกเตอร์เหมือนกัน ไม่ว่าจะหมายถึงริมฝั่งแม่น้ำหรือธนาคารทางการเงินก็ตาม การฝังบริบทสมัยใหม่จากแบบจำลองหม้อแปลงไฟฟ้าแก้ไขปัญหานี้โดยให้คำเป็นเวกเตอร์ที่แตกต่างกันขึ้นอยู่กับประโยค โมเดลการฝังประโยคและเอกสารก้าวไปไกลยิ่งขึ้น โดยบีบอัดข้อความทั้งหมดให้เป็นเวกเตอร์ที่มีความหมายเพียงตัวเดียวที่คุณสามารถค้นหาหรือจัดกลุ่มได้