ต่อไปคำแนะนำต่อไป
เลนส์ Logit และการถอดรหัสเลเยอร์ระดับกลาง
ภาษาเอไอ
คู่มือทางเทคนิค
เลนส์ Logit และเลนส์ที่ได้รับการปรับแต่งเป็นเทคนิคในการตีความซึ่งจะดูสถานะที่ซ่อนอยู่ของหม้อแปลงทีละชั้นเพื่อดูว่าแบบจำลองกำลัง 'คิด' อะไรก่อนที่จะสร้างคำตอบสุดท้าย
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
พวกเขาเปิดเผยว่าการคาดการณ์จะค่อยๆ ก่อตัวขึ้นอย่างไรเมื่อข้อมูลไหลผ่านเครือข่าย
หม้อแปลงไฟฟ้าสร้างคำตอบทีละน้อย: แต่ละเลเยอร์จะเพิ่ม 'กระแสตกค้าง' ที่กำลังรันอยู่ ซึ่งจะกลายเป็นความน่าจะเป็นของคำที่ส่วนท้ายสุดเท่านั้น เลนส์ logit เปิดตัวโดยนักคิดถึงความคิดถึงในปี 2020 ทางลัดนี้โดยการใช้การไม่ฝังขั้นสุดท้ายของโมเดล (และบรรทัดฐานของเลเยอร์) กับเลเยอร์กลางโดยตรง เพื่อให้คุณสามารถอ่านการคาดเดาที่ดีที่สุดของเครือข่ายในทุกความลึก ซึ่งมักจะแสดงคำตอบที่ตกผลึกในชั้นกลางถึงปลาย เลนส์ที่ได้รับการปรับแต่ง (Belrose และเพื่อนร่วมงาน, 2023) ปรับปรุงให้ดีขึ้นโดยการฝึกโพรบ affine ขนาดเล็กต่อเลเยอร์เพื่อแปลสถานะที่ซ่อนอยู่เป็นพื้นฐานสุดท้าย แก้ไขอคติและความไม่ถูกต้องที่เลนส์ Logit ดิบต้องทนทุกข์ทรมาน โดยเฉพาะอย่างยิ่งในเลเยอร์แรกๆ และในตระกูลโมเดลต่างๆ
การใช้เลนส์ Logit เพื่อดูคำตอบที่เป็นข้อเท็จจริงเหมือนกับเมืองหลวงที่ปรากฏอยู่ในชั้นกลางของแบบจำลอง
การใช้เลนส์ที่ได้รับการปรับแต่งเพื่อเปรียบเทียบว่ากลุ่มโมเดลต่างๆ มาบรรจบกันอย่างไรในการทำนายในเชิงลึก
การตรวจพบว่าโมเดลได้ 'ตัดสินใจ' ภายในคำตอบหลายชั้นก่อนเอาต์พุต
การวินิจฉัยเลเยอร์ที่การคาดการณ์โทเค็นที่เป็นอันตรายหรือเอนเอียงมีความโดดเด่นในสตรีมที่เหลือก่อน
เทคนิคการใช้เลนส์กลายเป็นมาตรฐานในการติดตามว่าข้อเท็จจริง การปฏิเสธ หรืออคติเกิดขึ้นในเชิงลึกอย่างไร และสำหรับการระบุว่าเมื่อใดที่แบบจำลอง 'รู้' คำตอบตั้งแต่เนิ่นๆ คาดว่าพวกมันจะรวมกับตัวเข้ารหัสอัตโนมัติแบบกระจัดกระจายและการแพตช์เชิงสาเหตุเพื่อย้ายจากการอธิบายการคาดการณ์ไปสู่กลไกการอธิบาย การวิจัยยังกำลังตรวจสอบว่าการอ่านค่าระหว่างกลางเผยให้เห็นความรู้ที่แฝงอยู่หรือการหลอกลวงที่แบบจำลองปกปิดไว้ในผลลัพธ์สุดท้ายหรือไม่ ทำให้เลนส์เป็นส่วนประกอบสำคัญสำหรับการตรวจสอบความปลอดภัยและการติดตามการเตือนล่วงหน้า
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
เลนส์ Logit และเลนส์ที่ได้รับการปรับแต่งเป็นเทคนิคในการตีความซึ่งจะดูสถานะที่ซ่อนอยู่ของหม้อแปลงทีละชั้นเพื่อดูว่าแบบจำลองกำลัง 'คิด' อะไรก่อนที่จะสร้างคำตอบสุดท้าย พวกเขาเปิดเผยว่าการคาดการณ์จะค่อยๆ ก่อตัวขึ้นอย่างไรเมื่อข้อมูลไหลผ่านเครือข่าย
เลนส์ Logit จะฉายสถานะกระแสตกค้างระดับกลางผ่านการไม่ฝังที่มีอยู่เพื่อดูโทเค็นที่คาดการณ์ของแบบจำลองที่ความลึกแต่ละระดับ
เลนส์ที่ได้รับการปรับแต่งจะเรียนรู้ตัวแปลเชิงเส้นต่อชั้น แก้ไขอคติ และให้การอ่านค่าที่เที่ยงตรงและสับสนน้อยกว่าเลนส์ Logit แบบดิบ
แต่ละเลเยอร์จะเขียนการอัปเดตเพิ่มเติมไปยังสตรีมที่เหลือที่ใช้ร่วมกัน ดังนั้นการฉายสตรีมนั้นตั้งแต่เนิ่นๆ จะประมาณการคาดการณ์ระดับกลาง
เลนส์ Logit ได้รับการแนะนำโดยนักคิดถึงความคิดถึงในบล็อกโพสต์ปี 2020 ที่วิเคราะห์การคาดการณ์ระดับกลางของ GPT-2
โดยทั่วไปการอ่านข้อมูลจะแสดงโทเค็นที่ถูกต้องซึ่งเพิ่มความน่าจะเป็นในเลเยอร์ระดับกลางถึงปลายเมื่อมีการคำนวณสะสม
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
เลนส์ Logit และการถอดรหัสเลเยอร์ระดับกลาง
ภาษาเอไอ