เลนส์ Logit และการถอดรหัสเลเยอร์ระดับกลาง

เลนส์ Logit เป็นเคล็ดลับในการตีความซึ่งจะถอดรหัสสถานะที่ซ่อนอยู่ของหม้อแปลงในทุกชั้นเป็นการคาดเดาคำศัพท์ ทำให้คุณดูรูปแบบการเดาได้อย่างเจาะลึก สิ่งสำคัญเพราะมันเปลี่ยนกองคณิตศาสตร์ทึบแสงให้กลายเป็นเรื่องราวที่อ่านง่ายทีละชั้นว่าแบบจำลองมาถึงคำตอบได้อย่างไร

เลนส์ Logit จะนำเมทริกซ์บรรทัดฐานเลเยอร์สุดท้ายและเมทริกซ์ที่ไม่มีการฝังของแบบจำลองกลับมาใช้ใหม่ เพื่อฉายภาพเวกเตอร์กระแสตกค้างระดับกลางลงในบันทึกคำศัพท์

หม้อแปลงจะเพิ่มเอาท์พุตของแต่ละเลเยอร์ลงในกระแสตกค้างที่ใช้ร่วมกัน ดังนั้นสถานะขั้นกลางจึงอยู่ในพื้นที่ที่เข้ากันได้กับตัวถอดรหัสขั้นสุดท้าย

เลนส์ที่ได้รับการปรับแต่งจะฝึกฝนแผนผังความสัมพันธ์เล็กๆ ต่อเลเยอร์ ดังนั้นสถานะขั้นกลางจึงถอดรหัสได้อย่างแม่นยำยิ่งขึ้น ซึ่งช่วยลดอคติและสัญญาณรบกวนในเลเยอร์เริ่มต้นของเลนส์ธรรมดา

การศึกษาพบว่าคำตอบที่ถูกต้องมักจะปรากฏในชั้นกลางและถูกทำให้คมขึ้นในภายหลัง ในขณะที่ชั้นแรกๆ ชอบการเดาแบบผิวเผินหรือแบบลอกเลียนแบบ

ค่านิยมหลักคือความสามารถในการตีความได้ ซึ่งเผยให้เห็นวิวัฒนาการแบบชั้นต่อชั้นของการกระจายโทเค็นที่คาดการณ์ไว้ของแบบจำลอง