แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบทฤษฎีเคอร์เนลแทนเจนต์ประสาท

ทดสอบว่าเคอร์เนล Neural Tangent เชื่อมโยงการฝึกเครือข่ายที่มีความกว้างไม่จำกัดกับวิธีเคอร์เนลและไดนามิกของพื้นที่ฟังก์ชันในขีดจำกัดเชิงเส้นได้อย่างไร

เส้นทางแนะนำที่เกี่ยวข้องทฤษฎีเคอร์เนลแทนเจนต์ประสาท
คำถาม 1 ของ 8

ในขีดจำกัดความกว้างไม่สิ้นสุด Neural Tangent Kernel มีพฤติกรรมอย่างไรระหว่างการฝึก

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. ในขีดจำกัดความกว้างไม่สิ้นสุด Neural Tangent Kernel มีพฤติกรรมอย่างไรระหว่างการฝึก
    • โดยพื้นฐานแล้วจะคงที่
    • มันเปลี่ยนแปลงอย่างรวดเร็วทุกย่างก้าว
    • มันจะกลายเป็นศูนย์
    • มันเติบโตแบบทวีคูณ
  2. NTK ในทางคณิตศาสตร์คืออะไร?
    • เฮสเซียนแห่งการสูญเสีย
    • ผลคูณภายในของการไล่ระดับพารามิเตอร์ของเครือข่ายสำหรับอินพุต 2 ตัว
    • ซอฟต์แม็กซ์ของเอาท์พุต
    • ความแปรปรวนของน้ำหนัก
  3. ใครเป็นผู้แนะนำ Neural Tangent Kernel
    • ฮินตัน และ ซาลาคุตดินอฟ
    • เลอคุน และ เบงโจ้
    • จาค็อต, กาเบรียล และฮองเลอร์ (2018)
    • วาสวานีและคณะ
  4. ระบอบการปกครอง 'การฝึกขี้เกียจ' คืออะไร?
    • เมื่อการฝึกหยุดลง
    • เมื่อเครื่องมือเพิ่มประสิทธิภาพไม่มีโมเมนตัม
    • เมื่อข้อมูลถูกป้อนเข้าอย่างช้าๆ
    • เมื่อพารามิเตอร์แทบจะไม่เคลื่อนที่จากการเริ่มต้นและเครือข่ายทำงานเป็นเส้นตรง
  5. ข้อจำกัดที่สำคัญของทฤษฎี NTK สำหรับเครือข่ายจริงคือ ขาด:
    • การเรียนรู้คุณลักษณะในเครือข่ายที่มีความกว้างจำกัด
    • บทบาทของการไล่ระดับสี
    • การมีอยู่ของตุ้มน้ำหนัก
    • การใช้ข้อมูลการฝึกอบรม
  6. เนื่องจาก NTK ลดการฝึกการถดถอยของเคอร์เนล อะไรจะเป็นไปได้?
    • ขจัดความต้องการข้อมูลใดๆ
    • คาดการณ์ผลลัพธ์ที่ได้รับการฝึกโดยไม่ได้รับการฝึกอย่างเต็มที่
    • การรันโมเดลโดยไม่มีพารามิเตอร์
    • รับประกันข้อผิดพลาดในการทดสอบเป็นศูนย์เสมอ
  7. In the infinite-width limit, what probabilistic model are neural networks equivalent to at initialization?
    • โมเดลมาร์คอฟที่ซ่อนอยู่
    • ชุดต้นไม้ตัดสินใจ
    • A Gaussian process
    • A finite-state game controller
  8. For least-squares regression in the NTK limit, what mathematical form does the network function's training evolution follow?
    • A discrete rule that randomly changes labels
    • A decision tree that grows one branch per epoch
    • A nonlinear search over audio frames
    • A linear differential equation in function space