แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
แบบทดสอบทฤษฎีเคอร์เนลแทนเจนต์ประสาท
ทดสอบว่าเคอร์เนล Neural Tangent เชื่อมโยงการฝึกเครือข่ายที่มีความกว้างไม่จำกัดกับวิธีเคอร์เนลและไดนามิกของพื้นที่ฟังก์ชันในขีดจำกัดเชิงเส้นได้อย่างไร
คำถาม 1 ของ 8
ในขีดจำกัดความกว้างไม่สิ้นสุด Neural Tangent Kernel มีพฤติกรรมอย่างไรระหว่างการฝึก
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- ในขีดจำกัดความกว้างไม่สิ้นสุด Neural Tangent Kernel มีพฤติกรรมอย่างไรระหว่างการฝึก
- โดยพื้นฐานแล้วจะคงที่
- มันเปลี่ยนแปลงอย่างรวดเร็วทุกย่างก้าว
- มันจะกลายเป็นศูนย์
- มันเติบโตแบบทวีคูณ
- NTK ในทางคณิตศาสตร์คืออะไร?
- เฮสเซียนแห่งการสูญเสีย
- ผลคูณภายในของการไล่ระดับพารามิเตอร์ของเครือข่ายสำหรับอินพุต 2 ตัว
- ซอฟต์แม็กซ์ของเอาท์พุต
- ความแปรปรวนของน้ำหนัก
- ใครเป็นผู้แนะนำ Neural Tangent Kernel
- ฮินตัน และ ซาลาคุตดินอฟ
- เลอคุน และ เบงโจ้
- จาค็อต, กาเบรียล และฮองเลอร์ (2018)
- วาสวานีและคณะ
- ระบอบการปกครอง 'การฝึกขี้เกียจ' คืออะไร?
- เมื่อการฝึกหยุดลง
- เมื่อเครื่องมือเพิ่มประสิทธิภาพไม่มีโมเมนตัม
- เมื่อข้อมูลถูกป้อนเข้าอย่างช้าๆ
- เมื่อพารามิเตอร์แทบจะไม่เคลื่อนที่จากการเริ่มต้นและเครือข่ายทำงานเป็นเส้นตรง
- ข้อจำกัดที่สำคัญของทฤษฎี NTK สำหรับเครือข่ายจริงคือ ขาด:
- การเรียนรู้คุณลักษณะในเครือข่ายที่มีความกว้างจำกัด
- บทบาทของการไล่ระดับสี
- การมีอยู่ของตุ้มน้ำหนัก
- การใช้ข้อมูลการฝึกอบรม
- เนื่องจาก NTK ลดการฝึกการถดถอยของเคอร์เนล อะไรจะเป็นไปได้?
- ขจัดความต้องการข้อมูลใดๆ
- คาดการณ์ผลลัพธ์ที่ได้รับการฝึกโดยไม่ได้รับการฝึกอย่างเต็มที่
- การรันโมเดลโดยไม่มีพารามิเตอร์
- รับประกันข้อผิดพลาดในการทดสอบเป็นศูนย์เสมอ
- In the infinite-width limit, what probabilistic model are neural networks equivalent to at initialization?
- โมเดลมาร์คอฟที่ซ่อนอยู่
- ชุดต้นไม้ตัดสินใจ
- A Gaussian process
- A finite-state game controller
- For least-squares regression in the NTK limit, what mathematical form does the network function's training evolution follow?
- A discrete rule that randomly changes labels
- A decision tree that grows one branch per epoch
- A nonlinear search over audio frames
- A linear differential equation in function space