引导式测验 · 硬 等级
神经正切核理论测验
测试神经正切内核如何在线性化限制下将无限宽度网络训练与内核方法和函数空间动力学联系起来。
问题 1 的 8
在无限宽度限制下，神经正切核在训练过程中表现如何？
预览每个问题8 问题
当您参加测验时，就会出现答案和解释。
- 在无限宽度限制下，神经正切核在训练过程中表现如何？
- 它基本保持不变
- 每一步都变化很快
- 就变成零了
- 它呈指数级增长
- NTK在数学上是什么？
- 损失的黑森州
- 两个输入的网络参数梯度的内积
- 输出的softmax
- 权重的方差
- 谁引入了神经正切内核？
- 辛顿和萨拉胡迪诺夫
- LeCun 和 Bengio
- 贾科特、加布里埃尔和洪勒 (2018)
- 瓦斯瓦尼和同事
- 什么是“懒惰训练”制度？
- 当训练暂停时
- 当优化器不使用动量时
- 当数据缓慢输入时
- 当参数几乎没有从初始化变化并且网络表现线性时
- NTK 理论对于真实网络的一个关键限制是它忽略了：
- 有限宽度网络中的特征学习
- 梯度下降的作用
- 权重的存在
- 训练数据的使用
- 因为 NTK 将训练减少为内核回归，所以什么变得可能？
- 无需任何数据
- 在没有充分训练的情况下预测训练输出
- 不带参数运行模型
- 始终保证零测试误差
- 在无限宽度限制下，神经网络在初始化时相当于什么概率模型？
- 隐马尔可夫模型
- 决策树集成
- 高斯过程
- 有限状态游戏控制器
- 对于 NTK 极限下的最小二乘回归，网络函数的训练演化遵循什么数学形式？
- 随机改变标签的离散规则
- 每个时期生长一个分支的决策树
- 音频帧的非线性搜索
- 函数空间中的线性微分方程