引导式测验 · 中等 等级
残差网络测验
回顾残差块计算、恒等快捷方式、梯度路径、ImageNet 时代的深度以及残差如何在神经架构中重现。
问题 1 的 8
残差连接具体解决了什么问题？
预览每个问题8 问题
当您参加测验时，就会出现答案和解释。
- 残差连接具体解决了什么问题？
- 较深的普通网络训练效果比较浅的网络训练效果更差（退化）
- 图片分辨率太低
- 缺乏标记的训练数据
- GPU 内存不足
- 当输入和输出维度匹配时，基本的残差块计算什么？
- 将输入与其自身相乘
- 将该块学习到的残差函数与其输入相加，即 y = F(x) + x
- 丢弃输入并返回零
- 按字母顺序对输入通道进行排序
- 为什么跳过连接有助于训练期间的梯度？
- 它们消除了训练权重的需要
- 它们强制每一层输出零
- 它们为学习到的变换周围的梯度流提供了额外的直接路径
- 它们使深度网络免受所有优化问题的影响
- 在原始 ImageNet 论文中评估的最深 ResNet 有多深？
- 18 层
- 34 层
- 50 层
- 152层
- 如果残差块的层学习 F(x) = 0，那么该块会做什么？
- 它有效地通过不变的（身份）传递输入
- 它输出零并破坏网络
- 它使输入加倍
- 它随机化输出
- Transformer 论文描述了注意力机制和前馈子层周围的什么残差连接？
- 用类标签替换子层输入
- 通过残差连接将每个子层的输出与其输入相加
- 仅在输出端对每个 token 进行全局平均
- 移除自注意力机制后的残差流
- 当残差块改变通道维度时，投影快捷连接（projection shortcut）可以做什么？
- 将输入转换为文本序列
- 移除残差分支
- 将快捷连接输入映射到相加所需的维度
- 保证每个梯度都具有单位量级
- 什么卷积序列定义了原始 ResNet 的瓶颈块（bottleneck block）？
- 仅三个 3×3 卷积
- 一个 3×3 卷积，后接两个全连接层
- 一个池化层，后接两个转置卷积
- 一个 1×1，然后 3×3，再然后 1×1 的卷积