免费人工智能库

技术的 指南永远免费。

177 简明英语指南、结构化学习路径和开放图书馆——由独立的 501(c)(3) 非营利组织构建,以便任何人都可以理解现代人工智能。

177免费指南
1主题曲目
~2 min根据指南
~6h阅读时间

从这里开始

成果导向课程

每门课程都包含明确的成果、能力规划、实践活动和应用毕业设计。

主题曲目

按曲目浏览

跳入您关心的领域。每条赛道都有多个简单的英文指南。

全库

所有指南

177 1019 显示指南。按曲目过滤或在上方搜索。

技术的

注意力推出和头部修剪

注意力推出是一种跟踪信息如何流经 Transformer 堆叠注意力层的方法,以解释哪些输入标记影响……

2 最小阅读量阅读
技术的

二阶优化和牛顿法

二阶优化使用曲率信息(二阶导数的 Hessian 矩阵)来采取更智能的步骤来达到最小值,而不仅仅是斜率。

2 最小阅读量阅读
技术的

RMSNorm 和预层标准化

RMSNorm 是一个轻量级归一化层,它通过均方根重新调整激活值,预层归一化将该步骤放在每个……之前

2 最小阅读量阅读
技术的

SwiGLU 和门控激活

SwiGLU 是一种门控激活函数,它将输入的一个线性投影乘以 Swish 激活的第二个投影,充当可学习的……

2 最小阅读量阅读
技术的

挤压和激励网络

挤压和激励(SE)块让卷积网络了解每个特征通道的权重,并根据全局上下文重新校准它们。

2 最小阅读量阅读
技术的

预热和余弦退火时间表

热身在训练前将学习率从接近于零的位置轻轻地提高,然后余弦退火沿着余弦曲线将学习率平滑地衰减回来。

2 最小阅读量阅读
技术的

周期性学习率

循环学习率在下限和上限之间反复循环学习率,而不是仅仅衰减它。

2 最小阅读量阅读
技术的

锐度感知最小化

锐度感知最小化(SAM)是一种优化方法,它不仅寻求低损失,而且寻求整个权重邻域的低损失——平坦……

2 最小阅读量阅读
技术的

线性探测和冻结特征评估

线性探测通过冻结网络并仅在顶部训练一个简单的线性分类器来测试预训练模型的内部表示的好坏。

2 最小阅读量阅读
技术的

DenseNet 和密集连接

DenseNet 是一个卷积网络,其中每一层都接收所有前面层的特征图作为输入。

2 最小阅读量阅读
技术的

瓶颈架构

瓶颈架构将数据压缩通过狭窄的中间层,然后再次扩展,迫使网络学习紧凑、高效……

2 最小阅读量阅读
技术的

梯度累积

梯度累积可让您在更新之前对几个小批量的梯度求和,从而在有限的 GPU 内存上模拟大批量大小……

2 最小阅读量阅读

读完了吗?证明给我看。

Check what you learned with a topic quiz, then explore our structured courses or work toward a certificate. Every guide stays free to read.