免费人工智能库

技术的 指南永远免费。

177 简明英语指南、结构化学习路径和开放图书馆——由独立的 501(c)(3) 非营利组织构建,以便任何人都可以理解现代人工智能。

177免费指南
1主题曲目
~2 min根据指南
~6h阅读时间

从这里开始

成果导向课程

每门课程都包含明确的成果、能力规划、实践活动和应用毕业设计。

主题曲目

按曲目浏览

跳入您关心的领域。每条赛道都有多个简单的英文指南。

全库

所有指南

177 1019 显示指南。按曲目过滤或在上方搜索。

技术的

序列并行性和环注意力

序列并行性沿着标记(时间)维度将单个长输入序列拆分到多个 GPU 上,而环注意力机制可以让这些 GPU 进行计算……

2 最小阅读量阅读
技术的

激活重新计算权衡

激活重新计算(梯度或激活检查点)通过丢弃前向传递中的中间激活来节省训练期间的 GPU 内存......

2 最小阅读量阅读
技术的

集团相关政策优化

组相对策略优化(GRPO)是一种强化学习方法,用于微调语言模型,根据组来判断每个答案......

2 最小阅读量阅读
技术的

标准化流程

归一化流是生成模型,它通过一系列可逆、可微的……将简单的噪声(如高斯)转化为复杂的数据。

2 最小阅读量阅读
技术的

基于能量的模型

基于能量的模型 (EBM) 学习标量“能量”函数,该函数为合理的数据分配低值,为不合理的数据分配高值,定义……

2 最小阅读量阅读
技术的

优化器状态卸载到 CPU 和 NVMe

一种节省内存的技巧,将繁重的训练记录(优化器状态、梯度,有时是权重)存放在 CPU RAM 或 NVMe SSD 上……

2 最小阅读量阅读
技术的

检查点分片和可恢复训练

将模型的训练状态保存为片段(分片)的技术,以便可以保存和重新加载巨型模型,而不会阻塞内存或磁盘限制,等等......

2 最小阅读量阅读
技术的

GPU 内存管理和碎片

AI 框架如何分配、重用和回收 GPU 上的有限内存,以及为什么剩余间隙(碎片)甚至会导致内存不足错误……

2 最小阅读量阅读
技术的

多实例GPU分区

多实例 GPU (MIG) 是一项 NVIDIA 技术,可将单个物理 GPU 分割为多个独立的硬件分区。

2 最小阅读量阅读
技术的

GPU调度和集群编排

GPU 调度决定哪些作业在哪些加速器上运行以及何时运行,而编排则在整个机器集群上协调这些作业。

2 最小阅读量阅读
技术的

用于 AI 训练集群的 Slurm

Slurm 是一个开源工作负载管理器,可以在高性能计算集群上调度和运行作业,它已成为大型 AI 的默认选择......

2 最小阅读量阅读
技术的

计划与解决提示

计划与解决(PS)提示告诉语言模型首先设计一个明确的计划,然后逐步执行它,修复明显的失败......

2 最小阅读量阅读

读完了吗?证明给我看。

Check what you learned with a topic quiz, then explore our structured courses or work toward a certificate. Every guide stays free to read.