人工智能基金会
了解什么是人工智能,系统如何学习,哪些地方失误,以及如何在不夸大的情况下判断主张。
免费人工智能库
177 简明英语指南、结构化学习路径和开放图书馆——由独立的 501(c)(3) 非营利组织构建,以便任何人都可以理解现代人工智能。
从这里开始
每门课程都包含明确的成果、能力规划、实践活动和应用毕业设计。
了解什么是人工智能,系统如何学习,哪些地方失误,以及如何在不夸大的情况下判断主张。
在保护隐私、核查输出和保持人类问责的同时,高效使用人工智能。
评估工作场所用例,运行安全试点,衡量价值,负责任地沟通变更。
通过权利、公平、治理、安全和公共利益结果分析人工智能系统。
通过实用的系统设计,理解语言模型、检索、代理、评估、成本和部署保障。
主题曲目
跳入您关心的领域。每条赛道都有多个简单的英文指南。
全库
177 的 1019 显示指南。按曲目过滤或在上方搜索。
注意力推出是一种跟踪信息如何流经 Transformer 堆叠注意力层的方法,以解释哪些输入标记影响……
技术的二阶优化使用曲率信息(二阶导数的 Hessian 矩阵)来采取更智能的步骤来达到最小值,而不仅仅是斜率。
技术的RMSNorm 是一个轻量级归一化层,它通过均方根重新调整激活值,预层归一化将该步骤放在每个……之前
技术的SwiGLU 是一种门控激活函数,它将输入的一个线性投影乘以 Swish 激活的第二个投影,充当可学习的……
技术的挤压和激励(SE)块让卷积网络了解每个特征通道的权重,并根据全局上下文重新校准它们。
技术的热身在训练前将学习率从接近于零的位置轻轻地提高,然后余弦退火沿着余弦曲线将学习率平滑地衰减回来。
技术的循环学习率在下限和上限之间反复循环学习率,而不是仅仅衰减它。
技术的锐度感知最小化(SAM)是一种优化方法,它不仅寻求低损失,而且寻求整个权重邻域的低损失——平坦……
技术的线性探测通过冻结网络并仅在顶部训练一个简单的线性分类器来测试预训练模型的内部表示的好坏。
技术的DenseNet 是一个卷积网络,其中每一层都接收所有前面层的特征图作为输入。
技术的瓶颈架构将数据压缩通过狭窄的中间层,然后再次扩展,迫使网络学习紧凑、高效……
技术的梯度累积可让您在更新之前对几个小批量的梯度求和,从而在有限的 GPU 内存上模拟大批量大小……