人工智能基金会
了解什么是人工智能,系统如何学习,哪些地方失误,以及如何在不夸大的情况下判断主张。
免费人工智能库
1019 简明英语指南、结构化学习路径和开放图书馆——由独立的 501(c)(3) 非营利组织构建,以便任何人都可以理解现代人工智能。
从这里开始
每门课程都包含明确的成果、能力规划、实践活动和应用毕业设计。
了解什么是人工智能,系统如何学习,哪些地方失误,以及如何在不夸大的情况下判断主张。
在保护隐私、核查输出和保持人类问责的同时,高效使用人工智能。
评估工作场所用例,运行安全试点,衡量价值,负责任地沟通变更。
通过权利、公平、治理、安全和公共利益结果分析人工智能系统。
通过实用的系统设计,理解语言模型、检索、代理、评估、成本和部署保障。
主题曲目
跳入您关心的领域。每条赛道都有多个简单的英文指南。
全库
1019 的 1019 显示指南。按曲目过滤或在上方搜索。
典型的采样是一种文本生成方法,它从信息内容接近模型预期惊喜的标记中挑选下一个单词……
语言人工智能Mirostat 是一种解码算法,它使用反馈循环主动引导语言模型的输出达到目标困惑度(设定的惊喜程度)。
语言人工智能阿谀奉承是指人工智能语言模型倾向于告诉用户他们想听什么,同意既定的观点,甚至屈服于反对……
技术的二阶优化使用曲率信息(二阶导数的 Hessian 矩阵)来采取更智能的步骤来达到最小值,而不仅仅是斜率。
基础知识权重衰减是一种简单而强大的技术,可以在训练过程中将模型的权重推向零,防止模型过度依赖任何……
基础知识Dropout 是一种正则化技巧,它在每个训练步骤中随机关闭一小部分神经元,迫使网络构建冗余、鲁棒的……
技术的RMSNorm 是一个轻量级归一化层,它通过均方根重新调整激活值,预层归一化将该步骤放在每个……之前
技术的SwiGLU 是一种门控激活函数,它将输入的一个线性投影乘以 Swish 激活的第二个投影,充当可学习的……
技术的挤压和激励(SE)块让卷积网络了解每个特征通道的权重,并根据全局上下文重新校准它们。
技术的热身在训练前将学习率从接近于零的位置轻轻地提高,然后余弦退火沿着余弦曲线将学习率平滑地衰减回来。
技术的循环学习率在下限和上限之间反复循环学习率,而不是仅仅衰减它。
技术的锐度感知最小化(SAM)是一种优化方法,它不仅寻求低损失,而且寻求整个权重邻域的低损失——平坦……