基于能量的模型
基于能量的模型 (EBM) 学习标量“能量”函数，该函数将低值分配给合理的数据，将高值分配给不合理的数据，从而定义概率分布，而不强制其易于标准化。
概述
这种灵活性使其成为机器学习领域从分类器到生成模型的统一视角。
深入探讨
基于能量的模型通过玻尔兹曼（吉布斯）分布定义概率：p(x) 与 exp(-E(x)) 成正比，其中 E(x) 是学习的能量函数，通常是神经网络。训练会降低真实数据的能量，并提高其他一切的能量。问题在于配分函数 Z，即 exp(-E(x)) 在所有可能输入上的总和或积分，这通常很难计算。因此，EBM 使用近似值进行训练：对比散度、分数匹配或噪声对比估计，并通过遵循能量梯度的 MCMC 方法（如 Langevin 动力学）进行采样。经典例子包括 Hopfield 网络和受限玻尔兹曼机；现代工作将 EBM 与扩散模型、GAN 甚至重新解释为能量函数的普通分类器联系起来。
技术洞察
该模型分配概率 p(x) = exp(-E(x)) / Z。由于 Z（所有输入的归一化器）很棘手，因此您很少直接计算可能性。相反，分数匹配和朗之万采样利用了 log p(x) 的梯度等于 E(x) 的梯度，因此 Z 被淘汰。然后，朗之万动力学通过反复推动 x 能量下降并添加噪声来生成样本，走向低能量、高概率区域。
战略影响
成本与预算
多年来，架构决策决定着性能和运营成本。
更清晰的判决
技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
质量控制
更好的工程选择可以减少生产中的可靠性事故。
基于能源的模型的未来
EBM 重新引起人们的兴趣，因为它们在扩散模型、基于分数的生成模型和判别网络之间提供了一座理论桥梁，扩散模型学习的分数本质上是能量梯度。预计会有更多的混合系统使用能量函数来实现灵活、可组合的约束（结合多种能量来引导发电），比 MCMC 更好更快的采样，以及在推理和规划中的应用，其中“找到最低能量配置”自然地表达了优化和约束满足。
现实世界的实施
Hopfield 网络充当联想存储器，通过进入低能量状态从噪声或部分输入中调用存储的模式
受限玻尔兹曼机历史上用于协作过滤和预训练深度信念网络
将标准分类器重新解释为基于能量的模型（JEM 方法），以改进校准、稳健性和分布外检测
结构化预测和约束满足，通过最小化许多交互变量（例如姿态估计或布局）的学习能量来找到解决方案
风险与防护栏
优化一项基准测试可以隐藏更广泛的系统弱点。
基础设施和维护成本常常被低估。
随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
实施路线图
在实施之前定义延迟、质量和成本目标。
在实际负载和数据条件下进行基准测试。
仪器监控错误、漂移和用户影响。
在扩展之前准备回滚和事件响应路径。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Energy-Based Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
什么是基于能源的模型？
基于能量的模型 (EBM) 学习标量“能量”函数，该函数将低值分配给合理的数据，将高值分配给不合理的数据，从而定义概率分布，而不强制其易于标准化。这种灵活性使它们成为从分类器到生成模型的大部分机器学习的统一镜头。
在基于能量的模型中，能量与数据点的概率有何关系？
通过玻尔兹曼分布，p(x) 与 exp(-E(x)) 成正比，因此合理的数据被分配为低能量和高概率。
是什么让训练基于能量的模型变得困难？
计算 Z 需要在整个输入空间上求和或积分 exp(-E(x))，这通常是不可行的，从而强制使用近似训练方法。
通常使用哪种采样方法从 EBM 中抽取样本？
朗之万动力学迭代地将样本沿能量梯度向下移动，同时增加噪声，向低能量区域收敛。
为什么像分数匹配这样的方法可以避免计算配分函数Z？
由于 Z 不依赖于 x，因此对 x 求微分 log p(x) 可以将其抵消，只留下易于处理的能量梯度。
以下哪一个是经典的基于能量的模型？
Hopfield 网络是一种早期的基于能量的模型，它将模式存储为低能量状态，并通过最小化能量来调用它们。