1. 联合嵌入预测架构与拟度量强化学习的交汇点在表示学习和强化学习这两个看似独立的领域中最近出现了一个引人注目的理论交汇。联合嵌入预测架构(Joint-Embedding Predictive Architectures, JEPA)通过预测目标嵌入从上下文嵌入中学习表示在潜在空间中诱导出标量兼容性能量。与此同时拟度量强化学习(Quasimetric Reinforcement Learning, QRL)则通过定向距离值研究目标条件控制。这两种方法在深层次上存在着令人惊讶的数学联系。1.1 JEPA的核心机制JEPA的基本架构包含三个关键组件上下文编码器fφ、目标编码器fφ̄和预测器pθ。给定输入对(x,y)系统首先产生潜在表示zxfφ(x)和zyfφ̄(y)然后预测器基于上下文预测目标嵌入ẑypθ(zx;c)其中c表示条件信息。训练过程使用嵌入空间中的比较函数D(·,·)LJEPA(φ,φ̄,θ) E(x,y)~D[D(ẑy,sg(zy))]这里sg表示停止梯度操作。值得注意的是即使比较函数的形式固定模型也会通过学习到的表示和预测器在输入对上诱导出一个能量景观。兼容的输入对(x,y)就是那些潜在预测误差小的对这促使我们将JEPA训练解释为学习输入对之间的标量能量(兼容性)。关键理解JEPA实际上构建了一个能量函数E(x,y)它衡量了从x到y的转换代价或难度。这个能量景观的形状完全由编码器和预测器的参数决定。1.2 QRL的几何视角QRL从完全不同的角度——目标条件控制——接近这个问题。在到达成本问题中最优价值函数V*(s,g)通常为负(取决于符号约定)并满足(s,g)中的三角不等式产生拟度量结构d*(s,g) ≜ -V*(s,g) d*(s,g) ≤ d*(s,w) d*(w,g)其中d*(s,g)∞表示不可达的对。QRL通过在学习dθ时强制实施从观察到的转移中得到的局部约束并利用三角不等式将这些约束传播到长视野从而利用这种结构。1.3 内在能量作为桥梁本文的核心洞见是当我们将注意力限制在JEPA能量函数的一个原则性类别——内在(最小作用)能量时这两种视角就统一起来了。内在能量定义为两个状态之间可接受轨迹上累积局部努力的极小值。在温和的闭合性和可加性假设下任何内在能量都是拟度量。在目标到达控制中最优到达成本函数恰好具有这种内在形式反之训练用于建模内在能量的JEPA位于QRL所针对的拟度量值类中。这种对应关系揭示了表示学习和控制理论之间深刻的联系。2. 内在能量函数的数学基础2.1 拟度量的形式化定义首先我们需要精确界定什么是拟度量。一个函数d:X×X→ℝ是拟度量如果对于所有x,y,z∈X满足自反性d(x,x) 0非负性d(x,y) ≥ 0不可区分者的同一性如果d(x,y)0则xy三角不等式d(x,z) ≤ d(x,y) d(y,z)与度量不同拟度量不要求对称性(d(x,y)d(y,x))这在实际系统中至关重要因为许多物理过程和时间演化都是不可逆的。2.2 内在能量的构造令X为路径连通的状态空间。对于x,y∈X令Γ(x→y)表示一组可接受的C1轨迹γ:[0,T]→X其中γ(0)x且γ(T)y∀T0。设L:TX→ℝ₊是局部努力密度满足L(x,v)≥c·∥v∥对某个范数∥·∥和常数c0。定义轨迹的作用量为Act(γ) ∫₀ᵀ L(γ(t),γ̇(t)) dt内在能量则定义为E(x,y) inf_{γ∈Γ(x→y)} Act(γ)如果Γ(x→y)∅则E(x,y)∞。这种构造在物理学中非常标准——它通过沿着轨迹积累局部努力来定义全局能量并在适当的正则性下产生欧拉-拉格朗日动力学。在最优控制中到达成本函数正是作为可行轨迹上累积运行成本的极小值出现的。2.3 内在能量构成拟度量的证明定理1内在能量E是X上的拟度量。证明非负性由于L≥0显然成立。自反性考虑恒定轨迹γ(t)≡x有γ̇(t)0L(x,0)与t无关对任何TAct(γ)L(x,0)·T。因此E(x,x)0。不可区分者的同一性设E(x,y)0。对任何轨迹γ Act(γ) ∫₀ᵀ L(γ(t),γ̇(t)) dt ≥ c·∥γ(T)-γ(0)∥ c·∥x-y∥ 因此0E(x,y)≥c·∥x-y∥≥0故xy。三角不等式对x,y,z∈X选择γxy∈Γ(x→y)和γyz∈Γ(y→z)以及ε0使得Act(γxy)≤E(x,y)ε和Act(γyz)≤E(y,z)ε。考虑连接γxzγxy⋆γyz∈Γ(x→z)利用积分的可加性 E(x,z) ≤ Act(γxz) Act(γxy) Act(γyz) ≤ E(x,y) E(y,z) 2ε 由于对任意ε0成立令ε→0即得三角不等式。这个证明揭示了为什么内在能量必然满足拟度量公理——它本质上是通过轨迹连接和局部努力积累的构造方式所决定的。3. 内在能量JEPA与QRL假设类3.1 内在能量JEPA的定义定义3(内在能量JEPA)设fφ:X→ℝᵈ为编码器C为从嵌入产生标量分数的预测规则(如在I-JEPA中的∥pθ(fφ(x))-fφ̄(y)∥₂)。如果一个JEPA的评估分数可以解释为Eφ,θ(x,y)我们称它诱导了一个能量Eφ,θ:X×X→ℝ₊。当Eφ,θ符合定义2的内在能量时我们称之为内在能量JEPA(IE-JEPA)。推论1如果JEPA诱导的能量Eφ,θ是内在的那么它是拟度量。图1展示了这种平行关系。3.2 JEPA如何学习能量在常见的JEPA实例(如I-JEPA)中比较器通常是固定的(如嵌入空间中的ℓ₂)而编码器和预测器是学习得到的。从这个意义上说比较器的解析形式可以给出但输入对上的诱导能量景观是通过学习到的表示和预测器得到的。相比之下QRL显式地参数化一个拟度量成本并用针对拟度量结构设计的目标来学习它。3.3 目标到达控制作为内在能量考虑X上的到达成本问题对每个从x到g的可行轨迹γ定义累积成本Act(γ)∫₀ᵀ c(γ(t),γ̇(t))dt(连续时间)或∑ₜ c(sₜ,sₜ₊₁)(离散时间)其中c≥0。最优到达成本为V*(x,g) inf_{γ∈Γ(x→g)} Act(γ)这正是定义2中的内在能量。这是支撑动态规划的标准变分/最优控制对象。推论2(IE-JEPA ⊆ QRL假设类)在最优到达成本是内在能量的目标到达问题中任何近似这种内在能量的IE-JEPA能量都是拟度量到达成本。这将IE-JEPA能量置于QRL形式化和瞄准的同一类拟度量值函数中。4. 对称性在定向可达性中的失效4.1 对称有限能量无法表示定向可达性为了避免暗示不对称性只是一种美学选择我们给出以下基本阻碍结果。命题2设R⊆X×X是定向可达关系(x,y)∈R表示y可从x到达。假设E:X×X→ℝ₊满足(i) E(x,y)∞当且仅当(x,y)∈R(在可达对上能量有限)(ii) E对称。那么R必须对称(x,y)∈R ⇒ (y,x)∈R。因此没有对称有限能量可以编码单向可达性。证明若(x,y)∈R由(i)E(x,y)∞。由(ii)E(y,x)E(x,y)∞故(y,x)∈R。这个结果清晰地解释了为什么在方向性重要时必须使用不对称(拟度量)能量——对称能量在结构上与单向可达性不兼容。4.2 实际意义在实际系统中许多过程本质上是不可逆的机械系统中的摩擦耗散热力学中的熵增学习过程中的知识获取时间演化中的因果关系在这些情况下对称距离或能量概念会丢失系统的关键方向性特征导致模型表达能力不足。拟度量框架则自然地捕捉了这种不对称性。5. 应用与扩展方向5.1 基于价值的JEPA规划Destrade等人(2025)通过塑造JEPA表示空间使(拟)距离近似负的目标条件价值从而改进了规划性能。我们的工作提供了这种方法的理论基础——当JEPA分数具有内在能量形式时它必然具有适合规划的拟度量结构。5.2 超越强化学习内在能量观点适用于任何存在可接受变换和累积局部努力的情况包括微分同胚图像配准中的变形模型其中距离被定义为最小作用能量推理结构其中蕴涵形成定向关系有序嵌入方法明确建模方向性5.3 实现考量在实际实现IE-JEPA时有几个关键设计选择局部努力密度L的选择对于连续系统L(x,v) vᵀM(x)v其中M(x)是位置相关的度量张量对于离散系统L(x,x) ∥fφ(x) - pθ(fφ(x))∥²可接受轨迹的约束物理系统满足运动学/动力学约束概念空间满足逻辑一致性约束训练策略从观察到的转移中采样轨迹片段使用对比学习区分可行与不可行转移显式强制执行三角不等式约束5.4 与其他框架的关系IE-JEPA与以下几个重要框架存在有趣的联系哈密顿神经网络将能量守恒系统建模为哈密顿动力学而IE-JEPA更关注耗散系统拉格朗日神经网络使用变分原理学习动力学与IE-JEPA的轨迹优化视角相似对比预测编码可以视为IE-JEPA在局部努力特定选择下的特例这些联系表明IE-JEPA实际上是一个更广泛的理论框架中的具体实例该框架通过变分原理和几何约束来学习表示。
联合嵌入预测架构与拟度量强化学习的能量理论统一
1. 联合嵌入预测架构与拟度量强化学习的交汇点在表示学习和强化学习这两个看似独立的领域中最近出现了一个引人注目的理论交汇。联合嵌入预测架构(Joint-Embedding Predictive Architectures, JEPA)通过预测目标嵌入从上下文嵌入中学习表示在潜在空间中诱导出标量兼容性能量。与此同时拟度量强化学习(Quasimetric Reinforcement Learning, QRL)则通过定向距离值研究目标条件控制。这两种方法在深层次上存在着令人惊讶的数学联系。1.1 JEPA的核心机制JEPA的基本架构包含三个关键组件上下文编码器fφ、目标编码器fφ̄和预测器pθ。给定输入对(x,y)系统首先产生潜在表示zxfφ(x)和zyfφ̄(y)然后预测器基于上下文预测目标嵌入ẑypθ(zx;c)其中c表示条件信息。训练过程使用嵌入空间中的比较函数D(·,·)LJEPA(φ,φ̄,θ) E(x,y)~D[D(ẑy,sg(zy))]这里sg表示停止梯度操作。值得注意的是即使比较函数的形式固定模型也会通过学习到的表示和预测器在输入对上诱导出一个能量景观。兼容的输入对(x,y)就是那些潜在预测误差小的对这促使我们将JEPA训练解释为学习输入对之间的标量能量(兼容性)。关键理解JEPA实际上构建了一个能量函数E(x,y)它衡量了从x到y的转换代价或难度。这个能量景观的形状完全由编码器和预测器的参数决定。1.2 QRL的几何视角QRL从完全不同的角度——目标条件控制——接近这个问题。在到达成本问题中最优价值函数V*(s,g)通常为负(取决于符号约定)并满足(s,g)中的三角不等式产生拟度量结构d*(s,g) ≜ -V*(s,g) d*(s,g) ≤ d*(s,w) d*(w,g)其中d*(s,g)∞表示不可达的对。QRL通过在学习dθ时强制实施从观察到的转移中得到的局部约束并利用三角不等式将这些约束传播到长视野从而利用这种结构。1.3 内在能量作为桥梁本文的核心洞见是当我们将注意力限制在JEPA能量函数的一个原则性类别——内在(最小作用)能量时这两种视角就统一起来了。内在能量定义为两个状态之间可接受轨迹上累积局部努力的极小值。在温和的闭合性和可加性假设下任何内在能量都是拟度量。在目标到达控制中最优到达成本函数恰好具有这种内在形式反之训练用于建模内在能量的JEPA位于QRL所针对的拟度量值类中。这种对应关系揭示了表示学习和控制理论之间深刻的联系。2. 内在能量函数的数学基础2.1 拟度量的形式化定义首先我们需要精确界定什么是拟度量。一个函数d:X×X→ℝ是拟度量如果对于所有x,y,z∈X满足自反性d(x,x) 0非负性d(x,y) ≥ 0不可区分者的同一性如果d(x,y)0则xy三角不等式d(x,z) ≤ d(x,y) d(y,z)与度量不同拟度量不要求对称性(d(x,y)d(y,x))这在实际系统中至关重要因为许多物理过程和时间演化都是不可逆的。2.2 内在能量的构造令X为路径连通的状态空间。对于x,y∈X令Γ(x→y)表示一组可接受的C1轨迹γ:[0,T]→X其中γ(0)x且γ(T)y∀T0。设L:TX→ℝ₊是局部努力密度满足L(x,v)≥c·∥v∥对某个范数∥·∥和常数c0。定义轨迹的作用量为Act(γ) ∫₀ᵀ L(γ(t),γ̇(t)) dt内在能量则定义为E(x,y) inf_{γ∈Γ(x→y)} Act(γ)如果Γ(x→y)∅则E(x,y)∞。这种构造在物理学中非常标准——它通过沿着轨迹积累局部努力来定义全局能量并在适当的正则性下产生欧拉-拉格朗日动力学。在最优控制中到达成本函数正是作为可行轨迹上累积运行成本的极小值出现的。2.3 内在能量构成拟度量的证明定理1内在能量E是X上的拟度量。证明非负性由于L≥0显然成立。自反性考虑恒定轨迹γ(t)≡x有γ̇(t)0L(x,0)与t无关对任何TAct(γ)L(x,0)·T。因此E(x,x)0。不可区分者的同一性设E(x,y)0。对任何轨迹γ Act(γ) ∫₀ᵀ L(γ(t),γ̇(t)) dt ≥ c·∥γ(T)-γ(0)∥ c·∥x-y∥ 因此0E(x,y)≥c·∥x-y∥≥0故xy。三角不等式对x,y,z∈X选择γxy∈Γ(x→y)和γyz∈Γ(y→z)以及ε0使得Act(γxy)≤E(x,y)ε和Act(γyz)≤E(y,z)ε。考虑连接γxzγxy⋆γyz∈Γ(x→z)利用积分的可加性 E(x,z) ≤ Act(γxz) Act(γxy) Act(γyz) ≤ E(x,y) E(y,z) 2ε 由于对任意ε0成立令ε→0即得三角不等式。这个证明揭示了为什么内在能量必然满足拟度量公理——它本质上是通过轨迹连接和局部努力积累的构造方式所决定的。3. 内在能量JEPA与QRL假设类3.1 内在能量JEPA的定义定义3(内在能量JEPA)设fφ:X→ℝᵈ为编码器C为从嵌入产生标量分数的预测规则(如在I-JEPA中的∥pθ(fφ(x))-fφ̄(y)∥₂)。如果一个JEPA的评估分数可以解释为Eφ,θ(x,y)我们称它诱导了一个能量Eφ,θ:X×X→ℝ₊。当Eφ,θ符合定义2的内在能量时我们称之为内在能量JEPA(IE-JEPA)。推论1如果JEPA诱导的能量Eφ,θ是内在的那么它是拟度量。图1展示了这种平行关系。3.2 JEPA如何学习能量在常见的JEPA实例(如I-JEPA)中比较器通常是固定的(如嵌入空间中的ℓ₂)而编码器和预测器是学习得到的。从这个意义上说比较器的解析形式可以给出但输入对上的诱导能量景观是通过学习到的表示和预测器得到的。相比之下QRL显式地参数化一个拟度量成本并用针对拟度量结构设计的目标来学习它。3.3 目标到达控制作为内在能量考虑X上的到达成本问题对每个从x到g的可行轨迹γ定义累积成本Act(γ)∫₀ᵀ c(γ(t),γ̇(t))dt(连续时间)或∑ₜ c(sₜ,sₜ₊₁)(离散时间)其中c≥0。最优到达成本为V*(x,g) inf_{γ∈Γ(x→g)} Act(γ)这正是定义2中的内在能量。这是支撑动态规划的标准变分/最优控制对象。推论2(IE-JEPA ⊆ QRL假设类)在最优到达成本是内在能量的目标到达问题中任何近似这种内在能量的IE-JEPA能量都是拟度量到达成本。这将IE-JEPA能量置于QRL形式化和瞄准的同一类拟度量值函数中。4. 对称性在定向可达性中的失效4.1 对称有限能量无法表示定向可达性为了避免暗示不对称性只是一种美学选择我们给出以下基本阻碍结果。命题2设R⊆X×X是定向可达关系(x,y)∈R表示y可从x到达。假设E:X×X→ℝ₊满足(i) E(x,y)∞当且仅当(x,y)∈R(在可达对上能量有限)(ii) E对称。那么R必须对称(x,y)∈R ⇒ (y,x)∈R。因此没有对称有限能量可以编码单向可达性。证明若(x,y)∈R由(i)E(x,y)∞。由(ii)E(y,x)E(x,y)∞故(y,x)∈R。这个结果清晰地解释了为什么在方向性重要时必须使用不对称(拟度量)能量——对称能量在结构上与单向可达性不兼容。4.2 实际意义在实际系统中许多过程本质上是不可逆的机械系统中的摩擦耗散热力学中的熵增学习过程中的知识获取时间演化中的因果关系在这些情况下对称距离或能量概念会丢失系统的关键方向性特征导致模型表达能力不足。拟度量框架则自然地捕捉了这种不对称性。5. 应用与扩展方向5.1 基于价值的JEPA规划Destrade等人(2025)通过塑造JEPA表示空间使(拟)距离近似负的目标条件价值从而改进了规划性能。我们的工作提供了这种方法的理论基础——当JEPA分数具有内在能量形式时它必然具有适合规划的拟度量结构。5.2 超越强化学习内在能量观点适用于任何存在可接受变换和累积局部努力的情况包括微分同胚图像配准中的变形模型其中距离被定义为最小作用能量推理结构其中蕴涵形成定向关系有序嵌入方法明确建模方向性5.3 实现考量在实际实现IE-JEPA时有几个关键设计选择局部努力密度L的选择对于连续系统L(x,v) vᵀM(x)v其中M(x)是位置相关的度量张量对于离散系统L(x,x) ∥fφ(x) - pθ(fφ(x))∥²可接受轨迹的约束物理系统满足运动学/动力学约束概念空间满足逻辑一致性约束训练策略从观察到的转移中采样轨迹片段使用对比学习区分可行与不可行转移显式强制执行三角不等式约束5.4 与其他框架的关系IE-JEPA与以下几个重要框架存在有趣的联系哈密顿神经网络将能量守恒系统建模为哈密顿动力学而IE-JEPA更关注耗散系统拉格朗日神经网络使用变分原理学习动力学与IE-JEPA的轨迹优化视角相似对比预测编码可以视为IE-JEPA在局部努力特定选择下的特例这些联系表明IE-JEPA实际上是一个更广泛的理论框架中的具体实例该框架通过变分原理和几何约束来学习表示。
