解决方案聚焦深度学习中的两大瓶颈问题

新智元报道：CGPO框架——多任务学习的新优化路径

随着大规模语言模型（LLMs）的迅猛发展，特别是通用大模型的应用场景愈发广泛，调整和优化语言模型输出的方法也逐渐受到关注。
强化学习与人类反馈（RLHF）是近年来被广泛采用的一种调整LLM输出方向的方法，其在处理复杂任务时表现出色。
RLHF在多任务学习（MTL）中的应用却面临着「奖励欺骗」以及多目标优化中的矛盾问题。
传统的RLHF方法依赖于线性组合的奖励模型，不仅需人工调参，还容易导致模型被某一任务的奖励优化「误导」。
针对这些问题，metaGenAI和FAIR团队提出了全新的后训练范式——ConstrainedGenerativePolicyOptimization（CGPO）。

一、CGPO框架的核心突破

CGPO框架的核心在于突破了传统RLHF对多任务学习的局限性，尤其在奖励优化与任务目标冲突之间找到了新的平衡。
通过引入「混合评审机制」（Mixture of Judges, MoJ）与高效的约束优化器，CGPO全面提升了RLHF在多任务环境中的表现。

1. 混合评审机制：消除奖励欺骗行为

CGPO的混合评审机制能够有效识别并消除模型在任务中的「奖励欺骗」行为。
通过规则评审和LLM评审的双重机制，CGPO可以智能检测出不合规的生成内容，并通过约束策略进行调整。
这保证了模型不会过度优化某一任务的奖励而牺牲其他任务的表现。

2. 约束优化器：自动化调节任务平衡

CGPO的约束优化器具备自动化调节能力，可以在不依赖人工经验的情况下，找到不同任务间的最优平衡点。
这为多任务学习提供了更优的帕累托前沿解，确保了各任务能够独立优化其目标，避免了不同任务目标之间的相互妥协。

二、CGPO的技术亮点

CGPO引入了三大RLHF约束优化器——Calibrated Regularized Policy Gradient（CRPG）、Constrained ReWard RankingFinetuning（CRRAFT）和Constrained Online DPPO（CODPO）。
这些优化器不仅解决了RLHF中的多任务优化难题，还具备强大的扩展性，适用于各种规模的LLM训练场景。

三、CGPO的多任务处理优势

在多任务环境下，CGPO通过奖励模型+多任务判定器（MoJs）+优化器的组合，为每个任务提供量身定制的对齐指导。
这种设计使得CGPO能更好地适应每个任务的独特特性，增加实现最优对齐结果的可能性。

1. 多目标奖励建模：排除不相关或相互矛盾的目标

CGPO的多目标奖励建模方法不同于传统RLHF在多目标场景中的方法。
传统方法通常采用统一的线性组合奖励模型，而CGPO则先将提示集按照性质分类为不同的子集，并针对每个任务选择合适的奖励模型进行训练。
这有助于排除不相关或相互矛盾的目标，提高在每个任务中达成最优结果的可能性。

2. 多专家对齐：定制化的判定器与优化器设置

CGPO采用多专家对齐的方法，为每个任务应用定制化的多任务判定器（MoJs）、奖励模型和优化器设置。
这使得CGPO能够针对每个任务的特定需求进行精准调整，提高模型的适应性和表现。

四、实验验证与性能提升

在多项任务的测试中，CGPO展现了显著的性能优势。
相比现有的RLHF算法如PPO和DPO，CGPO在多个基准测试中均有显著提升。
特别是在通用聊天任务、STEM问题解答任务、指令跟随、数学与推理、编程任务以及知识问答等任务中，CGPO的表现均超越了传统方法。
CGPO通过约束优化有效避免了PPO在编程任务中出现的奖励欺骗问题，确保了模型的稳定性。

五、结论

CGPO框架的提出为强化学习与人类反馈在多任务学习中的应用提供了革命性的新思路。
通过创新的混合评审机制与三大约束优化器，CGPO不仅解决了奖励欺骗和极端多目标优化的难题，还为大型语言模型的后训练提供了更稳定和高效的优化路径。
随着研究的深入，未来有望看到更多基于CGPO的自动化优化方法进一步提升多任务学习的表现。
该框架的提出为多任务学习的未来铺平了道路。

---

---

相关标签： 多任务、 优化器、 cgpo、 训练方式、 编程水平、

上一篇：科技前沿百川智能13矩阵震撼发布，助力推理成

下一篇：科研AI搜索时代来临，知乎直击知识前沿，本文库