ICLR 2026 · Conference Paper

MMedAgent-RL

Optimizing Multi-Agent Collaboration for Multimodal Medical Reasoning

Peng Xia† · Jinglu Wang† · Yibo Peng† et al.　|　UNC-Chapel Hill · Microsoft Research · CMU · Rutgers · Yale

一句话 Hook

用 RL 训练「分诊 GP + 主治 GP」，并以课程式熵调控学会何时信任、何时纠正专科意见 —— 五套 medical VQA 上相对 SFT 平均 +23.6%。

GRPO · Qwen2.5-VL C-MARL · Entropy ID 73.3% · OOD 72.6% vs 静态多智能体

问题与动机

单专科难泛化 · 静态多智能体缺自适应 · 专科噪声破坏决策

痛点① 单智能体

单一 Med-LVLM 难以同时掌握放射、病理等多专科诊断能力（Figure 1a 左）。

痛点② 静态协作

既有 GP→Specialist→GP 流程交互模式固定，无法用新数据优化推理路径（Figure 1a 中）。

痛点③ 专科噪声

专科意见不完全可靠且可能冲突；盲目模仿会引入噪声，需学会 exploit / explore。

Figure 1：单智能体 → 静态多智能体 → 本方法动态协作；右图雷达显示 Ours 覆盖最外圈。

贡献一览

框架 · 算法 · 理论 · 实证

可训练多智能体框架

MMedAgent-RL：Qwen2.5-VL 上用 GRPO 优化分诊 GP 与主治 GP，专科由 GPT/o3 等扮演，形成可学习的临床闭环。

C-MARL 课程熵调控

按专科准确率分 Easy/Medium/Hard；动态 γₛ 驱动从信任共识到纠正错误的探索—利用权衡（Alg. 1）。

理论支撑

Theorem 4.1：curriculum 相对普通 SGD 在 GRPO 目标上更易收敛。

强实证增益

五数据集全面领先；ID Avg 73.3%、OOD Avg 72.6%；相对 SFT +23.6%；TTS 再抬升至 76.1 / 76.6。

方法总览

Figure 2：GP（分诊）→ Specialists → GP（主治）+ Curriculum RL with Entropy Regulation

原论文方法主图（未重绘）。左：输入与奖励；中：课程式熵调控；右：专科会诊与主治决策。

方法拆解

分诊 · 专科 · C-MARL · GRPO

① Initial Triage（§3.1）

基座 Qwen2.5-VL，GRPO 优化
模态标签 → 科室（k=7）
R_format∈{0,0.5} + R_accuracy∈{0,1}

② Specialists（§3.2）

proprietary LVLM 扮演（e=3）
独立给意见，不做复杂辩论
避免多数票淹没少数正确观点

③ C-MARL：主治医生（§3.3）

Easy · s=1

γ≈0.0001 · 低熵 Exploit
学习信任可靠共识

Medium · 0<s<1

γ=0.005 · 中等熵
冲突下保持多样性

Hard · s=0

γ=0.03 · 高熵 Explore
打破错误共识并纠错

J_C-MARL(θ) = E[ J_GRPO(θ) + γ_s · H_t(π_θ^attend) ]　　（Eq. 3.1）

Algorithm 1：Curriculum-Based Multi-Agent Reinforcement Learning (C-MARL)

实验设置

数据 · 基线 · 指标 · 超参

数据（Table 3）

ID：VQA-RAD · SLAKE · PathVQA
OOD：OmniMedVQA · MMMU-Med
Train 12,176（E 8321 / M 1409 / H 2626）
Test 15,153 · 指标 Accuracy

实现（F.2）

Qwen2.5-VL-7B · batch 128 · 8 rollouts
T=1.0 · LR 1e-6 · e=3
KL β：1e-3 / 4e-3 / 1e-2
OpenRLHF + vLLM · 8×A100 80GB

基线：单智能体（GPT-4o、LLaVA 系、HuatuoGPT-Vision、Qwen2.5-VL、MedVLThinker…）；多智能体（MedAgents、MDAgents、AFlow，决策侧统一 Qwen2.5-VL）。

主结果

Table 1 · 相对基座与多智能体全面领先

73.3%

ID 平均准确率

VQA-RAD / SLAKE / PathVQA

72.6%

OOD 平均准确率

OmniMedVQA / MMMU-Med

+23.6%

相对 SFT 平均增益

正文 §5.2

76.6%

TTS 后 OOD Avg

majority voting

关键结论：MMedAgent-RL (7B) ID 73.3 / OOD 72.6，全面超过 GPT-4o 与 MedAgents/MDAgents/AFlow；TTS 再提升约 4.5%。

模型	VQA-RAD	SLAKE	PathVQA	ID Avg	OmniMed	MMMU	OOD Avg
GPT-4o	61.0	75.5	69.4	68.6	68.5	69.7	69.1
Qwen2.5-VL-7B	61.8	64.7	60.5	62.3	60.8	56.6	58.7
AFlow	67.3	68.9	66.4	67.5	59.6	53.6	56.6
MMedAgent-RL	71.5	76.2	72.3	73.3	73.3	71.9	72.6
+ TTS	73.9	80.1	74.3	76.1	79.6	73.5	76.6

原论文 Table 1（未重绘）。红/蓝为原文 best / second best 标注。

消融与分析

Table 2 · Figure 3–4 · C-MARL 贡献最大

关键结论：分诊约 +3%、专科约 +4.5%、C-MARL 约 +18.6%；课程 Easy→Medium→Hard 单调提升；Hard 共识错误上整体约 +20%。

+18.6%

C-MARL 平均贡献

+20%

难度分析整体提升

26.5%

PathVQA Hard（vs SFT 10%）

Table 2：消融与课程阶段累加结果。

Figure 3：不同专科模型；Figure 4：Easy/Medium/Hard 决策难度。

局限与启发

局限

专科依赖 proprietary API（成本/复现）
课程分层训练期需要 ground-truth
评估以多选题 VQA 为主
尚无人类式「aha moment」
两 GP 以解耦更新为主
真实临床安全未充分覆盖

启发

协作瓶颈常在「如何用噪声专家」
难度可对齐协作质量而非仅题目难度
分诊本身值得 RL（OOD 优于 SFT）
可训练协作显著改善 OOD
可迁移至工具调用 / RAG / 会诊
下一步：开源专科、开放式评估、临床仿真

MMedAgent-RL 精读讲义 · ICLR 2026 · 数字均来自论文 PDF · 图片为原图裁切嵌入