作者: Shanghua Gao, Richard Zhu, Pengwei Sui, Zhenglun Kong, Sufian Aldogom, Yepeng Huang, Ayush Noori, Reza Shamji, Krishna Parvataneni, Theodoros Tsiligkaridis, Marinka Zitnik

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-27 | 👍 点赞数: 36

摘要:

论文标题：利用ToolUniverse实现AI科学家的普及化

中文摘要：
AI科学家是一类新兴的计算系统，可作为科研发现中的协作伙伴。然而，这类系统的构建仍然面临挑战，原因在于它们通常是定制化的，依赖于固定的流程，且缺乏能够将工具、数据和分析方法整合到统一生态系统中的共享环境。在组学（omics）领域，统一的生态系统通过实现互操作性、可重用性以及社区驱动的开发，已彻底改变了研究范式；而AI科学家的发展同样需要类似的基础设施。本文提出了ToolUniverse——一个支持使用任意编程语言或推理模型（无论是开源还是闭源）构建AI科学家的生态系统。ToolUniverse标准化了AI科学家识别和调用工具的方式，集成了超过600个用于数据分析、知识检索和实验设计的机器学习模型、数据集、API及科学计算软件包。该系统能够自动优化工具接口以确保AI科学家正确使用，可根据自然语言描述生成新工具，迭代优化工具规范，并将多个工具组合成具备自主能力的工作流。在一项关于高胆固醇血症的案例研究中，研究人员利用ToolUniverse构建了一位AI科学家，成功识别出一种具有良好预测性质的强效药物类似物。开源版的ToolUniverse可在 https://aiscientist.tools 获取。

9. When Does Reasoning Matter? A Controlled Study of Reasoning's

Contribution to Model Performance

作者: Nicolas Boizard, Hippolyte Gisserot-Boukhlef, Kevin El-Haddad, Céline Hudelot, Pierre Colombo

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-26 | 👍 点赞数: 35

摘要:

论文标题：推理在何时重要？对推理能力在模型性能中作用的控制性研究

中文摘要：
具备推理能力的大语言模型（LLMs）已在多种任务上取得了最先进的性能。尽管推理方法在实证上取得了成功，但其在哪些任务和模型规模下才真正有效，以及相关的训练与推理成本，仍有待深入探索。在本研究中，我们基于一种合成数据蒸馏框架，开展了一项大规模的有监督研究。我们在多种以数学为核心及通用型任务上，对比了不同规模的指令微调（Instruction Fine-Tuning, IFT）模型与推理模型，并评估了多项选择题和开放式生成两种形式的表现。我们的分析表明，推理能力始终能持续提升模型性能，往往能够达到甚至超过规模显著更大的IFT系统的性能。值得注意的是，尽管IFT在训练和推理成本方面仍保持帕累托最优，但随着模型规模的扩大，推理模型的价值日益凸显，能够在推理密集型和开放式任务上突破IFT的性能瓶颈。

10. Visual Jigsaw Post-Training Improves MLLMs

作者: Penghao Wu, Yushan Zhang, Haiwen Diao, Bo Li, Lewei Lu, Ziwei Liu

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-29 | 👍 点赞数: 34

摘要:

论文标题：视觉拼图后训练提升多模态大语言模型性能

中文摘要：
基于强化学习的后训练方法最近成为增强多模态大语言模型（MLLMs）对齐能力与推理能力的一种强大范式。尽管以视觉为中心的后训练对于提升MLLMs对视觉信号的内在理解至关重要，但当前的后训练范式主要以文本为中心，仅利用密集的视觉输入提取稀疏线索用于基于文本的推理。虽已有少数研究朝此方向探索，但这些方法通常仍依赖文本作为中间媒介，或引入额外的视觉生成模块。在本研究中，我们提出了Visual Jigsaw——一种通用的自监督后训练框架，旨在增强MLLMs的视觉理解能力。Visual Jigsaw被构建成一个通用的排序任务：将视觉输入分割后打乱顺序，要求模型通过生成正确的排列顺序描述来重建原始视觉信息。该任务自然契合可验证奖励下的强化学习（RLVR），无需引入额外的视觉生成组件，并且能够在无任何人工标注的情况下自动获得监督信号。我们在图像、视频和3D数据三种视觉模态上实现了Visual Jigsaw的具体应用。大量实验表明，该方法在细粒度感知、时序推理以及三维空间理解方面均带来显著提升。我们的研究结果凸显了自监督、以视觉为中心的任务在MLLMs后训练中的潜力，并期望激发更多关于视觉中心型预训练任务设计的后续研究。项目主页：https://penghao-wu.github.io/visual_jigsaw/

11. Sequential Diffusion Language Models

作者: Yangzhou Liu, Yue Cao, Hao Li, Gen Luo, Zhe Chen, Weiyun Wang, Xiaobo Liang, Biqing Qi, Lijun Wu, Changyao Tian, Yanting Zhang, Yuqiang Li, Tong Lu, Yu Qiao, Jifeng Dai, Wenhai Wang

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-28 | 👍 点赞数: 34

摘要:

论文标题：序列扩散语言模型

中文摘要：扩散语言模型（Diffusion Language Models, DLMs）具有较强的理论效率，但受限于固定长度的解码过程以及与键值（KV）缓存机制的不兼容性。块扩散（Block diffusion）方法在一定程度上缓解了这些问题，但仍强制使用固定的块大小，且需要昂贵的训练成本。本文提出“下一段序列预测”（Next Sequence Prediction, NSP），该方法统一了下一个词元（next-token）和下一块序列（next-block）的预测任务，使模型能够在每一步自适应地决定生成序列的长度。当生成长度固定为1时，NSP退化为标准的下一词元预测。基于NSP，我们进一步提出序列扩散语言模型（Sequential Diffusion Language Model, SDLM），该模型能够以极低的成本改造预训练的自回归语言模型（Autoregressive Language Models, ALMs）。具体而言，SDLM在固定大小的掩码块内执行扩散推理，但根据模型的置信度动态解码连续的子序列，从而保持与KV缓存的兼容性，并提升对序列中不同位置不确定性与语义变化的鲁棒性。实验表明，SDLM仅使用350万训练样本即可达到或超越强自回归基线模型的性能，同时吞吐量较Qwen-2.5高出2.1倍。值得注意的是，SDLM-32B模型展现出更为显著的效率优势，验证了所提建模范式的良好可扩展性。项目主页与代码地址：https://github.com/OpenGVLab/SDLM

12. SparseD: Sparse Attention for Diffusion Language Models

作者: Zeqing Wang, Gongfan Fang, Xinyin Ma, Xingyi Yang, Xinchao Wang

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-28 | 👍 点赞数: 29

摘要:

论文标题：SparseD：面向扩散语言模型的稀疏注意力机制

中文摘要：
尽管扩散语言模型（DLMs）为自回归模型（ARs）提供了一种颇具前景的替代方案，但现有的开源DLMs在推理过程中存在较高的延迟问题。这一瓶颈主要源于注意力机制在计算所有查询-键值对时，其复杂度随上下文长度呈二次增长。直观上，为了降低该复杂度，一种自然的策略是将注意力限制在仅保留最相关连接的稀疏模式中。这类方法在自回归模型中已有成熟应用，其中注意力遵循固定且明确定义的稀疏模式。然而，在DLMs中，我们观察到显著不同的稀疏特性：（1）注意力模式在不同注意力头之间存在差异；（2）每个注意力头内的模式在去噪的各个步骤中高度相似；（3）早期去噪步骤对生成质量至关重要。这些发现使得专为ARs设计的稀疏注意力方法难以适用于DLMs——它们无法捕捉头特定的结构特征，并且在早期去噪步骤中应用时可能损害生成效果。为应对这些挑战，我们提出了SparseD，一种面向DLMs的新型稀疏注意力方法。基于上述观察，SparseD仅需预先一次性计算各注意力头特有的稀疏模式，并在所有去噪步骤中重复使用，从而避免了每一步都重新计算稀疏结构。同时，SparseD在早期去噪阶段采用完整注意力以保障生成质量，随后切换至稀疏注意力以提升效率。上述设计使SparseD成为在长上下文应用场景中部署DLMs的一种高效且实用的解决方案。实验结果表明，SparseD实现了无损加速，在64k上下文长度和1,024步去噪的设置下，相比FlashAttention最高可达1.50倍的加速效果。

13. GSM8K-V: Can Vision Language Models Solve Grade School Math Word

Problems in Visual Contexts

作者: Fan Yuan, Yuchen Yan, Yifan Jiang, Haoran Zhao, Tao Feng, Jinyan Chen, Yanwei Lou, Wenqi Zhang, Yongliang Shen, Weiming Lu, Jun Xiao, Yueting Zhuang

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-29 | 👍 点赞数: 27

摘要:

论文标题：GSM8K-V：视觉语言模型能否解决视觉情境下的小学数学应用题

中文摘要：
视觉语言模型（Vision Language Models, VLMs）实现了图像与文本的统一建模，使其能够通过感知、规划和推理来完成复杂的现实世界任务。在这些任务中，推理能力尤为关键，而数学推理是一个典型代表，它体现了VLMs对图像中数学信息的理解能力以及进行复杂推理的高级水平。尽管近年来已提出多个面向视觉数学推理的评测基准，但这些基准大多局限于几何问题，缺乏对数学应用题（math word problems）的覆盖，且很少评估跨多幅图像的推理能力。为弥补上述不足，我们提出了GSM8K-V——一个纯视觉的、多图像数学推理基准数据集。GSM8K-V基于广泛使用的文本型GSM8K数据集，通过系统性地将其中每个样本转化为视觉形式构建而成。借助精心设计的自动化图像生成流程，并结合细致的人工标注，我们最终整理出1,319个高质量样本。我们在GSM8K-V上评估了多种开源与闭源模型的表现。结果表明，尽管现有VLMs在文本版GSM8K上的性能已接近饱和，但在GSM8K-V上仍有显著提升空间。例如，表现最优的模型Gemini-2.5-Pro在GSM8K上准确率达到95.22%，而在GSM8K-V上仅为46.93%。我们对GSM8K-V进行了全面分析，探讨了当前模型的局限性以及未来可能的改进方向。GSM8K-V为视觉数学推理研究提供了新的视角，并建立了一个基准，有助于推动更鲁棒、更具泛化能力的视觉语言模型的发展。

作者: Xuan He, Dongfu Jiang, Ping Nie, Minghao Liu, Zhengxuan Jiang, Mingyi Su, Wentao Ma, Junru Lin, Chun Ye, Yi Lu, Keming Wu, Benjamin Schneider, Quy Duc Do, Zhuofeng Li, Yiming Jia, Yuxuan Zhang, Guo Cheng, Haozhe Wang, Wangchunshu Zhou, Qunshu Lin, Yuanxing Zhang, Ge Zhang, Wenhao Huang, Wenhu Chen

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-26 | 👍 点赞数: 22

摘要:

论文标题：VideoScore2：生成式视频评估前，请先思考

中文摘要：
近年来，文本到视频生成技术取得了显著进展，生成的内容日益逼真且多样化。然而，由于视频质量涉及视觉质量、语义一致性以及物理规律/常识一致性等多个维度，其评估仍面临根本性挑战。现有的评估方法或奖励模型通常仅提供单一的黑箱评分，缺乏可解释性，或仅能进行粗粒度分析，难以全面捕捉视频质量的复杂性。本文提出 VideoScore2，一种多维度、可解释且与人类判断对齐的评估框架，能够显式地评估视频的视觉质量、文本-视频对齐程度以及物理与常识一致性，并生成详细的链式推理理由（chain-of-thought rationales）。我们的模型基于一个大规模数据集 VideoFeedback2 进行训练，该数据集包含 27,168 个由人工标注的视频样本，涵盖三个维度的评分及推理过程记录。模型采用两阶段训练流程：首先进行监督微调，随后通过组相对策略优化（Group Relative Policy Optimization, GRPO）进行强化学习，以增强其分析的鲁棒性。大量实验表明，VideoScore2 在我们构建的领域内基准 VideoScore-Bench-v2 上取得了 44.35（+5.94）的准确率，在四个跨领域基准（包括 VideoGenReward-Bench、VideoPhy2 等）上的平均表现达到 50.37（+4.32），显著优于现有方法。同时，其提供的可解释性评估结果，通过为 Best-of-N 采样提供有效的奖励建模，有效弥合了评估与可控生成之间的鸿沟。项目主页：https://tiger-ai-lab.github.io/VideoScore2/

19. Rolling Forcing: Autoregressive Long Video Diffusion in Real Time

作者: Kunhao Liu, Wenbo Hu, Jiale Xu, Ying Shan, Shijian Lu

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-29 | 👍 点赞数: 21

摘要:

论文标题：滚动强制：实时自回归长视频扩散

中文摘要：
流式视频生成作为交互式世界模型和神经游戏引擎中的一个基础组成部分，旨在生成高质量、低延迟且时间上连贯的长时程视频流。然而，大多数现有方法存在严重的误差累积问题，往往在长时间生成过程中显著降低输出视频的质量。为此，我们提出了“滚动强制”（Rolling Forcing），一种新颖的视频生成技术，能够实现误差累积极小化的流式长视频生成。滚动强制包含三项创新设计：首先，不同于逐帧迭代采样的方式（这种方式会加速误差传播），我们设计了一种联合去噪机制，可同时对多个帧进行去噪处理，并逐步提升噪声水平。该设计放松了相邻帧之间严格的因果约束，有效抑制了误差的增长。其次，我们将注意力锚点（attention sink）机制引入长时程流视频生成任务中，使模型能够保留初始帧的关键值状态作为全局上下文锚点，从而增强长期的全局一致性。第三，我们设计了一种高效的训练算法，可在大幅扩展的去噪窗口上实现少步数蒸馏。该算法作用于非重叠窗口之上，并缓解了基于自生成历史条件下的暴露偏差问题。大量实验表明，滚动强制能够在单块GPU上实现实时的多分钟级视频流生成，且显著减少了误差累积。

20. Critique-Coder: Enhancing Coder Models by Critique Reinforcement

Learning

作者: Chi Ruan, Dongfu Jiang, Yubo Wang, Wenhu Chen

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-26 | 👍 点赞数: 20

摘要:

论文标题：Critique-Coder：通过批判式强化学习提升代码生成模型性能

中文摘要：
强化学习（Reinforcement Learning, RL）已成为一种流行的训练范式，尤其在与推理模型结合时表现出色。然而，尽管其有效性已得到验证，该方法主要关注生成响应的过程，缺乏明确促进模型进行批判性评估或反思的机制。近期一些研究，如批判微调（Critique-Fine-Tuning, CFT）和引导式批判蒸馏（Critique-Guided-Distillation, CGD），已证明显式地教会大语言模型（LLM）如何进行批判具有显著优势。受这些工作的启发，我们提出了批判式强化学习（Critique Reinforcement Learning, CRL），在此框架中，模型被要求对给定的（问题，解答）对生成批判性评价。奖励信号仅取决于模型生成的批判所给出的最终判断标签 c ∈ False 是否与真实判断标签 c^* 一致。基于此，我们进一步提出 Critique-Coder 模型，该模型通过将标准强化学习数据中的 20% 替换为 CRL 数据，在混合 RL 与 CRL 的方式下进行训练。我们对多个模型（即 Critique-Coder）进行了微调，并在多种基准任务上评估其性能，以展示其相较于纯强化学习模型的优势。实验结果表明，Critique-Coder 在所有测试基准上均持续优于仅使用强化学习的基线模型。值得注意的是，我们的 Critique-Coder-8B 在 LiveCodeBench（v5）上取得了超过 60% 的成绩，表现优于 DeepCoder-14B 和 GPT-o1 等其他推理模型。此外，除了代码生成能力外，Critique-Coder 还展现出更强的通用推理能力，这在其对 BBEH 数据集中逻辑推理任务的更优表现中得以体现。这一结果表明，在编码数据集上应用 CRL 能够增强模型的通用推理与批判能力，并且这些能力可迁移到广泛的任务中。因此，我们认为 CRL 是标准强化学习在大语言模型推理任务中的有力补充。

Engine for Monocular Depth Estimation

作者: Dingning Liu, Haoyu Guo, Jingyi Zhou, Tong He

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-29 | 👍 点赞数: 13

摘要:

论文标题：BRIDGE——基于强化学习的单目深度估计图像生成引擎

中文摘要：
单目深度估计（Monocular Depth Estimation, MDE）是计算机视觉中的一项基础性任务。传统方法受限于数据的数量与质量，导致其鲁棒性不足。为解决这一问题，我们提出了BRIDGE，一种基于强化学习（Reinforcement Learning, RL）优化的深度到图像（Depth-to-Image, D2I）生成框架。该框架能够从多样化的源深度图出发，合成超过2000万张真实感强且几何精度高的RGB图像，每张图像均与其真实的深度图天然配对。基于此数据集，我们采用一种混合监督策略训练深度估计模型，将教师模型生成的伪标签与真实深度标签相结合，实现更全面、更鲁棒的训练过程。这种创新的数据生成与训练范式使BRIDGE在数据规模和领域多样性方面取得突破，在定量指标和复杂场景细节还原能力上持续优于现有的最先进方法，从而学习到更具通用性和鲁棒性的深度特征。代码与模型已公开发布于 https://dingning-liu.github.io/bridge.github.io/。

31. Toward Effective Tool-Integrated Reasoning via Self-Evolved Preference

Learning

作者: Yifei Chen, Guanting Dong, Zhicheng Dou

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-27 | 👍 点赞数: 13

摘要:

论文标题：通过自我演化的偏好学习实现有效的工具集成推理

中文摘要：
工具集成推理（Tool-Integrated Reasoning, TIR）使大语言模型（LLMs）能够通过整合外部工具来提升其内部推理能力。然而，采用TIR的模型常常表现出次优行为，例如工具使用不足或过度使用，以及在调用工具后出现过度思考等问题。如何激励大语言模型高效且准确地执行TIR，同时稳定其推理过程，仍是一个尚未解决的问题。本文首先从信息熵的角度出发，探讨工具调用对模型推理过程的影响。研究发现，工具调用结果会导致后续推理过程中信息熵发生显著变化，且整个推理链的总体熵值会随着工具调用次数的不同而变化。基于这些发现，我们提出了Tool-Light框架，旨在促使大语言模型更高效、准确地进行工具集成推理。该框架包含数据集构建和多阶段微调两个部分。在数据集构建方面，我们采用基于微调模型的连续自我演化采样方法，结合标准采样与熵引导采样，并在采样过程中设定严格的正负样本对筛选标准。训练过程分为两个阶段：监督微调（Supervised Fine-Tuning, SFT）和自我演化的直接偏好优化（Self-Evolved Direct Preference Optimization, DPO）。在10个数据集上的实验结果表明，Tool-Light显著提升了模型执行TIR任务的效率。

32. Understanding Language Prior of LVLMs by Contrasting Chain-of-Embedding

作者: Lin Long, Changdae Oh, Seongheon Park, Yixuan Li

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-27 | 👍 点赞数: 13

摘要:

论文标题：通过对比嵌入链揭示大视觉语言模型的语言先验

中文摘要：
大视觉语言模型（LVLMs）在多模态任务中表现出色，但常常依赖其语言先验（LP）——即预训练过程中记忆的文本模式，而未能充分利用视觉证据。现有对语言先验的研究主要基于输入-输出探测方法，难以揭示视觉信息何时以及如何影响模型行为的内在机制。为填补这一空白，本文首次从“嵌入链”（chain-of-embedding）的视角出发，对语言先验进行系统性分析，考察LVLM内部逐层表征的动态变化。我们的分析揭示了一种普遍现象：每个模型都存在一个“视觉整合点”（Visual Integration Point, VIP），即视觉信息开始显著重塑隐藏表征并影响解码过程的关键网络层。基于这一发现，我们提出了“总视觉整合度”（Total Visual Integration, TVI）估计器，该指标通过聚合VIP之后的表征距离，量化视觉输入对生成响应的影响强度。在涵盖9个主流LVLM和6个基准数据集的54种模型-数据组合上的实验表明，VIP现象具有一致性，且TVI能够可靠地预测语言先验的强弱。本研究提供了一套系统性的工具，用于诊断和理解大视觉语言模型中的语言先验问题。

33. SIRI: Scaling Iterative Reinforcement Learning with Interleaved

Compression

作者: Haoming Wen, Yushi Bai, Juanzi Li, Jie Tang

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-29 | 👍 点赞数: 12

摘要:

论文标题：SIRI：通过交错压缩扩展迭代强化学习

中文摘要：
本文提出SIRI（Scaling Iterative Reinforcement Learning with Interleaved Compression），一种简单而有效的面向大推理模型（Large Reasoning Models, LRMs）的强化学习方法，旨在实现更高效且更准确的推理。现有研究已观察到LRM中存在重复性的思考模式，而试图减少此类冗余的方法往往以牺牲性能为代价。本文表明，通过在训练过程中动态调整最大推理长度，交替进行“压缩”与“扩展”推理预算的训练机制，可以克服这一权衡。在压缩阶段，缩短推理长度迫使模型在有限的上下文内做出精确且有价值的决策，从而有效减少冗余token，提升推理密度；在随后的扩展阶段，则放宽长度限制，使模型能够在长视野场景下充分探索与规划。值得注意的是，我们发现每完成一次压缩-扩展循环后，模型性能持续提升，同时输出长度不断降低，逐步逼近性能与效率之间的帕累托前沿。在DeepSeek-R1-Distill-Qwen-1.5B上的实验结果显示，经过三次迭代后，SIRI-low在AIME24上的性能提升了43.2%，同时token使用量减少了46.9%；而SIRI-high则相较所有其他方法达到了最高的准确率（见图1）。我们的研究揭示了在训练过程中周期性振荡调整LRM输出截断长度的潜力，可动态平衡推理中的探索能力与推理效率，最终收敛至二者之间的最优“甜点”。我们的模型已公开发布。

34. MGM-Omni: Scaling Omni LLMs to Personalized Long-Horizon Speech

作者: Chengyao Wang, Zhisheng Zhong, Bohao Peng, Senqiao Yang, Yuqi Liu, Haokun Gui, Bin Xia, Jingyao Li, Bei Yu, Jiaya Jia

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-29 | 👍 点赞数: 12

摘要:

论文标题：MGM-Omni：面向个性化长时域语音的全能大语言模型扩展

中文摘要：
本文提出MGM-Omni，一种统一的全能大语言模型（Omni LLM），支持多模态理解以及富有表现力、长时域的语音生成。与将语音合成孤立处理的级联式流水线不同，MGM-Omni采用“大脑-口腔”（brain-mouth）设计，通过双通道、基于token的架构，清晰地将多模态推理与实时语音生成解耦。该设计实现了高效的跨模态交互，并支持低延迟、流式语音生成。在理解方面，统一的训练策略结合双路音频编码器设计，使模型能够在多种声学条件下实现长格式音频感知。在生成方面，基于语块的并行解码方案缩小了文本与语音token生成速率之间的差距，加快了推理速度，并支持流式的零样本语音克隆，且在长时间生成中保持稳定的音色特性。相比同期工作，MGM-Omni以显著更低的数据需求实现了上述能力。大量实验表明，MGM-Omni在长序列中保持音色一致性、生成自然且上下文感知的语音，以及在长格式音频和全模态理解方面，均优于现有的开源模型。MGM-Omni建立了一种高效、端到端的范式，用于实现全模态理解以及可控、个性化的长时域语音生成。

35. InfLLM-V2: Dense-Sparse Switchable Attention for Seamless Short-to-Long

Adaptation

作者: Weilin Zhao, Zihan Zhou, Zhou Su, Chaojun Xiao, Yuxuan Li, Yanghao Li, Yudi Zhang, Weilun Zhao, Zhen Li, Yuxiang Huang, Ao Sun, Xu Han, Zhiyuan Liu

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-29 | 👍 点赞数: 12

摘要:

论文标题：InfLLM-V2：面向短到长序列无缝适应的稠密-稀疏可切换注意力机制

中文摘要：
长序列处理是现代大语言模型的关键能力。然而，标准Transformer架构中的自注意力机制在处理长序列时面临严重的计算与内存瓶颈。尽管可训练的稀疏注意力方法提供了一种有前景的解决方案，但现有方法（如NSA）引入了过多的额外参数，并打破了“在短序列上预训练、在长序列上微调”的常规流程，导致收敛速度慢且难以实现加速。为克服这些局限，我们提出了稠密-稀疏可切换注意力框架——InfLLM-V2。InfLLM-V2是一种可训练的稀疏注意力机制，能够实现模型从短序列到长序列的无缝适应。具体而言，InfLLM-V2通过无参数的架构修改复用原有的稠密注意力参数，从而保持短序列与长序列处理之间的一致性。此外，InfLLM-V2在所有序列长度下均保证了计算效率：对短输入使用稠密注意力，对长序列则平滑过渡至稀疏注意力。为了实现实际加速，我们进一步设计了InfLLM-V2的高效实现方案，显著降低了计算开销。在长上下文理解与思维链推理任务上的实验表明，InfLLM-V2相比稠密注意力速度快4倍，同时分别保留了98.1%和99.7%的性能表现。基于InfLLM-V2框架，我们训练并开源了混合推理模型MiniCPM4.1（https://huggingface.co/openbmb/MiniCPM4.1-8B），为研究社区提供了可复现的实现方案。

作者: Shenghe Zheng, Chenyu Huang, Fangchen Yu, Junchi Yao, Jingqi Ye, Tao Chen, Yun Luo, Ning Ding, LEI BAI, Ganqu Cui, Peng Ye

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-29 | 👍 点赞数: 6

摘要:

论文标题：SCI-Verifier：具备推理能力的科学验证模型

中文摘要：
随着大语言模型（LLMs）在科学推理任务中的广泛应用，答案格式的复杂性以及等价表达形式的多样性使得答案验证成为一项关键但极具挑战性的任务。现有的科学领域验证研究存在两大主要局限：（a）缺乏系统性的评估标准且学科覆盖不足，限制了其全面评估能力；（b）过度依赖繁琐的规则设计或提示工程（prompt engineering），导致在复杂推理场景中效果受限，或难以实现跨学科的泛化。为应对这些挑战，我们在数据和模型两个层面提出了相应解决方案。在数据方面，我们构建了SCI-VerifyBench——一个涵盖数学、物理、生物、化学及通用科学问答的跨学科基准数据集。该数据集基于真实的大语言模型输出构建，并引入领域特定的等价变换方法，生成具有挑战性且贴近实际的数据。通过基于模型和专家的人工标注，确保了数据的质量与多样性，从而支持对验证能力进行严格评估。在模型方面，我们强调推理在验证过程中的重要性，提出SCI-Verifier——一种统一的、增强推理能力的科学领域验证模型。通过后训练（post-training），SCI-Verifier展现出强大的逻辑推理与等价性判断能力，同时保持输出的简洁性与稳定性。SCI-VerifyBench与SCI-Verifier共同构成了一个科学验证的系统性框架，为提升大语言模型在科学领域的可靠性与实用性提供了系统的评估手段和可行的技术路径。

48. AceSearcher: Bootstrapping Reasoning and Search for LLMs via Reinforced

Self-Play

作者: Ran Xu, Yuchen Zhuang, Zihan Dong, Jonathan Wang, Yue Yu, Joyce C. Ho, Linjun Zhang, Haoyu Wang, Wenqi Shi, Carl Yang

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-29 | 👍 点赞数: 6

摘要:

论文标题：AceSearcher：通过强化自博弈实现大语言模型的推理与搜索协同优化

中文摘要：
现有的检索增强型大语言模型（LLMs）在处理复杂推理任务时，常因多跳检索效率低下和推理能力有限而表现不佳。为此，我们提出了AceSearcher，一种基于协作式自博弈的训练框架，能够使单个大语言模型在两种角色之间交替切换：一是“分解者”（decomposer），负责将复杂问题分解为子问题；二是“求解者”（solver），负责整合检索到的上下文信息以生成答案。AceSearcher结合了在多样化搜索、推理与问题分解任务上的监督微调，以及以最终答案准确率为优化目标的强化学习微调，无需依赖中间过程的人工标注。在涵盖10个数据集的三项高难度推理任务上进行的大量实验表明，AceSearcher显著优于当前最先进的基线方法，平均精确匹配率提升了7.6%。尤其值得注意的是，在文档级金融推理任务中，仅使用不到DeepSeek-V3模型5%参数量的AceSearcher-32B即达到了与其相当的性能。即使在更小规模的模型（1.5B和8B参数）上，AceSearcher也常常超越参数量多达9倍的现有检索增强型大语言模型，展现出其在应对复杂推理任务方面的卓越效率与有效性。我们的代码将发布于 https://github.com/ritaranx/AceSearcher 和 https://huggingface.co/AceSearcher。

49. Local Success Does Not Compose: Benchmarking Large Language Models for

Compositional Formal Verification

作者: Xu Xu, Xin Li, Xingwei Qu, Jie Fu, Binhang Yuan

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-27 | 👍 点赞数: 6

摘要:

论文标题：局部成功无法组合：面向组合式形式验证的大语言模型基准测试

中文摘要：
我们提出了DafnyCOMP，这是一个用于评估大语言模型（LLMs）在Dafny中进行组合式规约生成能力的基准测试。与以往专注于单函数任务的基准不同，DafnyCOMP针对的是由多个相互关联且存在数据依赖关系的函数组成的程序，要求模型能够跨组件边界进行推理。该基准包含300个通过自动化合成的多函数程序。我们对多个最先进的大语言模型系列进行了评估，发现尽管这些模型在单函数验证任务上表现良好，但在组合式任务上的性能显著下降。分析揭示了模型在跨函数推理方面存在系统性缺陷，包括生成脆弱的规约、实现与证明之间的不一致，以及推理过程的不稳定性。因此，DafnyCOMP为衡量大语言模型在生成可靠、可验证且具有组合性的代码方面的进展提供了一个诊断工具。

50. MultiCrafter: High-Fidelity Multi-Subject Generation via Spatially

Disentangled Attention and Identity-Aware Reinforcement Learning

作者: Tao Wu, Yibo Jiang, Yehao Lu, Zhizhong Wang, Zeyi Huang, Zequn Qin, Xi Li

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-26 | 👍 点赞数: 6

摘要:

论文标题：MultiCrafter：通过空间解耦注意力与身份感知强化学习实现高保真多主体生成

中文摘要：
多主体图像生成旨在将用户提供的多个主体合成为单幅图像，同时保持主体的高保真度、确保与提示的一致性，并符合人类的审美偏好。然而，现有方法（尤其是基于上下文学习范式的方法）主要依赖简单的重建目标函数，导致不同主体之间出现严重的属性泄露问题，损害了主体保真度，且难以契合细致的人类偏好。为解决这些问题，我们提出了MultiCrafter，一种能够实现高保真且符合偏好对齐的生成框架。首先，我们发现属性泄露的根本原因在于生成过程中不同主体之间的注意力存在显著纠缠。为此，我们引入显式的位姿监督机制，以明确分离各个主体的注意力区域，从而有效缓解属性泄露问题。为了使模型能够在多样化场景中准确规划各主体的注意力区域，我们采用混合专家（Mixture-of-Experts, MoE）架构来增强模型的表达能力，使不同的专家专注于不同的场景。最后，我们设计了一种新颖的在线强化学习框架，以实现模型与人类偏好的对齐，该框架包含一个可精确评估多主体保真度的评分机制，以及一种针对MoE架构优化的更稳定训练策略。实验结果表明，我们的框架在显著提升主体保真度的同时，更好地实现了与人类偏好的对齐。

作者: Wei Zhou, Guoliang Li, Haoyu Wang, Yuxing Han, Xufei Wu, Fan Wu, Xuanhe Zhou

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-27 | 👍 点赞数: 4

摘要:

论文标题：PARROT：面向跨系统SQL翻译的大语言模型评测基准

中文摘要：
大语言模型（LLMs）在文本到SQL（Text-to-SQL）任务中已展现出日益显著的效果。然而，另一个密切相关且具有重要实际意义的问题——跨系统SQL翻译（又称SQL-to-SQL），即将为某一数据库系统（如MySQL）编写的查询语句转换为另一系统（如ClickHouse）中的等效形式，却尚未得到充分研究。现有的SQL基准数据集并不适用于SQL-to-SQL任务的评估：其一，它们主要集中在少数数据库系统上（通常仅为SQLite）；其二，难以涵盖大量系统特有的SQL方言（例如定制函数、数据类型和语法规则）。为此，本文提出了PARROT——一个用于跨系统SQL翻译的实用且真实的评测基准。PARROT包含来自38个开源基准和真实商业服务的598个翻译对，专门设计用于挑战模型对系统特定SQL语义的理解能力（例如，当前大语言模型在该基准上的平均准确率低于38.53%）。我们还提供了多个基准变体，包括包含28,003个翻译样本的PARROT-Diverse（用于广泛的语法测试）和包含5,306个代表性样本的PARROT-Simple（用于聚焦的压力测试），覆盖了22种工业级数据库系统。为促进后续研究，我们已公开发布排行榜及源代码，详见：https://code4db.github.io/parrot-bench/。

60. MathBode: Frequency-Domain Fingerprints of LLM Mathematical Reasoning

作者: Charles L. Wang

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-27 | 👍 点赞数: 4

摘要:

论文标题：MathBode：大语言模型数学推理的频域指纹分析

中文摘要：
本文提出了MathBode，一种针对大语言模型（LLM）数学推理能力的动态诊断方法。与传统的一次性准确率评估不同，MathBode将每个含参数的问题视为一个系统：通过正弦调制单一参数，并拟合模型输出与精确解的一阶谐波响应，从而获得可解释的、频率分辨的指标——增益（幅度跟踪能力）和相位（响应滞后），形成类似伯德图（Bode plot）的“指纹”特征。在五类闭式问题族（线性求解、比例/饱和、复利计算、2×2线性系统、相似三角形）上的实验表明，该方法揭示了模型在推理过程中普遍存在的低通特性及随频率增加而加剧的相位滞后现象，这些动态行为是单纯准确率指标所难以察觉的。我们对比了多个模型，并引入符号计算系统作为基准（其增益G ≈ 1，相位φ ≈ 0），用于校准诊断工具。结果表明，该方法能有效区分前沿模型与中等水平模型在推理动态上的差异，提供了一种简洁、可复现的评估协议，补充了标准基准测试，实现了对推理保真度与一致性的可操作化测量。我们已开源数据集与代码，以支持后续研究与广泛应用。

61. ChatInject: Abusing Chat Templates for Prompt Injection in LLM Agents

作者: Hwan Chang, Yonghyun Jun, Hwanhee Lee

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-26 | 👍 点赞数: 4

摘要:

论文标题：ChatInject：利用聊天模板对大语言模型代理实施提示注入攻击

中文摘要：
随着能够与外部环境交互的大语言模型（LLM）代理系统日益广泛部署，新的攻击面也随之出现，为对抗性操纵提供了可乘之机。其中一项主要威胁是间接提示注入（indirect prompt injection），即攻击者将恶意指令嵌入外部环境的输出内容中，诱使代理将其误解为合法提示并加以执行。尽管先前的研究主要集中于纯文本形式的注入攻击，我们却发现了一个重要但尚未充分探索的漏洞：大语言模型对结构化聊天模板的依赖性，以及其在具有说服力的多轮对话中易受上下文操控的弱点。基于此，我们提出了ChatInject攻击方法，该方法通过将恶意载荷格式化为模仿原生聊天模板的形式，从而利用模型固有的遵循指令特性实现攻击。在此基础上，我们进一步设计了一种以说服为导向的多轮变体攻击，通过连续对话轮次逐步引导代理，使其接受并执行原本可疑的操作。通过对前沿大语言模型进行广泛的实验验证，我们得出三项关键发现：（1）相比传统提示注入方法，ChatInject显著提升了攻击成功率，在AgentDojo上从5.18%提高至32.05%，在InjecAgent上从15.13%提升至45.90%；其中多轮对话变体表现尤为突出，在InjecAgent上的平均攻击成功率达到52.33%；（2）基于聊天模板的攻击载荷在不同模型之间展现出强迁移能力，即使面对模板结构未知的闭源大语言模型仍保持有效；（3）现有的基于提示的防御机制对此类攻击普遍无效，尤其是难以抵御多轮变体攻击。这些发现揭示了当前代理系统中存在的严重安全漏洞。

作者: Jiabin Luo, Junhui Lin, Zeyu Zhang, Biao Wu, Meng Fang, Ling Chen, Hao Tang

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-29 | 👍 点赞数: 3

摘要:

论文标题：UniVid：开源的统一视频模型

中文摘要：
融合生成与理解能力的统一视频建模日益重要，但面临两大关键挑战：其一，在基于扩散流（flow-based）的生成过程中，由于文本与视觉token的数量不平衡，以及跨流轨迹的均匀跨模态注意力机制存在局限性，导致语义保真度难以维持；其二，如何在无需昂贵重训练的前提下，高效地将以图像为中心的多模态大语言模型（MLLM）扩展到视频任务。本文提出UniVid，一种通过轻量级适配器将多模态大语言模型（MLLM）与扩散解码器耦合的统一架构，实现视频理解与生成的双重能力。我们引入温度调节模态对齐（Temperature Modality Alignment）方法以提升生成对提示词的忠实度，并提出金字塔反射（Pyramid Reflection）机制，通过动态关键帧选择实现高效的时序推理。在多个标准基准上的大量实验表明，UniVid达到最先进的性能：相较于EasyAnimateV5.1，在VBench-Long总体得分上提升了2.2%；在MSVD-QA和ActivityNet-QA数据集上，分别比此前最优的7B基线模型提高了1.0%和3.3%的准确率。

66. TENET: Leveraging Tests Beyond Validation for Code Generation

作者: Yiran Hu, Nan Jiang, Shanchao Liang, Yi Wu, Lin Tan

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-29 | 👍 点赞数: 3

摘要:

论文标题：TENET：超越验证，充分利用测试进行代码生成

中文摘要：
测试驱动开发（Test-Driven Development, TDD）是一种广泛采用的软件工程实践，要求开发者在编写代码的同时创建并执行测试，以持续验证和优化软件行为。在“氛围编程”（vibe coding）时代，开发者越来越多地通过描述高层意图，将代码编写任务委托给大语言模型（LLM），此时TDD变得更加关键，因为测试用例作为可执行的规范，能够明确界定并验证自然语言描述和代码上下文所无法充分表达的功能需求。尽管在TDD框架下进行氛围编程具有潜力，但仍面临三大挑战：（1）如何选择小而有效的测试套件，以提升生成准确性并控制执行开销；（2）如何高效检索相关代码等上下文信息；（3）如何系统性地利用测试反馈实现有效的代码精炼。为应对这些挑战，我们提出了TENET——一种在TDD环境下针对复杂真实代码仓库生成函数的LLM智能体。TENET包含三个核心组件：（1）一种新颖的测试驱动机制，通过选取简洁但覆盖目标使用场景多样性的测试套件，最大化测试效能；（2）一套定制化的智能体工具集，支持高效检索相关代码，并结合交互式调试获取上下文；（3）基于反思（reflection）的迭代精炼流程，能够持续分析失败原因、补充缺失上下文，并实施代码改进。实验表明，TENET在RepoCod和RepoEval两个基准测试上分别取得了69.08%和81.77%的Pass@1成绩，较最优的智能体基线方法分别提升了9.49和2.17个百分点。此外，本研究是首个在仓库级上下文背景下探索测试驱动代码生成的工作，系统考察了测试套件不同特性对LLM智能体在TDD环境下性能的影响。

67. UniMIC: Token-Based Multimodal Interactive Coding for Human-AI

Collaboration

作者: Qi Mao, Tinghan Yang, Jiahao Li, Bin Li, Libiao Jin, Yan Lu

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-26 | 👍 点赞数: 3

摘要:

论文标题：UniMIC：基于令牌的多模态交互式编码用于人机协同

中文摘要：
大型多模态模型（LMMs）与基于云的AI智能体的快速发展，正在将人机协作转变为双向、多模态的交互模式。然而，现有的编解码技术仍主要针对单向、单模态通信进行优化，导致在传统的“压缩-传输-重建”流程中出现反复的质量退化。为解决这一局限，我们提出了UniMIC一种基于令牌的统一多模态交互式编码框架，旨在连接边缘设备与云端AI智能体。 UniMIC不直接传输原始像素或纯文本，而是采用紧凑的令牌化表示作为通信媒介，在保持与大型多模态模型兼容性的同时，实现高效低比特率传输。为进一步提升压缩效率，UniMIC设计了轻量级基于Transformer的熵模型，并针对不同场景提出三种特定结构：通用型、掩码型和文本条件型，有效减少了令牌间的冗余信息。在文本生成图像、文本引导的图像修复（inpainting）、扩展（outpainting）以及视觉问答等任务上的大量实验表明，UniMIC显著降低了传输比特率，即使在极低比特率（<0.05 bpp）下仍保持稳健性能，且不影响下游任务效果。这些结果确立了UniMIC作为下一代多模态交互通信的一种实用且具有前瞻性的范式。

68. Cogito, Ergo Ludo: An Agent that Learns to Play by Reasoning and

Planning

作者: Sai Wang, Yu Wu, Zhongwen Xu

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-29 | 👍 点赞数: 2

摘要:

论文标题：我思，故我玩：一种通过推理与规划学习游戏的智能体

中文摘要：
构建能够通过学习掌握复杂环境的人工智能体一直是研究热点，并已取得显著成果。然而，当前主流的深度强化学习方法通常依赖海量交互经验，并将知识隐式地编码于神经网络权重之中。本文提出了一种不同的范式——让智能体通过推理与规划来学习游戏。我们提出了“Cogito, ergo ludo”（CEL），这是一种新颖的智能体架构，利用大语言模型（LLM）建立对环境机制及自身策略的显式、基于语言的理解。CEL从零开始（tabula rasa），除可执行的动作集合外不依赖任何先验知识，通过“交互—反思”循环进行学习。在每次任务结束后，该智能体会分析其完整的轨迹，同步进行两项学习过程：一是规则归纳（Rule Induction），即不断优化其对环境动态的显式模型；二是策略与战术手册总结（Strategy and Playbook Summarization），即将经验提炼为可操作的战略指南。我们在多种网格世界任务（如扫雷、冰冻湖面和推箱子）上对CEL进行了评估，结果表明，该智能体能够自主发现游戏规则并从稀疏奖励中发展出有效的策略，成功掌握这些游戏。消融实验验证了这种迭代学习机制对于持续提升性能至关重要。本研究展示了一条通往更通用且可解释性强的智能体的发展路径：这类智能体不仅能有效决策，还能通过对原始经验的显式推理，构建一个透明且不断改进的世界模型。

Demonstrations at Scale

作者: Songze Li, Zun Wang, Gengze Zhou, Jialu Li, Xiangyu Zeng, Limin Wang, Yu Qiao, Qi Wu, Mohit Bansal, Yi Wang

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-29 | 👍 点赞数: 2

摘要:

论文标题：基于大规模自提升演示的面向目标的语言导航学习

中文摘要：
面向目标的语言导航要求智能体具备强大的探索能力，以便在未知环境中导航至指定目标，而无需依赖逐步指令。现有方法通常仅使用最短路径轨迹进行训练，缺乏有效的探索先验来提升导航智能体的性能。为应对上述挑战，我们提出了SID（Self-Improving Demonstrations，自提升演示）方法——一种结合自提升演示的面向目标语言导航学习框架。具体而言，SID首先在从环境中采样的最短路径数据上训练初始智能体，然后利用该智能体生成新的探索轨迹。这些新生成的 rollout 轨迹提供了更具探索性的示范数据，用于训练更优的智能体；而更新后的智能体又能为下一轮训练生成质量更高的示范。我们证明，这种迭代式自提升流程可有效扩展到新环境中，且所生成的示范可迁移到多种语言导航任务中，显著提升了各类面向目标导航任务的性能上限。大量实验表明，SID显著增强了导航智能体的探索能力和泛化性能。最终得到的智能体在多个面向目标的语言导航任务（如REVERIE、SOON）上达到了新的最先进水平，尤其在SOON数据集的未见验证集上取得了50.9%的成功率，超越此前最优方法达13.9个百分点。

70. ThermalGen: Style-Disentangled Flow-Based Generative Models for

RGB-to-Thermal Image Translation

作者: Jiuhong Xiao, Roshan Nayak, Ning Zhang, Daniel Tortei, Giuseppe Loianno

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-29 | 👍 点赞数: 2

摘要:

论文标题：ThermalGen：基于流的风格解耦生成模型用于RGB到热成像图像转换

中文摘要：
配对的RGB-热成像数据对于视觉-热传感器融合及跨模态任务至关重要，涵盖多模态图像配准与检索等重要应用。然而，同步且标定良好的RGB-热成像图像对的稀缺性，严重制约了这些领域的发展。为应对这一挑战，RGB到热成像（RGB-T）图像转换技术应运而生，成为一种有前景的解决方案，能够利用丰富的RGB数据集合成热成像图像，从而支持模型训练。在本研究中，我们提出了ThermalGen——一种基于流的自适应生成模型，用于RGB-T图像转换，该模型引入了RGB图像条件化架构以及风格解耦机制。为了支持大规模训练，我们整理了八个公开的卫星-航空、航空和地面RGB-T配对数据集，并发布了三个新的大规模卫星-航空RGB-T数据集——DJI-day、Bosonplus-day 和 Bosonplus-night，这些数据集在不同时间段、传感器类型和地理区域下采集，具有广泛的多样性。在多个RGB-T基准上的大量实验表明，ThermalGen在图像转换性能上达到或优于现有的基于生成对抗网络（GAN）和扩散模型的方法。据我们所知，ThermalGen是首个能够合成反映显著视角变化、传感器特性和环境条件差异的热成像图像的RGB-T转换模型。项目主页：http://xjh19971.github.io/ThermalGen

71. RHYTHM: Reasoning with Hierarchical Temporal Tokenization for Human

Mobility

作者: Haoyu He, Haozheng Luo, Yan Chen, Qi R. Wang

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-27 | 👍 点赞数: 2

摘要:

论文标题：RHYTHM：基于分层时间标记化的人类移动性推理

中文摘要：
由于人类移动行为存在复杂长距离依赖性和多尺度周期性模式，预测人类移动轨迹具有固有的挑战性。为此，我们提出了RHYTHM（Reasoning with Hierarchical Temporal Tokenization for Human Mobility），这是一个统一的框架，利用大语言模型（LLMs）作为通用的时空预测器和轨迹推理器。在方法上，RHYTHM采用时间标记化（temporal tokenization）技术，将每条轨迹划分为按日划分的片段，并通过分层注意力机制将其编码为离散标记，从而同时捕捉日级和周级的依赖关系，在显著降低序列长度的同时保留了周期性信息。此外，我们通过一个冻结的大语言模型预计算轨迹片段和预测目标的提示嵌入（prompt embeddings），并将其与原始标记结合后重新输入LLM主干网络，以增强标记表征并捕获复杂的相互依赖关系。在计算层面，RHYTHM冻结预训练LLM的主干网络，以降低注意力计算复杂度和内存开销。我们在三个真实世界数据集上将该模型与当前最先进的方法进行了比较。实验结果表明，RHYTHM在整体准确率上提升了2.4%，在周末预测准确率上提高了5.0%，同时训练时间减少了24.6%。代码已公开发布于 https://github.com/he-h/rhythm。

72. REMA: A Unified Reasoning Manifold Framework for Interpreting Large

Language Model

作者: Bo Li, Guanzhi Deng, Ronghao Chen, Junrong Yue, Shuo Zhang, Qinghua Zhao, Linqi Song, Lijie Wen

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-26 | 👍 点赞数: 2

摘要:

论文标题：REMA：一种用于解释大语言模型的统一推理流形框架

中文摘要：
理解大语言模型（Large Language Models, LLMs）如何执行复杂推理及其失败机制，是可解释性研究中的一项挑战。为了提供一种可量化的几何分析视角，本文提出了“推理流形”（Reasoning Manifold）的概念，即由所有正确推理生成结果所对应内部表征构成的一种潜在低维几何结构。该结构可被视为模型为成功完成特定任务而学习到的有效思维路径的具体体现。基于这一概念，我们构建了REMA框架，通过定量比较错误与正确推理样本在模型内部表征空间中的几何关系，揭示推理失败的根源。具体而言，REMA首先通过计算每个错误表征相对于由正确表征构建的近似流形的k近邻距离，来量化其几何偏差，从而提供一个统一的失败信号；随后，通过追踪该偏差指标在模型各层的变化，并与正确推理样本内部波动的基线进行对比，定位此类偏差首次显著出现的分歧点，进而识别推理链何时开始偏离正轨。我们在多种语言与多模态模型及任务上进行了广泛实验，结果验证了推理流形的低维特性以及错误与正确推理表征之间的高可分性，同时也证明了REMA框架在分析推理失败源头方面的有效性。本研究将抽象的推理失败现象与表征空间中可测量的几何偏差联系起来，为深入理解与诊断黑箱模型内部计算过程提供了新的途径。

73. Combinatorial Creativity: A New Frontier in Generalization Abilities

作者: Samuel Schapiro, Sumuk Shashidhar, Alexi Gladstone, Jonah Black, Royce Moon, Dilek Hakkani-Tur, Lav R. Varshney

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-25 | 👍 点赞数: 2

摘要:

论文标题：组合式创造性：泛化能力的新前沿

中文摘要：
人工智能（AI）系统，尤其是大语言模型（Large Language Models, LLMs），正越来越多地被用于科学创意生成等创造性任务，这类能力体现了一种从训练数据中进行泛化的形式，而现有概念框架尚未对此充分探讨。尽管这种能力与组合泛化（compositional generalization, CG）具有相似性，但组合式创造性（combinatorial creativity, CC）本质上是一种开放性的能力。与其针对固定目标评估输出的准确性或正确性——这将违背CC的开放性本质——我们提出了一种理论框架和算法化任务，通过生成结果的新颖性（novelty）和实用性（utility）程度来对其进行评估。在此基础上，我们做出了若干重要的实证贡献：（1）首次揭示了LLMs在创造性能力方面的规模扩展规律；（2）发现对于固定的计算资源预算，存在最优的模型深度与宽度以最大化创造性表现；（3）我们发现，“构想-执行鸿沟”（ideation-execution gap）——即LLMs擅长生成新颖的科学构想，但在确保其实际可行性方面表现不佳——可能源于创造力算法普遍存在的更基本的新颖性与实用性之间的权衡（tradeoff）。尤为重要的是，这种权衡即使在模型规模扩大时依然持续存在，这对我们当前形式下LLMs长期创造性潜力提出了质疑。综上所述，我们的理论框架与实证发现为理解并提升现代AI模型的创造性奠定了基础，有助于弥合人类智能与机器智能之间的差距。

74. BOE-XSUM: Extreme Summarization in Clear Language of Spanish Legal

Decrees and Notifications

作者: Andrés Fernández García, Javier de la Rosa, Julio Gonzalo, Roser Morante, Enrique Amigó, Alejandro Benito-Santos, Jorge Carrillo-de-Albornoz, Víctor Fresno, Adrian Ghajari, Guillermo Marco, Laura Plaza, Eva Sánchez Salido

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-29 | 👍 点赞数: 1

摘要:

论文标题：BOE-XSUM：西班牙法律法令与通知的极简清晰语言摘要

中文摘要：
由于信息过载，简洁地总结长篇文档的能力在日常生活中日益重要。然而，目前普遍缺乏针对西班牙语文档的此类摘要，尤其是在法律领域。本文提出了 BOE-XSUM，这是一个精心整理的数据集，包含 3,648 条来自西班牙《国家官方公报》（Boletín Oficial del Estado, BOE）文件的简明、通俗语言摘要。数据集中的每条记录均包含一个简短摘要、原始文本以及对应的文档类型标签。我们评估了在 BOE-XSUM 上微调过的中等规模大语言模型（LLMs）的表现，并将其与零样本设置下的通用生成式模型进行比较。结果表明，经过微调的模型显著优于未经专业训练的对应模型。其中表现最佳的模型——BERTIN GPT-J 6B（32 位精度）——相较于最优的零样本模型 DeepSeek-R1 实现了 24% 的性能提升（准确率分别为 41.6% 和 33.5%）。

75. BPMN Assistant: An LLM-Based Approach to Business Process Modeling

作者: Josip Tomo Licardo, Nikola Tankovic, Darko Etinger

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-29 | 👍 点赞数: 1

摘要:

论文标题：BPMN助手：一种基于大语言模型的业务流程建模方法

中文摘要：
本文提出了BPMN Assistant（BPMN助手），一种利用大语言模型（LLMs）通过自然语言进行BPMN图创建与编辑的工具。为提高流程修改的准确性，本文引入了一种基于JSON的专用表示方法，作为直接处理XML格式的结构化替代方案。在流程生成质量评估方面，采用了图编辑距离（Graph Edit Distance, GED）和相对图编辑距离（Relative Graph Edit Distance, RGED）作为指标；而在编辑性能方面，则采用二元成功度量进行评估。实验结果表明，在流程生成任务中，JSON与XML方法的相似性得分相近，但JSON在可靠性、处理速度以及编辑成功率方面表现更优，显著提升了编辑操作的成功率。本文还讨论了关键的权衡因素、局限性以及未来的改进方向。该工具的实现代码可在 https://github.com/jtlicardo/bpmn-assistant 获取。

76. Detecting Corpus-Level Knowledge Inconsistencies in Wikipedia with Large

Language Models

作者: Sina J. Semnani, Jirayu Burapacheep, Arpandeep Khatua, Thanawan Atchariyachanvanit, Zheng Wang, Monica S. Lam

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-27 | 👍 点赞数: 1

摘要:

论文标题：利用大语言模型检测维基百科语料库级别的知识不一致性

中文摘要：
维基百科是全球使用最广泛的开放知识语料库，也是训练大语言模型（LLMs）和检索增强生成（RAG）系统的关键资源。因此，确保其准确性至关重要。但维基百科究竟有多准确？我们又该如何改进它？本文聚焦于“不一致性”这一特定类型的事实错误，提出“语料库级别不一致性检测”这一新任务。我们提出了CLAIRE——一种结合大语言模型推理与检索能力的智能代理系统，能够发现潜在的知识不一致陈述，并提供上下文证据以供人工审核。在针对资深维基百科编辑开展的用户研究中，87.5%的参与者表示使用CLAIRE后判断信心更高，且在相同时间内识别出的不一致性数量增加了64.7%。

结合CLAIRE与人工标注，我们构建了WIKICOLLIDE——首个真实维基百科知识不一致性的基准数据集。通过CLAIRE辅助的随机抽样分析，我们发现至少3.3%的英文维基百科事实与其他事实存在矛盾；这些不一致性进一步传播至7.3%的FEVEROUS样本和4.0%的AmbigQA样本中。在此数据集上评估多个强基线方法的结果表明，当前仍有较大提升空间：表现最佳的全自动化系统的AUROC仅为75.1%。

我们的研究结果表明，矛盾现象是维基百科中可量化的组成部分，而CLAIRE等基于大语言模型的系统可为编辑者提供实用工具，从而大规模提升知识的一致性。

77. ADAM: A Diverse Archive of Mankind for Evaluating and Enhancing LLMs in

Biographical Reasoning

作者: Jasin Cekinmez, Omid Ghahroodi, Saad Fowad Chandle, Dhiman Gupta, Ehsaneddin Asgari

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-26 | 👍 点赞数: 1

摘要:

论文标题：ADAM：用于评估与增强大语言模型在传记推理能力方面的人类多样性档案

中文摘要：
本文提出ADAM（A Diverse Archive of Mankind，人类多样性档案），一个用于评估和提升多模态大语言模型（MLLMs）在传记推理任务中表现的框架。据我们所知，这是首个系统性考察大语言模型在传记领域——这一至关重要但尚未充分探索的事实性知识维度——能力的研究工作。ADAM的核心包括AdamDB和AdamBench：前者是一个涵盖全球地理、历史时期和职业领域的多语言、多模态数据集，包含超过400万个人物的信息；后者则基于布鲁姆认知分类学（Bloom's taxonomy），构建了认知结构化的评估体系，覆盖英语及各人物母语环境下的六个推理层级。为应对模型在面对知名度较低人物时易产生幻觉的问题，我们提出了AdamRAG，一种专为传记场景定制的检索增强生成系统。实验结果表明，AdamRAG显著提升了开源模型的表现，并对闭源模型也有一定改善，尤其在低阶推理任务上增益最为明显。人物知名度对模型准确性具有显著调节作用，而通过人脸图像引入的多模态输入所带来的性能提升相对较小且不够稳定。ADAM建立了首个融合认知层次、文化多样性和多模态特征的传记评估基准与框架，推动了多语言、高准确率、抗幻觉的多模态大语言模型的发展。

78. The Photographer Eye: Teaching Multimodal Large Language Models to See

and Critique like Photographers

作者: Daiqing Qi, Handong Zhao, Jing Shi, Simon Jenni, Yifei Fan, Franck Dernoncourt, Scott Cohen, Sheng Li

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-23 | 👍 点赞数: 1

摘要:

论文标题：摄影师之眼：教会多模态大语言模型像摄影师一样观察与评判

中文摘要：
摄影师在直接从现实生活中进行创作时，常常难以同时关注“蓝色”与“天空”。摄影师兼策展人斯扎尔科夫斯基（Szarkowski）深刻指出了一般性视觉理解与审美性视觉理解之间的一个显著差异：前者侧重于识别图像中的事实元素（如“天空”），而后者则超越了这种物体识别，将其视为一种美学构成要素——一个纯粹的色块（“蓝色”）。这种一般性视觉理解（如检测、定位等）与审美性视觉理解（如色彩、光影、构图等）之间的根本区别，为多模态大语言模型（MLLMs）带来了重大挑战。尽管近期一些研究进行了初步探索，但它们通常局限于一般性或基础的审美常识，因此在需要广泛专业知识的真实场景中（见图1）往往表现不足——这些场景要求具备摄影技术、拍摄前后处理知识等专业能力，才能进行细致的分析与描述。为了从根本上提升MLLMs对审美的理解能力，我们首先提出一个全新的数据集PhotoCritique，该数据集源自专业摄影师和摄影爱好者的大量讨论，具有规模大、专业性强、多样性丰富的特点。接着，为了更好地从PhotoCritique中学习视觉美学，我们进一步提出了一种新模型PhotoEye，其核心是一种语言引导的多视角视觉融合机制，能够从多个维度理解图像的美学特征。最后，我们构建了一个全新的评测基准PhotoBench，这是一个面向审美视觉理解的全面且专业的评估平台。在现有基准以及PhotoBench上的实验结果表明，我们的模型显著优于当前主流模型。

79. TR2-D2: Tree Search Guided Trajectory-Aware Fine-Tuning for Discrete

Diffusion

作者: Sophia Tang, Yuchen Zhu, Molei Tao, Pranam Chatterjee

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-29

摘要:

论文标题：TR2-D2：基于树搜索引导的轨迹感知离散扩散模型微调方法

中文摘要：
结合随机最优控制的强化学习为扩散模型微调提供了一个有前景的框架，该框架通过优化预训练的扩散模型，使其生成趋向于高奖励分布的路径。尽管这类方法无需显式获取最优分布的样本即可进行优化，但它们依赖于当前微调模型下的 rollout 进行训练，因而容易强化那些导致低奖励的次优轨迹。为解决这一问题，我们提出了“树搜索引导的轨迹感知离散扩散微调”（TR2-D2），这是一种新颖的框架，利用树搜索优化奖励引导下的离散扩散轨迹，并构建用于轨迹感知微调的回放缓冲区。该缓冲区通过蒙特卡洛树搜索（MCTS）生成，随后用于在随机最优控制目标下微调预训练的离散扩散模型。我们在生物序列扩散模型的单目标与多目标微调任务上验证了该框架的有效性，结果表明 TR2-D2 在离散序列生成中实现了可靠且高效的奖励引导微调。

80. Generalized Correctness Models: Learning Calibrated and Model-Agnostic

Correctness Predictors from Historical Patterns

作者: Hanqi Xiao, Vaidehi Patil, Hyunji Lee, Elias Stengel-Eskin, Mohit Bansal

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-29

摘要:

论文标题：广义正确性模型：从历史模式中学习校准且与模型无关的正确性预测器

中文摘要：
生成准确且经过良好校准的置信度估计，对于在高风险或面向用户的应用中部署大语言模型（LLMs）至关重要，但这一问题仍属开放挑战。以往研究通常将置信度视为激发模型“自我认知”能力的问题，即大语言模型判断自身输出答案是否正确的本领；这种思路隐含地假设了模型自身能够访问到关于答案正确性的某种特权信息。然而，我们的实验表明，一个大语言模型在预测自身输出正确性时的表现，通常并不优于另一个无关的模型。此外，我们提出假设：构建“正确性模型”（Correctness Model, CM）的关键因素在于接触目标模型的历史预测记录。为此，我们提出了多种方法来注入此类历史正确性信息，从而构建出“广义正确性模型”（Generalized Correctness Model, GCM）。我们首先证明，GCM 可以基于多个大语言模型的正确性数据进行训练，并学习到适用于不同数据集和模型的通用正确性预测模式。接着，我们利用 CM 作为分析工具，系统控制其训练数据，探究正确性预测能力的来源及其泛化特性，发现答案的表述方式是预测正确性的一个强信号。进一步地，我们探索了无需训练大语言模型即可注入历史信息的替代方法，发现将历史记录作为上下文示例纳入输入可以提升正确性预测性能，而事后校准（post-hoc calibration）则能进一步降低校准误差。我们在五个模型家族以及 MMLU 和 TriviaQA 数据集上，基于 Qwen3-8B 对 GCM 进行了评估，并将其应用于下游的选择性预测任务。结果表明，可靠的大语言模型置信度估计是一种可通过系统编码正确性历史而习得的、可泛化的、与具体模型无关的能力，而非依赖于模型自我内省的特定技能。

81. Charting a Decade of Computational Linguistics in Italy: The CLiC-it

Corpus

作者: Chiara Alzetta, Serena Auriemma, Alessandro Bondielli, Luca Dini, Chiara Fazzone, Alessio Miaschi, Martina Miliani, Marta Sartor

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-23

摘要:

论文标题：意大利计算语言学十年发展图景：CLiC-it语料库

中文摘要：在过去十年中，计算语言学（CL）和自然语言处理（NLP）领域发展迅速，尤其是随着基于Transformer的大语言模型（LLMs）的出现，研究目标和重点已从词汇与语义资源转向语言建模和多模态研究。在本研究中，我们通过分析CLiC-it会议的论文贡献，追踪了意大利计算语言学与自然语言处理领域的研究趋势。CLiC-it被公认为该领域内意大利最重要的学术会议。我们将CLiC-it会议前10届（2014年至2024年）的会议论文集整理为“CLiC-it语料库”，并对其中的元数据（包括作者来源、性别、所属机构等）以及论文内容本身进行了全面分析，涵盖多个研究主题。本研究旨在为意大利及国际学术界提供关于该领域随时间演变的新兴趋势与关键进展的深入洞察，助力研究决策并指引未来发展方向。

82. Advancing Reference-free Evaluation of Video Captions with Factual

Analysis

作者: Shubhashis Roy Dipta, Tz-Ying Wu, Subarna Tripathi

链接: 📄 ArXiv | 🤗 HuggingFace

信息: 📅 发布日期: 2025-09-20

摘要:

论文标题：通过事实分析推进无参考视频描述评价

中文摘要：
视频描述通过对视频中的人物、物体和动作提供简洁的概述，在问答和事件定位等应用中具有重要价值。然而，获取视频描述的人工标注成本高昂，甚至在某些情况下难以实现，尤其是在面对多样化的视频领域时。现有基于监督数据集训练的模型在跨领域性能评估方面面临挑战，因其依赖需要真实描述（ground truth captions）的基于参考的评估协议。这一假设在对真实场景中的视频进行评估时往往不切实际。为克服这些局限，本文提出一种无需真实描述的无参考评估框架，聚焦于事实性支撑，以确保对描述质量进行准确评估。我们提出了VC-Inspector——一种新颖的、无需参考且基于事实的描述质量评估模型。该方法利用大语言模型，基于监督数据生成不同质量水平的伪描述，并以此训练一个多模态模型（即Qwen2.5-VL）作为评估器。在VATEX-Eval数据集上的实验表明，我们的方法在与人类判断的一致性方面显著优于现有方法。此外，当将图像视为单帧视频时，该方法在图像描述数据集Flickr8K-Expert和Flickr8K-CF上也展现出良好的泛化能力。总体而言，VC-Inspector为评估视频描述的事实准确性提供了一种可扩展且具有良好泛化性的解决方案，为多样化视频领域的更有效、更客观的评估方法奠定了基础。

每日论文 - 2025年09月30日

1. SLA: Beyond Sparsity in Diffusion Transformers via Fine-Tunable​

2. StableToken: A Noise-Robust Semantic Speech Tokenizer for Resilient​

3. Multiplayer Nash Preference Optimization​

4. OpenGPT-4o-Image: A Comprehensive Dataset for Advanced Image Generation​

5. Beyond the Exploration-Exploitation Trade-off: A Hidden State Approach​

6. RealUnify: Do Unified Models Truly Benefit from Unification? A​

7. SANA-Video: Efficient Video Generation with Block Linear Diffusion​

8. Democratizing AI scientists using ToolUniverse​

9. When Does Reasoning Matter? A Controlled Study of Reasoning's​

10. Visual Jigsaw Post-Training Improves MLLMs​

11. Sequential Diffusion Language Models​

12. SparseD: Sparse Attention for Diffusion Language Models​

13. GSM8K-V: Can Vision Language Models Solve Grade School Math Word​

14. Towards Personalized Deep Research: Benchmarks and Evaluations​

15. Random Policy Valuation is Enough for LLM Reasoning with Verifiable​

16. EasySteer: A Unified Framework for High-Performance and Extensible LLM​

17. EditScore: Unlocking Online RL for Image Editing via High-Fidelity​

18. VideoScore2: Think before You Score in Generative Video Evaluation​

19. Rolling Forcing: Autoregressive Long Video Diffusion in Real Time​

20. Critique-Coder: Enhancing Coder Models by Critique Reinforcement​

21. HunyuanImage 3.0 Technical Report​

22. WirelessMathLM: Teaching Mathematical Reasoning for LLMs in Wireless​

23. From f(x) and g(x) to f(g(x)): LLMs Learn New Skills in RL by​

24. VGGT-X: When VGGT Meets Dense Novel View Synthesis​

25. The Era of Real-World Human Interaction: RL from User Conversations​

26. Scaling Generalist Data-Analytic Agents​

27. Socratic-Zero : Bootstrapping Reasoning via Data-Free Agent Co-evolution​

28. Euclid's Gift: Enhancing Spatial Perception and Reasoning in​

29. MMPB: It's Time for Multi-Modal Personalization​

30. BRIDGE - Building Reinforcement-Learning Depth-to-Image Data Generation​

31. Toward Effective Tool-Integrated Reasoning via Self-Evolved Preference​

32. Understanding Language Prior of LVLMs by Contrasting Chain-of-Embedding​

33. SIRI: Scaling Iterative Reinforcement Learning with Interleaved​

34. MGM-Omni: Scaling Omni LLMs to Personalized Long-Horizon Speech​

35. InfLLM-V2: Dense-Sparse Switchable Attention for Seamless Short-to-Long​

36. Where LLM Agents Fail and How They can Learn From Failures​

37. Rethinking Large Language Model Distillation: A Constrained Markov​

38. Dynamic Experts Search: Enhancing Reasoning in Mixture-of-Experts LLMs​

39. Pretraining Large Language Models with NVFP4​

40. Efficient Multi-turn RL for GUI Agents via Decoupled Training and​

41. From Harm to Help: Turning Reasoning In-Context Demos into Assets for​

42. LUMINA: Detecting Hallucinations in RAG System with Context-Knowledge​

43. GRPO-MA: Multi-Answer Generation in GRPO for Stable and Efficient​

44. Taming Masked Diffusion Language Models via Consistency Trajectory​

45. Clean First, Align Later: Benchmarking Preference Data Cleaning for​

46. Hyperspherical Latents Improve Continuous-Token Autoregressive​

47. SCI-Verifier: Scientific Verifier with Thinking​

48. AceSearcher: Bootstrapping Reasoning and Search for LLMs via Reinforced​

49. Local Success Does Not Compose: Benchmarking Large Language Models for​

50. MultiCrafter: High-Fidelity Multi-Subject Generation via Spatially​

51. DepthLM: Metric Depth From Vision Language Models​

52. DC-Gen: Post-Training Diffusion Acceleration with Deeply Compressed​

53. LOVE-R1: Advancing Long Video Understanding with an Adaptive Zoom-in​

54. Rethinking JEPA: Compute-Efficient Video SSL with Frozen Teachers​

55. Alignment through Meta-Weighted Online Sampling: Bridging the Gap​

56. PixelCraft: A Multi-Agent System for High-Fidelity Visual Reasoning on​

57. Advantage Weighted Matching: Aligning RL with Pretraining in Diffusion​

58. Evolution Strategies at Scale: LLM Fine-Tuning Beyond Reinforcement​

59. PARROT: A Benchmark for Evaluating LLMs in Cross-System SQL Translation​

60. MathBode: Frequency-Domain Fingerprints of LLM Mathematical Reasoning​

61. ChatInject: Abusing Chat Templates for Prompt Injection in LLM Agents​

62. Scalable GANs with Transformers​

63. IWR-Bench: Can LVLMs reconstruct interactive webpage from a user​

64. AdvChain: Adversarial Chain-of-Thought Tuning for Robust Safety​

65. UniVid: The Open-Source Unified Video Model​

66. TENET: Leveraging Tests Beyond Validation for Code Generation​

67. UniMIC: Token-Based Multimodal Interactive Coding for Human-AI​

68. Cogito, Ergo Ludo: An Agent that Learns to Play by Reasoning and​

69. Learning Goal-Oriented Language-Guided Navigation with Self-Improving​

70. ThermalGen: Style-Disentangled Flow-Based Generative Models for​

71. RHYTHM: Reasoning with Hierarchical Temporal Tokenization for Human​

72. REMA: A Unified Reasoning Manifold Framework for Interpreting Large​

73. Combinatorial Creativity: A New Frontier in Generalization Abilities​

74. BOE-XSUM: Extreme Summarization in Clear Language of Spanish Legal​

75. BPMN Assistant: An LLM-Based Approach to Business Process Modeling​

76. Detecting Corpus-Level Knowledge Inconsistencies in Wikipedia with Large​

77. ADAM: A Diverse Archive of Mankind for Evaluating and Enhancing LLMs in​

78. The Photographer Eye: Teaching Multimodal Large Language Models to See​

79. TR2-D2: Tree Search Guided Trajectory-Aware Fine-Tuning for Discrete​

1. SLA: Beyond Sparsity in Diffusion Transformers via Fine-Tunable

2. StableToken: A Noise-Robust Semantic Speech Tokenizer for Resilient

3. Multiplayer Nash Preference Optimization

4. OpenGPT-4o-Image: A Comprehensive Dataset for Advanced Image Generation

5. Beyond the Exploration-Exploitation Trade-off: A Hidden State Approach

6. RealUnify: Do Unified Models Truly Benefit from Unification? A

7. SANA-Video: Efficient Video Generation with Block Linear Diffusion

8. Democratizing AI scientists using ToolUniverse

9. When Does Reasoning Matter? A Controlled Study of Reasoning's

10. Visual Jigsaw Post-Training Improves MLLMs

11. Sequential Diffusion Language Models

12. SparseD: Sparse Attention for Diffusion Language Models

13. GSM8K-V: Can Vision Language Models Solve Grade School Math Word

14. Towards Personalized Deep Research: Benchmarks and Evaluations

15. Random Policy Valuation is Enough for LLM Reasoning with Verifiable

16. EasySteer: A Unified Framework for High-Performance and Extensible LLM

17. EditScore: Unlocking Online RL for Image Editing via High-Fidelity

18. VideoScore2: Think before You Score in Generative Video Evaluation

19. Rolling Forcing: Autoregressive Long Video Diffusion in Real Time

20. Critique-Coder: Enhancing Coder Models by Critique Reinforcement

21. HunyuanImage 3.0 Technical Report

22. WirelessMathLM: Teaching Mathematical Reasoning for LLMs in Wireless

23. From f(x) and g(x) to f(g(x)): LLMs Learn New Skills in RL by

24. VGGT-X: When VGGT Meets Dense Novel View Synthesis

25. The Era of Real-World Human Interaction: RL from User Conversations

26. Scaling Generalist Data-Analytic Agents

27. Socratic-Zero : Bootstrapping Reasoning via Data-Free Agent Co-evolution

28. Euclid's Gift: Enhancing Spatial Perception and Reasoning in

29. MMPB: It's Time for Multi-Modal Personalization

30. BRIDGE - Building Reinforcement-Learning Depth-to-Image Data Generation

31. Toward Effective Tool-Integrated Reasoning via Self-Evolved Preference

32. Understanding Language Prior of LVLMs by Contrasting Chain-of-Embedding

33. SIRI: Scaling Iterative Reinforcement Learning with Interleaved

34. MGM-Omni: Scaling Omni LLMs to Personalized Long-Horizon Speech

35. InfLLM-V2: Dense-Sparse Switchable Attention for Seamless Short-to-Long

36. Where LLM Agents Fail and How They can Learn From Failures

37. Rethinking Large Language Model Distillation: A Constrained Markov

38. Dynamic Experts Search: Enhancing Reasoning in Mixture-of-Experts LLMs

39. Pretraining Large Language Models with NVFP4

40. Efficient Multi-turn RL for GUI Agents via Decoupled Training and

41. From Harm to Help: Turning Reasoning In-Context Demos into Assets for

42. LUMINA: Detecting Hallucinations in RAG System with Context-Knowledge

43. GRPO-MA: Multi-Answer Generation in GRPO for Stable and Efficient

44. Taming Masked Diffusion Language Models via Consistency Trajectory

45. Clean First, Align Later: Benchmarking Preference Data Cleaning for

46. Hyperspherical Latents Improve Continuous-Token Autoregressive

47. SCI-Verifier: Scientific Verifier with Thinking

48. AceSearcher: Bootstrapping Reasoning and Search for LLMs via Reinforced

49. Local Success Does Not Compose: Benchmarking Large Language Models for

50. MultiCrafter: High-Fidelity Multi-Subject Generation via Spatially

51. DepthLM: Metric Depth From Vision Language Models

52. DC-Gen: Post-Training Diffusion Acceleration with Deeply Compressed

53. LOVE-R1: Advancing Long Video Understanding with an Adaptive Zoom-in

54. Rethinking JEPA: Compute-Efficient Video SSL with Frozen Teachers

55. Alignment through Meta-Weighted Online Sampling: Bridging the Gap

56. PixelCraft: A Multi-Agent System for High-Fidelity Visual Reasoning on

57. Advantage Weighted Matching: Aligning RL with Pretraining in Diffusion

58. Evolution Strategies at Scale: LLM Fine-Tuning Beyond Reinforcement

59. PARROT: A Benchmark for Evaluating LLMs in Cross-System SQL Translation

60. MathBode: Frequency-Domain Fingerprints of LLM Mathematical Reasoning

61. ChatInject: Abusing Chat Templates for Prompt Injection in LLM Agents

62. Scalable GANs with Transformers

63. IWR-Bench: Can LVLMs reconstruct interactive webpage from a user

64. AdvChain: Adversarial Chain-of-Thought Tuning for Robust Safety

65. UniVid: The Open-Source Unified Video Model

66. TENET: Leveraging Tests Beyond Validation for Code Generation

67. UniMIC: Token-Based Multimodal Interactive Coding for Human-AI

68. Cogito, Ergo Ludo: An Agent that Learns to Play by Reasoning and

69. Learning Goal-Oriented Language-Guided Navigation with Self-Improving

70. ThermalGen: Style-Disentangled Flow-Based Generative Models for

71. RHYTHM: Reasoning with Hierarchical Temporal Tokenization for Human

72. REMA: A Unified Reasoning Manifold Framework for Interpreting Large

73. Combinatorial Creativity: A New Frontier in Generalization Abilities

74. BOE-XSUM: Extreme Summarization in Clear Language of Spanish Legal

75. BPMN Assistant: An LLM-Based Approach to Business Process Modeling

76. Detecting Corpus-Level Knowledge Inconsistencies in Wikipedia with Large

77. ADAM: A Diverse Archive of Mankind for Evaluating and Enhancing LLMs in

78. The Photographer Eye: Teaching Multimodal Large Language Models to See

79. TR2-D2: Tree Search Guided Trajectory-Aware Fine-Tuning for Discrete

80. Generalized Correctness Models: Learning Calibrated and Model-Agnostic