每日论文 - 2025年09月05日
论文总数: 12
1. From Editor to Dense Geometry Estimator
作者: JiYuan Wang, Chunyu Lin, Lei Sun, Rongying Liu, Lang Nie, Mingxing Li, Kang Liao, Xiangxiang Chu, Yao Zhao
链接: 📄 ArXiv | 🤗 HuggingFace
信息: 📅 发布日期: 2025-09-04 | 👍 点赞数: 45
摘要:
从编辑器到密集几何估计器
利用预训练文本到图像（text-to-image, T2I）生成模型中的视觉先验信息已在密集预测任务中取得成功。然而，密集预测本质上是一个图像到图像的任务，表明图像编辑模型相较于T2I生成模型可能是更适合微调的基础。受此启发，我们对编辑器和生成器在密集几何估计中的微调行为进行了系统分析。研究发现，编辑模型具有内在的结构先验信息，能够通过“优化”其固有特征实现更稳定的收敛，最终表现优于生成模型。基于这些发现，我们提出了FE2E框架，首次将基于扩散变压器（Diffusion Transformer, DiT）架构的先进编辑模型应用于密集几何预测。具体而言，为了使编辑器适应这一确定性任务，我们将编辑器原有的流匹配损失重新定义为“一致速度”训练目标，并采用对数量化方法解决编辑器原生BFloat16格式与本任务高精度需求之间的精度冲突。此外，我们利用DiT的全局注意力机制，在单次前向传播中实现深度和法线的无额外成本联合估计，使它们的监督信号能够相互增强。在未增加训练数据规模的情况下，FE2E在多个数据集上的零样本单目深度和法线估计任务中均实现了显著的性能提升。特别地，它在ETH3D数据集上实现了超过35%的性能提升，并优于基于100倍数据量训练的DepthAnything系列模型。 项目页面请访问https://amap-ml.github.io/FE2E。
2. Towards a Unified View of Large Language Model Post-Training
作者: Xingtai Lv, Yuxin Zuo, Youbang Sun, Hongyi Liu, Yuntian Wei, Zhekai Chen, Lixuan He, Xuekai Zhu, Kaiyan Zhang, Bingning Wang, Ning Ding, Bowen Zhou
链接: 📄 ArXiv | 🤗 HuggingFace
信息: 📅 发布日期: 2025-09-04 | 👍 点赞数: 33
摘要:
论文标题：Towards a Unified View of Large Language Model Post-Training
英文摘要翻译：
现代语言模型的后训练（post-training）存在两种主要的训练数据来源：在线数据（模型生成的rollouts）和离线数据（人类或其他模型的示范）。这两类数据通常分别由强化学习（Reinforcement Learning, RL）和监督微调（Supervised Fine-Tuning, SFT）等方法使用。本文表明，这些方法并非相互对立，而是同一优化过程的不同实例。我们推导出一个统一的策略梯度估计器（Unified Policy Gradient Estimator），并展示了在不同数据分布假设和偏差-方差权衡下，各种后训练方法的计算形式均可视为一个共同目标函数的梯度。该梯度估计器由四个可互换的组件构成：稳定化掩码（stabilization mask）、参考策略分母（reference policy denominator）、优势估计（advantage estimate）和似然梯度（likelihood gradient）。受理论分析的启发，我们提出了混合后训练（Hybrid Post-Training, HPT）算法，该算法能够动态选择不同的训练信号。HPT旨在有效利用示范数据的同时实现稳定的探索，且不损害已学习的推理模式。我们通过大量实验和消融研究验证了所提出的统一理论框架和HPT算法的有效性。在六个数学推理基 准测试和两个分布外测试套件中，HPT在不同规模和家族的模型上均一致优于强基线方法。
3. Inverse IFEval: Can LLMs Unlearn Stubborn Training Conventions to Follow
Real Instructions?
作者: Qinyan Zhang, Xinping Lei, Ruijie Miao, Yu Fu, Haojie Fan, Le Chang, Jiafan Hou, Dingling Zhang, Zhongfei Hou, Ziqiang Yang, Changxin Pu, Fei Hu, Jingkai Liu, Mengyun Liu, Yang Liu, Xiang Gao, Jiaheng Liu, Tong Yang, Zaiyuan Wang, Ge Zhang, Wenhao Huang
链接: 📄 ArXiv | 🤗 HuggingFace
信息: 📅 发布日期: 2025-09-04 | 👍 点赞数: 32
摘要:
逆向IFEval：大语言模型能否摆脱顽固的训练惯例以遵循真实指令？
大语言模型（Large Language Models, LLMs）在多种任务中表现出色，但常常表现出认知惯性（cognitive inertia），难以遵循与监督微调（supervised fine-tuning, SFT）阶段所习得的标准化模式相冲突的指令。为评估这一局限性，我们提出了逆向IFEval（Inverse IFEval）基准测试，用于衡量模型在违背训练诱导偏差方面的反直觉能力（Counter-intuitive Ability）及其遵循对抗性指令的能力。Inverse IFEval引入了八种类型的此类挑战，包括问题修正（Question Correction）、故意文 本缺陷（Intentional Textual Flaws）、无注释代码（Code without Comments）和反事实回答（Counterfactual Answering）等。通过一个人机协同的数据构建流程，我们在23个领域中构建了一个包含1012个高质量中英文问题的数据集，并在一个优化的LLM-as-a-Judge评估框架下进行测试。在现有领先LLMs上的实验验证了我们提出的Inverse IFEval基准测试的必要性。我们的研究结果强调，未来的对齐工作不仅应追求语言流畅性和事实正确性，还应关注在非传统情境下的适应能力。我们希望Inverse IFEval能够作为诊断工具，并为开发缓解认知惯性、减少对狭窄模式的过拟合、最终提升LLMs在多样且不可预测的真实世界场景中指令遵循可靠性的方法提供基础。
4. DeepResearch Arena: The First Exam of LLMs' Research Abilities via
Seminar-Grounded Tasks
作者: Haiyuan Wan, Chen Yang, Junchi Yu, Meiqi Tu, Jiaxuan Lu, Di Yu, Jianbao Cao, Ben Gao, Jiaqing Xie, Aoran Wang, Wenlong Zhang, Philip Torr, Dongzhan Zhou
链接: 📄 ArXiv | 🤗 HuggingFace
信息: 📅 发布日期: 2025-09-01 | 👍 点赞数: 28
摘要:
DeepResearch Arena：基于研讨会任务的首次LLMs研究能力评估
深度研 究代理因其在协调多阶段研究工作流程方面的潜力而受到越来越多的关注，这些工作流程包括文献综合、方法设计和实证验证。尽管取得了这些进展，但由于收集真正吸引研究人员注意力和激发智力好奇心的前沿研究问题存在困难，对它们研究能力的准确评估仍然极具挑战性。为了解决这一空白，我们提出了DeepResearch Arena，这是一个基于学术研讨会的基准，能够捕捉丰富的专家讨论和互动，更好地反映真实世界的研究环境，并降低数据泄露的风险。为了自动构建DeepResearch Arena，我们提出了一种多智能体分层任务生成（Multi-Agent Hierarchical Task Generation, MAHTG）系统，用于从研讨会记录中提取具有研究价值的灵感。MAHTG系统进一步将这些研究灵感转化为高质量的研究任务，在确保研究任务可追溯性的同时过滤噪声。借助MAHTG系统，我们从200多场学术研讨会中整理出超过10,000个高质量的研究任务，涵盖文学、历史、科学等12个学科，构建了DeepResearch Arena。我们的广泛评估表明，当前最先进的研究代理在DeepResearch Arena中仍面临显著挑战，不同模型之间表现出明显的性能差距。
5. Transition Models: Rethinking the Generative Learning Objective
作者: Zidong Wang, Yiyuan Zhang, Xiaoyu Yue, Xiangyu Yue, Yangguang Li, Wanli Ouyang, Lei Bai
链接: 📄 ArXiv | 🤗 HuggingFace
信息: 📅 发布日期: 2025-09-04 | 👍 点赞数: 11
摘要:
生成建模中的一个基本困境仍然存在：迭代扩散模型虽然能够实现卓越的生成质量，但却伴随着显著的计算成本；而高效的小步长替代方案则受限于难以突破的质量上限。这种生成步数与输出质量之间的矛盾源于限制性的训练目标，这些目标仅专注于无穷小动力学（PF-ODEs）或直接端点预测。为解决这一挑战，我们引入了一个精确的连续时间动力学方程，该方程能够在任意有限时间间隔上解析地定义状态转移。由此提出了一种全新的生成范式——转移模型（Transition Models, TiM），其能够适应任意步长的转移，在单步跳跃到多步细粒度优化的生成轨迹中无缝切换。尽管参数量仅为865M，TiM在所有评估的步数条件下均实现了超越当前领先模型（如SD3.5（8B参数）和FLUX.1（12B参数））的性能。更重要的是，与以往的小步数生成器不同，TiM在采样步数增加时展现出生成质量的单调提升。此外，当采用我们提出的原生分辨率策略时，TiM在高达4096x4096的分辨率下仍能提供卓越的生成保真度。
6. NER Retriever: Zero-Shot Named Entity Retrieval with Type-Aware
Embeddings
作者: Or Shachar, Uri Katz, Yoav Goldberg, Oren Glickman
链接: 📄 ArXiv | 🤗 HuggingFace
信息: 📅 发布日期: 2025-09-04 | 👍 点赞数: 9
摘要:
NER Retriever: 基于类型感知嵌入的零样本命名实体检索
我们提出了NER Retriever，一种用于即席命名实体检索（ad-hoc Named Entity Retrieval）的零样本检索框架，该任务是命名实体识别（NER）的一个变体。在该任务中，感兴趣的实体类型并非预先给定，而是通过用户定义的类型描述来检索提及该类型实体的文档。与依赖固定模式或微调模型的方法不同，我们的方法基于大语言模型（LLMs）的内部表示，将实体提及和用户提供的开放式类型描述嵌入到一个共享的语义空间中。我们发现，大语言模型中间层Transformer块中的值向量（value vectors）相比常用的顶层嵌入，能够更有效地编码细粒度的类型信息。为了优化这些表示，我们训练了一个轻量级的对比投影网络，以对齐类型兼容的实体并分离不相关的类型。最终得到的实体嵌入具有紧凑性、类型感知性，并适用于最近邻搜索。在三个基准数据集上的评估表明，NER Retriever显著优于基于词汇和密集句子级别的检索基线方法。我们的研究结果为大语言模型内部表示的选择提供了实证支持，并展示了可扩展、无需预定义模式的实体检索的实用解决方案。 NER Retriever的代码库已公开，地址为https://github.com/ShacharOr100/ner_retriever。
7. Few-step Flow for 3D Generation via Marginal-Data Transport Distillation
作者: Zanwei Zhou, Taoran Yi, Jiemin Fang, Chen Yang, Lingxi Xie, Xinggang Wang, Wei Shen, Qi Tian
链接: 📄 ArXiv | 🤗 HuggingFace
信息: 📅 发布日期: 2025-09-04 | 👍 点赞数: 6
摘要:
基于边缘数据传输蒸馏的少步长三维生成流程
基于流的三维生成模型在推理过程中通常需要数十个采样步骤。尽管少步长蒸馏方法，特别是一致性模型（Consistency Models, CMs），在加速二维扩散模型方面取得了显著进展，但在更为复杂的三维生成任务中仍鲜有探索。在本研究中，我们提出了一种新颖的少步长三维流蒸馏框架MDT-dist。我们的方法建立在一个主要目标之上：蒸馏预训练模型以学习边缘数据传输（Marginal-Data Transport）。直接学习该目标需要对速度场（velocity fields）进行积分，而该积分在实际实现中难以处理。因此，我们提出了两个可优化目标——速度匹配（Velocity Matching, VM）和速度蒸馏（Velocity Distillation, VD），将优化目标分别从传输层面等效转换到速度层面和分布层面。速度匹配（VM）旨在稳定地匹配学生模型与教师模型的速度场，但不可避免地提供了有偏的梯度估计。速度蒸馏（VD）则进一步利用已学习的速度场进行概率密度蒸馏，从而增强优化 过程。在领先的三维生成框架TRELLIS上的评估结果显示，我们的方法将每个流变换器（flow transformer）所需的采样步骤从25步减少至仅1或2步，在A800设备上实现了0.68秒（1步×2）和0.94秒（2步×2）的延迟，分别获得9.0倍和6.5倍的加速，同时保持了高质量的视觉和几何保真度。大量实验表明，我们的方法显著优于现有的CM蒸馏方法，并使TRELLIS在少步长三维生成任务中展现出优越的性能。
8. Drivel-ology: Challenging LLMs with Interpreting Nonsense with Depth
作者: Yang Wang, Chenghao Xiao, Chia-Yi Hsiao, Zi Yan Chang, Chi-Li Chen, Tyler Loakman, Chenghua Lin
链接: 📄 ArXiv | 🤗 HuggingFace
信息: 📅 发布日期: 2025-09-04 | 👍 点赞数: 6
摘要:
我们提出了一种独特的语言现象——Drivelology，其特征是“有深度的无意义”（nonsense with depth），即那些在句法上连贯但在语用上具有矛盾性、情感负载性或修辞颠覆性的表达。尽管这类表达可能看似表层无意义，但它们隐含了需要语境推理、道德判断或情感解读的深层含义。我们发现，当前的大语言模型（LLMs）尽管在许多自然语言处理（NLP）任务中表现出色，却始终无法理解Drivelology文本的多层次语义。为此，我们构建了一个小型但多样化的基准数据集，包含超过1200个精心筛选的实例，涵盖英语、汉语（Mandarin）、西班牙语（Spanish）、法语（French）、日语（Japanese）和韩语（Korean）等语言。数据标注过程尤为困难：每个实例均需专家细致评审，以确保其真正体现Drivelology特征。该过程经历了多轮讨论与裁决以解决分歧，突显了Drivelology现象的微妙性和主观性。我们对多种LLMs在分类、生成和推理任务上的表现进行了评估。结果显示LLMs存在明显局限：模型常将Drivelology误认为浅层无意义语句，生成不连贯的解释，或完全忽略其隐含的修辞功能。这些发现揭示了LLMs在语用理解方面存在更深层次的表征缺陷，并挑战了“统计流畅性等同于认知理解”的假设。我们公开了数据集和代码，以推动超越表层连贯性的语言深度建模研究。
9. Durian: Dual Reference-guided Portrait Animation with Attribute Transfer
作者: Hyunsoo Cha, Byungjun Kim, Hanbyul Joo
链接: 📄 ArXiv | 🤗 HuggingFace
信息: 📅 发布日期: 2025-09-04 | 👍 点赞数: 2
摘要:
我们提出Durian，这是首个能 够在零样本设置下实现将给定参考图像中的面部属性迁移到目标肖像并生成肖像动画视频的方法。为了在帧间实现高保真且空间一致的属性迁移，我们引入了双参考网络，将来自肖像图像和属性图像的空间特征注入扩散模型的去噪过程中。我们采用自重建的训练方式，从同一肖像视频中采样两帧：一帧作为属性参考，另一帧作为目标肖像，并基于这些输入及其对应的掩码重建其余帧。为了支持具有不同空间范围的属性迁移，我们提出了一种基于关键点条件图像生成的掩码扩展策略用于训练。此外，我们还对属性图像和肖像图像进行了空间和外观层面的增强变换，以提高模型对两者之间位置不对齐的鲁棒性。尽管训练过程中未使用显式的三元组监督，这些策略使得模型能够有效泛化到多种属性和真实场景下的参考组合。Durian在属性迁移的肖像动画任务中实现了当前最先进的性能，并且值得注意的是，其双参考设计能够在单次生成过程中实现多属性组合迁移，而无需额外训练。
10. Drawing2CAD: Sequence-to-Sequence Learning for CAD Generation from
Vector Drawings
作者: Feiwei Qin, Shichao Lu, Junhao Hou, Changmiao Wang, Meie Fang, Ligang Liu
链接: 📄 ArXiv | 🤗 HuggingFace
信息: 📅 发布日期: 2025-08-26 | 👍 点赞数: 2
摘要:
摘要：计算机辅助设计（CAD）生成建模正在推动工业应用中的重大创新。近期研究在从点云、网格和文本描述等多种输入创建实体模型方面取得了显著进展。然而，这些方法与始于二维工程图纸的传统工业工作流程存在根本差异。尽管从这些二维矢量图纸自动生成参数化CAD模型是工程设计中的关键步骤，但相关研究仍较少。为填补这一空白，我们的核心观点是将CAD生成重新构建为一个序列到序列的学习问题，其中矢量图形基元直接指导参数化CAD操作的生成，在整个转换过程中保持几何精度和设计意图。我们提出了Drawing2CAD框架，包含三个关键技术组件：一种网络友好的矢量基元表示方法，用于保留精确的几何信息；一种双解码器Transformer架构，可在保持精确对应关系的同时解耦命令类型和参数生成；以及一种软目标分布损失函数，以适应CAD参数中固有的灵活性。为了训练和评估Drawing2CAD，我们构建了CAD-VGDrawing数据集，包含成对的工程图纸和参数化CAD模型，并进行了全面的实验以验证我们方法的有效性。 代码和数据集可在https://github.com/lllssc/Drawing2CAD获取。
11. Delta Activations: A Representation for Finetuned Large Language Models
作者: Zhiqiu Xu, Amish Sethi, Mayur Naik, Ser-Nam Lim
链接: 📄 ArXiv | 🤗 HuggingFace
信息: 📅 发布日期: 2025-09-04 | 👍 点赞数: 1
摘要:
Delta Activations: 一种用于微调大语言模型的表示方法
摘要： 强大的开源大语言模型（Large Language Models, LLMs）的成功使研究社区能够创建大量针对特定任务和领域的微调模型。然而，由于元数据不一致和仓库结构无序，这些模型的管理和理解仍然具有挑战性。我们提出Delta Activations方法，通过测量微调模型相对于基础模型的内部激活变化，将其表示为向量嵌入。这种表示方法能够根据领域和任务实现有效的聚类，揭示模型分布的结构。Delta Activations还表现出良好的特性：其在不同微调设置下具有鲁棒性，并且在微调数据集混合时表现出可加性。此外，我们展示了Delta Activations可以通过少量样本微调对任务进行嵌入，并进一步探索了其在模型选择和合并中的应用。我们希望Delta Activations能够促进公开可用模型的复用实践。 代码地址为https://github.com/OscarXZQ/delta_activations。
12. False Sense of Security: Why Probing-based Malicious Input Detection
Fails to Generalize
作者: Cheng Wang, Zeming Wei, Qin Liu, Muhao Chen
链接: 📄 ArXiv | 🤗 HuggingFace
信息: 📅 发布日期: 2025-09-04
摘要:
大型语言模型（Large Language Models, LLMs）可能会执行有害指令，尽管其能力强大，但仍引发了严重的安全性担忧。近期研究利用基于探测（probing-based）的方法来研究LLMs内部表示中恶意输入与良性输入的可分性，并提出将此类探测方法用于安全检测。我们对这一范式进行了系统性再审视。受制于较差的分布外表现，我们假设探测器学习到的是表层模式而非语义上的危害性。通过受控实验，我们验证了这一假设，并识别出了探测器学到的具体模式：指令模式和触发词（trigger words）。我们的研究采用了系统性的方法，从展示简单n-gram方法的相当性能，到使用语义清洗后的数据集进行受控实验，再到对模式依赖性的详细分析。这些结果揭示了当前基于探测的安全检测方法所带来的一种“虚假的安全感”，并突显了重新设计模型和评估协议的必要性。我们对此进行了进一步讨论，以期为该方向的后续负责任研究提供建议。 本项目已开源，地址为 https://github.com/WangCheng0116/Why-Probe-Fails。