每日论文 - 2025年08月28日
论文总数: 17
1. Beyond Transcription: Mechanistic Interpretability in ASR
作者: Neta Glazer, Yael Segal-Feldman, Hilit Segev, Aviv Shamsian, Asaf Buchnick, Gill Hetz, Ethan Fetaya, Joseph Keshet, Aviv Navon
链接: 📄 ArXiv | 🤗 HuggingFace
信息: 📅 发布日期: 2025-08-21 | 👍 点赞数: 73
摘要:
摘要:可解释性方法最近引起了广泛关注,尤其是在大语言模型领域,这些方法能够揭示语言表征、错误检测以及模型行为(如幻觉和重复)。然而,尽管这些技术在提升自动语音识别(ASR)系统的性能和可解释性方面具有潜力,但在该领域仍未得到充分探索。在本研究中,我们改编并系统应用了已有的可解释性方法,如logit lens、线性探测(linear probing)和激活修补(activation patching),以研究在ASR系统中声学和语义信息如何在各层之间演变。我们的实验揭示了此前未知的内部动态,包括特定的编码器-解码器 交互机制,这些机制导致了重复幻觉以及深嵌于声学表征中的语义偏差。这些发现表明,将可解释性技术扩展并应用于语音识别领域具有显著优势,为未来提高模型透明度和鲁棒性的研究提供了有希望的方向。
2. Self-Rewarding Vision-Language Model via Reasoning Decomposition
作者: Zongxia Li, Wenhao Yu, Chengsong Huang, Rui Liu, Zhenwen Liang, Fuxiao Liu, Jingxi Che, Dian Yu, Jordan Boyd-Graber, Haitao Mi, Dong Yu
链接: 📄 ArXiv | 🤗 HuggingFace
信息: 📅 发布日期: 2025-08-27 | 👍 点赞数: 68
摘要:
视觉-语言模型(VLMs)常常面临视觉幻觉的问题,即描述图像中并不存在的内容,以及语言捷径的问题,即跳过视觉部分而仅依赖文本先验知识。这些问题的产生是因为大多数VLM的后训练方法依赖于简单的可验证答案匹配,并且仅对最终输出进行监督,而中间的视觉推理过程缺乏明确的指导。因此,VLMs接收到的视觉信号稀疏,并且往往倾向于优先使用基于语言的推理而非视觉感知。为缓解这些问题,一些现有方法通过人工标注或外部大模型提炼的标签增加视觉监督。然而,人工标注费时费力且成本高昂,而外部信号无法适应策 略的演化,可能导致分布偏移,从而引发奖励黑客问题。本文中,我们提出了Vision-SR1,一种通过强化学习实现的自奖励方法,在不依赖外部视觉监督的情况下提升视觉推理能力。Vision-SR1将VLM的推理过程分解为两个阶段:视觉感知和语言推理。首先引导模型生成独立的视觉感知,这些感知足以在不参考原始图像的情况下回答问题。为了验证这种独立性,随后使用相同的VLM模型仅基于生成的感知进行语言推理,并据此计算奖励。这种自奖励机制与对最终输出的监督相结合,提供了平衡的训练信号,从而增强视觉感知和语言推理。我们的实验表明,Vision-SR1在多种视觉-语言任务中提升了视觉推理能力,缓解了视觉幻觉问题,并减少了对语言捷径的依赖。
3. CODA: Coordinating the Cerebrum and Cerebellum for a Dual-Brain Computer
Use Agent with Decoupled Reinforcement Learning
作者: Zeyi Sun, Yuhang Cao, Jianze Liang, Qiushi Sun, Ziyu Liu, Zhixiong Zhang, Yuhang Zang, Xiaoyi Dong, Kai Chen, Dahua Lin, Jiaqi Wang
链接: 📄 ArXiv | 🤗 HuggingFace
信息: 📅 发布日期: 2025-08-27 | 👍 点赞数: 27
摘要:
摘要: