EN | 中文

教育经历

中国科学院软件研究所,中文信息处理实验室,在读博士

2020 -- 至今

南开大学,软件金融双学位, GPA:92.7/100 (排名2/120)

2016 -- 2020

研究经历

知识注入与泛化

Large Language Models Often Say One Thing and Do Another

Ruoxi Xu, Hongyu Lin, Xianpei Han, Le Sun, Yingfei Sun
The Thirteenth International Conference on Learning Representations (ICLR 2025)
Paper
>详细内容

该工作首次跨多领域定量地探究大模型的言行一致性。首先精心设计了一个评估基准,即言行一致性测试,在观点、(非)道德价值观和理论四个领域中建立了言语和行为的严格对应关系。通过对多个不同系列、模型规模和训练方法的大语言模型进行测试并进行言语或行为的单方面对齐,我们发现:1)大语言模型在各领域中普遍存在显著的言行不一致,且在非道德背景下更为明显;2)缺乏坚定的信念和不同步的对齐分别是基础模型和对齐模型言行不一的可能原因;3)言语或行为单方面的对齐会加大言行不一,显式推理或数据扩增难以解决这个问题。这支持了我们的假设,即指导大语言模型在言语或行为选择上的知识不在同一空间中。


Memorizing is Not Enough: Deep Knowledge Injection Through Reasoning

Ruoxi Xu, Yunjie Ji, Boxi Cao, Yaojie Lu, Hongyu Lin, Xianpei Han, Ben He, Yingfei Sun, Xiangang Li, Le Sun
The 63rd Annual Meeting of the Association for Computational Linguistics (ACL 2025)
Preprint
>详细内容

当前研究对知识注入深度的探索仍停留在表面层面,主要聚焦于知识记忆与检索等基础层面,缺乏系统性的层次划分与深度评估体系。该工作提出包含记忆(Memorization)、检索(Retrieval)、推理(Reasoning)和关联(Association)的四层知识注入框架,通过层次化定义揭示了知识注入深度的递进关系。基于该框架,我们构建了基准DeepKnowledge,支持对新型知识、增量知识和更新知识三种知识类型的注入深度进行细粒度评估。通过多种知识注入场景的实验探索,系统揭示了LLM实现各层级知识注入的关键技术要素,并建立了知识注入层级与适配方法之间的映射关系。

大语言模型与社会科学

AI for social science and social science of AI: A survey

Ruoxi Xu, Yingfei Sun, Mengjie Ren, Shiguang Guo, Ruotong Pan, Hongyu Lin, Le Sun, Xianpei Han
Information Processing & Management (IP&M 2024, SCI Q1, ESI高被引)
Preprint / Paper
>详细内容

该工作对大语言模型和社会科学的结合做了一个全面和系统性的综述,从两个视角探讨了大语言模型与社会科学之间的关系:1)AI for social science,即 AI利用其类人智能助力传统社会科学研究;2)Social science of AI,即 AI成为社会科学的研究对象,被视作社会实体来研究其行为规律。除此之外,还对相关资源和工具进行了搜集和比较,为这一领域的研究提供了有益的参考。


Situational Evaluation for Social Intelligence of Large Language Models

Ruoxi Xu, Hongyu Lin, Xianpei Han, Le Sun, Yingfei Sun
Preprint
>详细内容

该工作基于Daniel Goleman的社会智力理论开发了一种基于真实社会场景的标准化社会智力测试来全面评估大语言模型们的社会智能。通过对多个大语言模型进行广泛的评估,我们发现:1)大语言模型们的社会智能有显著的提升空间,其中浮于表面的友善是导致错误的主要原因;2)大语言模型们所表现出的社会智力与学术智力之间存在相对较低的相关性,表明大语言模型们在两方面智能的发展不同步;3)模型们对社会智力的“理解”存在局限,但其表现受社会因素影响,与人类表现类似。

信息抽取

ECO v1: towards event-centric opinion mining

Ruoxi Xu, Hongyu Lin, Meng Liao, Xianpei Han, Jin Xu, Wei Tan, Yingfei Sun, Le Sun
Findings of the Association for Computational Linguistics (ACL 2022)
Preprint / Paper
>详细内容

观点挖掘领域集中于对实体情感和看法的提取,而针对事件的研究较少。然而,以事件为中心的观点挖掘任务与以实体为中心的观点挖掘任务在定义、结构和表达上都有较大区别。为此,该工作基于事件论元结构提出并定义了以事件为中心的观点挖掘新任务,并构建了一个新的数据集。同时设计了两阶段基准框架,并以此为基础实现了四个基线系统。

长文档理解

DLUE: Benchmarking Document Language Understanding

Ruoxi Xu, Hongyu Lin, Xinyan Guan, Xianpei Han, Yingfei Sun, Le Sun
China National Conference on Chinese Computational Linguistics (CCL 2024)
Preprint / Paper

实习经历

贝壳找房

2024.7 -- 至今

  • 开发高效知识注入工具包。一站式地实现基于大模型的注入知识多样化扩增、基于magetron的模型持续预训练与自动化的多层次知识应用评估(记忆、提取、推理)。相比于直接注入,知识提取和推理精度提升了55%和47.4%。
  • 探索预训练阶段进行知识注入的泛化边界:重复学习使模型记住知识;多样且异质的表达使模型能提取知识;显式推理数据使模型学会在对应的推理模式及其组合上推理知识,但是难以在其他的推理路径上应用知识。实验结果揭示了达到大语言模型知识注入各个层次的关键因素,并建立了知识注入层次与相应的知识注入方法之间的映射关系。
  • 产出论文1篇,已被ACL 2025录用。

腾讯,微信搜索应用部

2021.10 -- 2022.06

  • 将观点挖掘任务从传统的以实体为中心拓展到以事件为中心。完成任务的提出、定义和形式化,基准的标注监督和构建,并设计两阶段框架解决问题:将以事件为中心的观点提取建模为句子级别的序列标注问题,将观点对象提取建模为机器阅读理解问题。
  • 参与事件知识图谱构建项目。在验证了算法的有效性后,将所开发的算法应用到搜一搜的深度评论和多视角项目中,从新闻文章中自动提取与核心事件、事件参与者和事件子事件相关的观点信息,并从事件的不同角度总结观点。
  • 产出论文1篇,发表于Findings of ACL 2022。
  • 主持技术评测“以事件为中心的观点挖掘”,CCL 2022。