我是中国科学院软件研究所[中文信息处理实验室]的博士研究生(2020年9月至今),导师为韩先培研究员和孙乐研究员。我于2020年6月在南开大学获得学士学位。我的研究兴趣包括:
我预计于2026年6月毕业,当前正在积极寻求工作机会。欢迎联系我,联系方式如下:
邮箱:ruoxi2021@iscas.ac.cn
电话:(+86)15022171058
微信:
中国科学院软件研究所,中文信息处理实验室,在读博士
2020 -- 至今
南开大学,软件金融双学位, GPA:92.7/100 (排名2/120)
2016 -- 2020
该工作首次跨多领域定量地探究大模型的言行一致性。首先精心设计了一个评估基准,即言行一致性测试,在观点、(非)道德价值观和理论四个领域中建立了言语和行为的严格对应关系。通过对多个不同系列、模型规模和训练方法的大语言模型进行测试并进行言语或行为的单方面对齐,我们发现:1)大语言模型在各领域中普遍存在显著的言行不一致,且在非道德背景下更为明显;2)缺乏坚定的信念和不同步的对齐分别是基础模型和对齐模型言行不一的可能原因;3)言语或行为单方面的对齐会加大言行不一,显式推理或数据扩增难以解决这个问题。这支持了我们的假设,即指导大语言模型在言语或行为选择上的知识不在同一空间中。
当前研究对知识注入深度的探索仍停留在表面层面,主要聚焦于知识记忆与检索等基础层面,缺乏系统性的层次划分与深度评估体系。该工作提出包含记忆(Memorization)、检索(Retrieval)、推理(Reasoning)和关联(Association)的四层知识注入框架,通过层次化定义揭示了知识注入深度的递进关系。基于该框架,我们构建了基准DeepKnowledge,支持对新型知识、增量知识和更新知识三种知识类型的注入深度进行细粒度评估。通过多种知识注入场景的实验探索,系统揭示了LLM实现各层级知识注入的关键技术要素,并建立了知识注入层级与适配方法之间的映射关系。
该工作对大语言模型和社会科学的结合做了一个全面和系统性的综述,从两个视角探讨了大语言模型与社会科学之间的关系:1)AI for social science,即 AI利用其类人智能助力传统社会科学研究;2)Social science of AI,即 AI成为社会科学的研究对象,被视作社会实体来研究其行为规律。除此之外,还对相关资源和工具进行了搜集和比较,为这一领域的研究提供了有益的参考。
该工作基于Daniel Goleman的社会智力理论开发了一种基于真实社会场景的标准化社会智力测试来全面评估大语言模型们的社会智能。通过对多个大语言模型进行广泛的评估,我们发现:1)大语言模型们的社会智能有显著的提升空间,其中浮于表面的友善是导致错误的主要原因;2)大语言模型们所表现出的社会智力与学术智力之间存在相对较低的相关性,表明大语言模型们在两方面智能的发展不同步;3)模型们对社会智力的“理解”存在局限,但其表现受社会因素影响,与人类表现类似。
观点挖掘领域集中于对实体情感和看法的提取,而针对事件的研究较少。然而,以事件为中心的观点挖掘任务与以实体为中心的观点挖掘任务在定义、结构和表达上都有较大区别。为此,该工作基于事件论元结构提出并定义了以事件为中心的观点挖掘新任务,并构建了一个新的数据集。同时设计了两阶段基准框架,并以此为基础实现了四个基线系统。