论文

智能体与智能体系统安全

[Preprint] LMSM: LLM Security Framework Inspired by Linux Security Modules

XiuYu Zhang, Bonan Ruan, Junfeng Fang, An Zhang, Tat-Seng Chua, Zhenkai Liang

arXiv 2026

@article{zhang2026lmsm,
  title={LMSM: LLM Security Framework Inspired by Linux Security Modules},
  author={Zhang, XiuYu and Ruan, Bonan and Fang, Junfeng and Zhang, An and Chua, Tat-Seng and Liang, Zhenkai},
  journal={arXiv preprint arXiv:2608.25697},
  year={2026}
}

大语言模型(LLM)越来越多地采用分层防御机制,但恶意提示仍可能绕过这些防御。可解释性方法能够揭示生成路径中的模型内部信号,为安全执行提供依据,但这些信号本身并不是安全控制。现有安全部署通常将每种信号分别绑定到独立的校准、策略逻辑和干预代码,因此每增加一种分析产物都会带来新的集成工作,而无法增强统一的防御体系。我们提出 Language Model Security Modules(LMSM),借鉴 Linux Security Modules(LSM)的分离思想构建面向 LLM 服务的安全框架。在 LMSM 中,选定的安全后端提供经校准的证据,带版本的策略基于可信的逐请求上下文评估启用规则,独立的门控模块则决定是否释放缓冲输出。这一设计将中介机制的正确性与策略有效性分离,并允许在无需重建请求处理或执行机制的情况下更换后端、规则或调度方式。原型验证了这种分离在实践中的可行性:在 Hugging Face Transformers 和持续批处理的 vLLM 上,同一底层框架可承载基于分析产物的稀疏自编码器(SAE)、transcoder 部署和面向任务训练的稠密探针;即使调度不断变化,也能保持逐请求决策,并可选择性地执行和组合多条规则。在 Qwen3-4B 上,LMSM-Checkpoint 将 HarmBench 攻击成功率从 39.20% 降至 3.32%,XSTest 误拒率从 2.40% 升至 4.40%;在 32 个活跃序列下,其吞吐量仍达到无监控对照服务路径的 98.14%。LMSM 为可解释性和模型内部分析成果提供了一条统一的运行时执行路径。

[Preprint] Heimdallr: Characterizing and Detecting LLM-Induced Security Risks in GitHub CI Workflows

Bonan Ruan, Yeqi Fu, Chuqi Zhang, Jiahao Liu, Jun Zeng, Zhenkai Liang

arXiv 2026

@article{ruan2026heimdallr,
  title={Heimdallr: Characterizing and Detecting LLM-Induced Security Risks in GitHub CI Workflows},
  author={Ruan, Bonan and Fu, Yeqi and Zhang, Chuqi and Liu, Jiahao and Zeng, Jun and Liang, Zhenkai},
  journal={arXiv preprint arXiv:2605.05969},
  year={2026}
}

GitHub 持续集成(CI)工作流正越来越多地集成大语言模型(LLM),以自动完成审查、分流、内容生成和仓库维护。这带来了新的攻击面:外部可控的工作流输入可以影响 LLM 的提示与输出,继而影响安全决策、仓库状态或特权执行。尽管 LLM 安全和 CI 安全都已得到广泛研究,两者的交叉领域仍缺乏探索。本文首次系统研究 GitHub CI 工作流中由 LLM 引发的安全风险。我们沿完整执行链刻画问题,并建立由高层风险类别和具体威胁向量组成的分类体系。为在实践中检测此类风险,我们设计了混合分析框架 Heimdallr:它将工作流规范化为 LLM-Workflow Property Graph(L-WPG),并结合可触发性分析、LLM 辅助的数据流摘要和确定性传播,生成具体的威胁向量发现。在 300 个经人工标注的独立工作流上,Heimdallr 在 LLM 节点识别(F1 = 0.994)、可触发性分类(99.8%)和威胁向量检测(微平均 F1 = 0.917)方面均取得很高的准确率。作为持续检测与披露工作的一部分,我们目前已负责任地披露了分布在 759 个仓库中的 802 个易受攻击工作流实例,并收到 71 次确认。

[ICLR 2026] DevOps-Gym: Benchmarking AI Agents in Software DevOps Cycle

Yuheng Tang*, Kaijie Zhu*, Bonan Ruan, Chuqi Zhang, Michael Yang, Hongwei Li, Suyue Guo, Tianneng Shi, Zekun Li, Christopher Kruegel, Giovanni Vigna, Dawn Song, William Yang Wang, Lun Wang, Yangruibo Ding, Zhenkai Liang, Wenbo Guo

14th International Conference on Learning Representations

@inproceedings{tang2026devopsgym,
  title={DevOps-Gym: Benchmarking AI Agents in Software DevOps Cycle},
  author={Yuheng Tang and Kaijie Zhu and Bonan Ruan and Chuqi Zhang and Michael Yang and Hongwei Li and Suyue Guo and Tianneng Shi and Zekun Li and Christopher Kruegel and Giovanni Vigna and Dawn Song and William Yang Wang and Lun Wang and Yangruibo Ding and Zhenkai Liang and Wenbo Guo},
  booktitle={The Fourteenth International Conference on Learning Representations},
  year={2026},
  url={https://openreview.net/forum?id=bP48r4dt7Z}
}

尽管 AI 智能体在代码生成和软件问题解决方面展现出非凡能力,其覆盖完整软件 DevOps 周期的能力仍不明确。与单纯的代码生成不同,处理真实软件中的开发、部署与运维,需要分析大规模项目、理解动态程序行为、使用领域专用工具并进行连续决策。然而,现有基准聚焦于孤立问题,缺少面向 DevOps 的环境和工具接口。我们提出 DevOps-Gym,这是首个评估 AI 智能体核心 DevOps 工作流的端到端基准,涵盖构建与配置、监控、问题解决和测试生成。DevOps-Gym 收录了来自 30 多个 Java 和 Go 项目的 700 多个真实任务。我们开发了半自动数据收集机制,并投入严谨且大量的专家工作来保证任务覆盖面与质量。对前沿模型和智能体的评估揭示了根本性局限:它们难以解决 Java 和 Go 中的问题与测试生成任务,也仍无法处理监控、构建和配置等新任务。这些结果表明,利用 AI 智能体自动化完整 DevOps 周期仍需要重要的基础研究。

[Preprint] TraceAegis: Securing LLM-Based Agents via Hierarchical and Behavioral Anomaly Detection

Jiahao Liu, Bonan Ruan, Xianglin Yang, Zhiwei Lin, Yan Liu, Yang Wang, Tao Wei, Zhenkai Liang

arXiv 2025

@article{liu2025traceaegis,
  title={TraceAegis: Securing LLM-Based Agents via Hierarchical and Behavioral Anomaly Detection},
  author={Liu, Jiahao and Ruan, Bonan and Yang, Xianglin and Lin, Zhiwei and Liu, Yan and Wang, Yang and Wei, Tao and Liang, Zhenkai},
  journal={arXiv preprint arXiv:2510.11203},
  year={2025}
}

基于 LLM 的智能体在真实应用中展现出良好的适应能力。然而,这些智能体仍容易遭受工具投毒、恶意指令等多种攻击,执行流程可能因此受损,并造成数据泄露和经济损失等严重后果。现有研究通常预先定义特定规则并在运行时执行,以缓解此类异常并提高安全性。但设计完备规则十分困难,不仅需要大量人工投入,仍会留下导致漏报的缺口。随着智能体系统演变为复杂的软件系统,我们借鉴软件系统安全,提出基于溯源分析的 TraceAegis 框架,利用智能体执行轨迹检测潜在异常。具体而言,TraceAegis 构建层次化结构,抽象出表征正常智能体行为的稳定执行单元;随后将这些单元总结为受约束的行为规则,规定完成任务所需的条件。通过同时依据层次约束和行为约束验证执行轨迹,TraceAegis 能够有效检测异常行为。为评估其有效性,我们构建了 TraceAegis-Bench 数据集,覆盖医疗健康和企业采购两个代表性场景。每个场景包含 1,300 个正常行为和 300 个异常行为;异常要么违反智能体执行顺序,要么破坏执行序列的语义一致性。实验结果表明,TraceAegis 在 TraceAegis-Bench 上表现出色,能够成功识别大多数异常行为。我们还通过某科技公司的内部红队测试验证了其实用性,它能够有效检测红队攻击产生的异常轨迹。

[Preprint] When MCP Servers Attack: Taxonomy, Feasibility, and Mitigation

Weibo Zhao, Jiahao Liu, Bonan Ruan, Shaofei Li, Zhenkai Liang

arXiv 2025

@article{zhao2025when,
  title={When MCP Servers Attack: Taxonomy, Feasibility, and Mitigation},
  author={Zhao, Weibo and Liu, Jiahao and Ruan, Bonan and Li, Shaofei and Liang, Zhenkai},
  journal={arXiv preprint arXiv:2509.24272},
  year={2025}
}

Model Context Protocol(MCP)服务器让 AI 应用能够即插即用地连接外部系统,但其快速普及也带来了严重的安全风险。与具有严格审查机制的成熟软件生态不同,MCP 服务器仍缺少标准化审核,为攻击者分发恶意实现提供了机会。尽管风险迫切,MCP 服务器的安全影响仍缺乏深入研究。为填补这一空白,我们首次将 MCP 服务器视为主动威胁主体开展系统研究,并将其拆解为核心组件,分析恶意开发者植入恶意意图的方式。具体而言,我们研究三个问题:(i)恶意 MCP 服务器能够发起哪些攻击;(ii)MCP 宿主和大语言模型(LLM)对此类攻击的脆弱程度;(iii)在实践中实施 MCP 服务器攻击的可行性。我们提出由十二类攻击组成的组件级分类体系,为每一类开发 Proof-of-Concept(PoC)服务器,并在多种真实宿主—LLM 配置中验证其有效性。我们进一步表明,攻击者几乎可以零成本批量生成恶意服务器。随后,我们使用前沿扫描器检测这些服务器,发现现有检测方法仍不充分。这些结果说明,恶意 MCP 服务器容易实现、难以被现有工具检测,并且能够对 AI 智能体系统造成实际损害。应对此类威胁需要协议设计者、宿主开发者、LLM 提供商和最终用户协同构建更安全、更具韧性的 MCP 生态。

系统与软件安全

[ASE 2025] Propagation-Based Vulnerability Impact Assessment for Software Supply Chains

Bonan Ruan, Zhiwei Lin, Jiahao Liu, Chuqi Zhang, Kaihang Ji, Zhenkai Liang

40th IEEE/ACM International Conference on Automated Software Engineering

@inproceedings{ruan2025vpss,
  title={Propagation-Based Vulnerability Impact Assessment for Software Supply Chains},
  author={Ruan, Bonan and Lin, Zhiwei and Liu, Jiahao and Zhang, Chuqi and Ji, Kaihang and Liang, Zhenkai},
  booktitle={Proceedings of the 40th IEEE/ACM International Conference on Automated Software Engineering},
  pages={65--77},
  year={2025}
}

识别影响范围和规模是评估软件供应链漏洞的关键,但现有研究存在明显局限。首先,既有工作要么停留在粗粒度的软件包层面,产生大量误报;要么无法实现覆盖整个生态系统的漏洞传播分析。其次,CVSS 等漏洞评估指标能够刻画单个漏洞,却没有指标专门量化漏洞在软件供应链中传播所产生的动态影响。为解决这些问题并实现准确、全面的漏洞影响评估,我们提出:(i)一种基于分层工作列表的算法,用于生态系统级和调用图级漏洞传播分析;(ii)Vulnerability Propagation Scoring System(VPSS),用于动态量化漏洞影响的范围及其演化。我们在 Java Maven 生态中实现原型,并使用 100 个真实漏洞进行评估。实验结果表明,该方法能够有效开展生态系统级漏洞传播分析,VPSS 也为漏洞影响提供了实用的量化度量。

[USENIX Security 2025] Fuzzing the PHP Interpreter via Dataflow Fusion

Yuancheng Jiang, Chuqi Zhang, Bonan Ruan, Jiahao Liu, Manuel Rigger, Roland Yap, Zhenkai Liang

34th USENIX Security Symposium

Distinguished Paper Award

@inproceedings{jiang2025fuzzing,
  title={Fuzzing the PHP Interpreter via Dataflow Fusion},
  author={Jiang, Yuancheng and Zhang, Chuqi and Ruan, Bonan and Liu, Jiahao and Rigger, Manuel and Yap, Roland HC and Liang, Zhenkai},
  booktitle={34th USENIX Security Symposium (USENIX Security 25)},
  pages={6143--6158},
  year={2025}
}

PHP 是 Web 开发中的主流脚本语言,支撑着从个人博客到大型平台的众多网站。现有研究主要关注代码注入等 PHP 应用层安全问题,而 PHP 解释器内部的内存错误在很大程度上被忽视。PHP 解释器包含庞大的 C 代码库,因此此类内存错误较为常见,并会严重威胁 PHP 服务器的机密性、完整性和可用性。本文提出 FlowFusion,这是首个自动检测 PHP 解释器内存错误的模糊测试框架。FlowFusion 使用数据流高效表示 PHP 开发者维护的测试用例,将两个或多个测试用例融合,生成具有更复杂代码语义的新测试用例。此外,FlowFusion 还采用测试变异、接口模糊测试和环境交叉等策略提高缺陷发现能力。评估中,FlowFusion 在 PHP 解释器中发现 158 个未知缺陷,其中 125 个已修复、11 个已确认。与官方测试套件和简单拼接测试的方法相比,FlowFusion 能够发现这些方法遗漏的新缺陷,并获得更高的代码覆盖率。与前沿模糊测试工具 AFL++ 和 Polyglot 相比,FlowFusion 在 24 小时测试后多覆盖 24% 的代码行。FlowFusion 已获得 PHP 开发者的广泛认可,并被集成到 PHP 官方工具链中。

[RAID 2024] KernJC: Automated Vulnerable Environment Generation for Linux Kernel Vulnerabilities

Bonan Ruan, Jiahao Liu, Chuqi Zhang, Zhenkai Liang

27th International Symposium on Research in Attacks, Intrusions and Defenses

Best Practical Paper Award · Black Hat Asia 2025 Briefings

@inproceedings{ruan2024kernjc,
  title={Kernjc: Automated vulnerable environment generation for linux kernel vulnerabilities},
  author={Ruan, Bonan and Liu, Jiahao and Zhang, Chuqi and Liang, Zhenkai},
  booktitle={Proceedings of the 27th International Symposium on Research in Attacks, Intrusions and Defenses},
  pages={384--402},
  year={2024}
}

复现 Linux 内核漏洞是系统安全中的关键任务。漏洞复现需要易受攻击的环境和 Proof of Concept(PoC)程序。现有研究大多关注 PoC 的生成,却忽略了环境构建。然而,搭建能够触发漏洞的有效环境颇具挑战。首先,在线数据库中的漏洞版本声明有时并不准确,因此难以保证所选内核版本确实存在漏洞。其次,许多漏洞无法在使用默认配置构建的内核中复现;必须设置复杂的非默认内核配置,才能包含并触发特定漏洞,但如何识别这些配置的信息非常有限。

为解决这些问题,我们提出基于补丁的方法识别真实的易受攻击内核版本,并提出基于图的方法识别激活特定漏洞所需的配置。我们将这些方法实现为 KernJC,自动生成内核漏洞的易受攻击环境。为评估 KernJC,我们构建了一个数据集,包含过去五年内核漏洞研究中 66 个具有 PoC 的代表性真实漏洞。评估显示,KernJC 成功为所有这些漏洞构建环境,其中 32 个(48.5%)需要非默认配置,另有 4 个在 National Vulnerability Database(NVD)中的版本声明不正确。此外,我们还对内核漏洞开展大规模错误版本检测,发现 NVD 中有 128 个漏洞存在错误的版本声明。为促进后续研究,我们向社区开源 KernJC 及其数据集。

[IEEE TPS-ISA 2021] Security Challenges in the Container Cloud

Yutian Yang, Wenbo Shen, Bonan Ruan, Wenmao Liu, Kui Ren

2021 Third IEEE International Conference on Trust, Privacy and Security in Intelligent Systems and Applications (TPS-ISA)

@inproceedings{yang2021security,
  title={Security Challenges in the Container Cloud},
  author={Yang, Yutian and Shen, Wenbo and Ruan, Bonan and Liu, Wenmao and Ren, Kui},
  booktitle={2021 Third IEEE International Conference on Trust, Privacy and Security in Intelligent Systems and Applications (TPS-ISA)},
  pages={137--145},
  year={2021},
  organization={IEEE},
  doi={10.1109/TPSISA52974.2021.00016}
}

近年来,容器化凭借较高的资源利用效率和对 DevOps 的有力支持,已成为云计算的重要趋势。与此同时,容器系统的复杂性也带来了广泛的攻击面。本文将系统划分为内核层、容器层和编排层,并总结各部分使用的安全技术,以研究容器云中的安全挑战。文章分析了各层的弱点与挑战,回顾容器系统当前的防护状况,并指出未来研究方向。研究认为,提升容器云安全需要更强的内核隔离、更系统地分析现有容器技术的安全性,以及更全面的配置检查工具。

数据集

[ASE 2025] A Large-Scale Evolvable Dataset for Model Context Protocol Ecosystem and Security Analysis

Zhiwei Lin, Bonan Ruan, Jiahao Liu, Weibo Zhao

40th IEEE/ACM International Conference on Automated Software Engineering, Tool Demonstrations

@inproceedings{lin2024mcpcorpus,
  title={A Large-Scale Evolvable Dataset for Model Context Protocol Ecosystem and Security Analysis},
  author={Lin, Zhiwei and Ruan, Bonan and Liu, Jiahao and Zhao, Weibo},
  booktitle={Proceedings of the 40th IEEE/ACM International Conference on Automated Software Engineering},
  year={2025}
}

Model Context Protocol(MCP)近来成为连接语言模型与外部工具和数据的标准化接口。随着生态迅速扩张,缺少对现有 MCP 产物的结构化、全面认识给研究带来了挑战。为弥补这一空白,我们提出 MCPCorpus:一个大规模数据集,包含约 14K 个 MCP 服务器和 300 个 MCP 客户端。每个产物均标注了 20 多个规范化属性,涵盖身份、接口配置、GitHub 活跃度和元数据。MCPCorpus 提供可复现的真实 MCP 生态快照,可用于研究采用趋势、生态健康状况和实现多样性。为跟上 MCP 生态的快速演化,我们还提供了用于自动同步、规范化和检查数据的工具。为支持高效探索与使用,我们发布了轻量级 Web 搜索界面。MCPCorpus 已公开发布于:https://github.com/Snakinya/MCPCorpus。

[ASE 2024] VulZoo: A Comprehensive Vulnerability Intelligence Dataset

Bonan Ruan, Jiahao Liu, Weibo Zhao, Zhenkai Liang

39th IEEE/ACM International Conference on Automated Software Engineering, Tool Demonstrations

@inproceedings{ruan2024vulzoo,
  title={Vulzoo: A comprehensive vulnerability intelligence dataset},
  author={Ruan, Bonan and Liu, Jiahao and Zhao, Weibo and Liang, Zhenkai},
  booktitle={Proceedings of the 39th IEEE/ACM International Conference on Automated Software Engineering},
  pages={2334--2337},
  year={2024}
}

软件漏洞会带来严重的安全与风险问题。研究者提出了许多评估和排序漏洞的技术,但在评价这些技术时,往往只能从有限的数据源构建数据集,缺少对广泛漏洞情报的全局认识;重复的数据准备过程也让新方案的评估更加复杂。为解决这一问题,我们提出 VulZoo,一个覆盖 17 个漏洞数据源的综合漏洞情报数据集。我们还建立了这些数据源之间的关联,使其更易于针对不同任务进行配置和适配。VulZoo 提供工具脚本,可自动完成数据同步与清洗、关系挖掘和统计生成。我们公开发布 VulZoo,并通过增量更新持续维护。我们相信,VulZoo 能够为漏洞评估与优先级排序研究提供有价值的输入。视频见 https://youtu.be/EvoxQmUAHtw;数据集见 https://github.com/NUS-Curiosity/VulZoo。

图书贡献

云原生安全:攻防实践与体系构建

刘文懋,江国龙,浦明,阮博男,叶晓虎

机械工业出版社. ISBN: 9787111691839. 2021.

参与撰写章节:第 3、4、14 和 16 章。

面向云安全从业者的云原生安全实践指南。

Douban | 代码

云原生安全图书封面