计算机科学与技术学院（大数据学院）韩晓红教授团队在软件工程领域顶级期刊tosem发表研究论文-九游会网址j9

近日，我校计算机科学与技术学院（大数据学院）韩晓红教授团队在软件工程国际顶级期刊《acm transactions on software engineering and methodology》（tosem）发表了题为 “llmeffichecker: understanding and testing efficiency degradation of large language models” 的研究论文。tosem是国际上公认的最权威、最高水平的软件工程领域顶级期刊之一，也是软件工程领域仅有的两个ccf-a类国际期刊之一。每年1卷，每卷4期，33年（1992-2024）共计收录论文1007篇，年平均接收文章仅30余篇，录用率极低。

该论文第一署名单位为太原理工大学，韩晓红教授为论文通讯作者，其指导的在读硕士研究生冯晓宁为论文第一作者。据九游会网址j9官网数据，该研究也是我校在tosem发表的首篇论文。

大型语言模型（llms）通常存在大量的生成需求和实时要求（如openai的chatgpt平均月访问量达150亿次，平均日咨询量约为2.7亿次），而llms的计算效率鲁棒性却很少受到关注。该论文首次观察到llms中存在的潜在计算效率漏洞。仅在输入中插入一个字符 'b'，模型所需的计算时间增加了2226.7%（该模型已开源至huggingface，是translation栏目下的sota模型，2024年2月下载量717,082次）。为了探究该现象的内在原因，该论文分析了20,543个llms的工作机制和配置，并首次揭露了可以以对抗性的方法操纵llms以显著降低其计算效率。

基于以上动机，该论文提出了llmeffichecker框架，能够生成充分延迟句子结束标识（eos）出现的测试输入，迫使llms必须经过足够的迭代以满足自然情况下无法达到的阈值。该框架能够在白盒或黑盒场景中生成字符级别，令牌级别和结构级别的微小扰动以充分降低llms的计算效率。具体来说，该论文为白盒场景中设计了搜索损失函数，能够最大程度延迟eos的出现且能打破原有输出的依赖；黑盒场景下设计了基于delta debugging和因果推断的算法，能够有效识别种子输入中的关键标识。

在评估方面，该论文选取了九个开源且最先进的llm部署到服务器端，涵盖机器翻译、句子补全、代码生成等三种应用场景，从五个维度对llmeffichecker进行了系统评估。结果显示，所生成的测试输入平均增加服务器端cpu、gpu耗能和延迟三十倍，最高增加一百倍。同时，将谷歌的t5模型部署到移动设备端（samsung galaxy s9 ），结果显示，经过三百轮迭代，设备处理测试输入所需的耗电量比处理原始输入增加了30余倍。此外，部署openai的商用gpt3.5接口测试发现，仅一个token的扰动即可使服务反应延迟平均增加176.92%。

该研究首次发现了llms的计算效率漏洞，并首次尝试理解和测试其计算效率鲁棒性。为llms领域的研究提供了新的思路和策略。

全文链接：https://dl.acm.org/doi/10.1145/3664812