电邮这篇文章 基于数据增强和低秩微调的密码领域命名实体识别技术
DOI: http://dx.doi.org/10.12349/iser.v6i5.5665
Article ID: 5665
摘要
随着密码安全需求的增长，网络安全领域的命名实体识别（Named Entity Recognition, NER）受到广泛关注，其中密码实体的识别成为关键难点。由于密码领域数据的专业性和实体复杂性，导致现有NER方法的识别能力受限，此外，密码领域的标注数据稀缺也使得训练NER模型变得困难。针对这些问题，提出了一种基于数据增强和低秩微调的密码实体识别方法CRYPT-DALoRA。首先，以业务数据等为数据源构建初始数据集，并采用基于思维链提示微调的数据增强方法构建上下文语义一致的密码领域NER数据集。其次，基于思维链方法分别设计了针对业务实体、密码实体和嵌套密码实体的3类密码领域NER提示词模板，结合基于权重分解和差异学习率的低秩适应微调方法对大模型进行微调。最后在构建的密码领域NER数据集上进行了实验。本方法取得76.87%的F1-score，相比BERT-BiLSTM-CRF有10.96个百分点的提升。
关键词
大语言模型;命名实体识别;数据增强;低秩微调;密码学
全文:
PDF参考
Floridi L, Chiriatti M. GPT-3: Its nature, scope, limits, and consequences[J]. Minds and Machines, 2020, 30: 681-694.
Hu E J, Shen Y, Wallis P, et al. Lora: Low-rank adaptation of large language models[J]. arXiv preprint arXiv:2106.09685, 2021.
Wei J, Wang X, Schuurmans D, et al. Chain-of-thought prompting elicits reasoning in large language models[J]. Advances in neural information processing systems, 2022, 35: 24824-24837.
Liu S Y, Wang C Y, Yin H, et al. Dora: Weight-decomposed low-rank adaptation[J]. arXiv preprint arXiv:2402.09353, 2024.
Hayou S, Ghosh N, Yu B. Lora+: Efficient low rank adaptation of large models[J]. arXiv preprint arXiv:2402.12354, 2024.
Refbacks
- 当前没有refback。
版权所有（c）2025 包 乐尔, 张 伟
此作品已接受知识共享署名-非商业性使用 4.0国际许可协议的许可。
