电邮这篇文章 基于 EFK 的网络安全日志数据的实时处理方法
DOI: http://dx.doi.org/10.12349/iser.v6i5.5699
Article ID: 5699
摘要
面对万物互联时代的海量网络安全日志的实时处理需求，传统ELK（Elasticsearch、Logstash和Kibana）日志架构因Logstash组件资源占用率高、数据处理吞吐量受限等问题，难以满足低延迟、高并发的日志分析要求。本文提出一种基于Flink流式计算的EFK架构（Elasticsearch、Flink、Kafka和Kibana），通过重构日志处理链路与优化系统扩展性，实现网络安全日志的高效采集、实时分析与精准威胁检测。实验结果表明，在模拟每秒千万级日志的高并发场景中，本方案较传统ELK架构呈现显著优势。
关键词
网络安全；ELK机构；Flink流计算；EFK架构；威胁检测
全文:
PDF参考
Orange Cyberdefense. Security Navigator 2023.
Sommer R, Paxson V. Outside the Closed World: On Using Machine Learning for Network Intrusion Detection. S&P 2010.
陈敬. 基于ELK的日志分析与异常检测系统的设计与实现(D). 西安电子科技大学, 2022
黄娅婷. 面向Kafka消息系统的性能优化方法研究(D). 桂林电子科技大学, 2023
Karim M R, et al. Real-time Log Analysis using Elasticsearch. ICDCN 2021.
Apache Flink®.https://flink.apache.org/.2024.
秦政,许利杰,等. 面向Apache Flink流式分析应用的高吞吐优化技术(J). 软件学报, 2024.
高立京,陈志敏,等. 基于Flink的空间科学卫星数据实时处理方法(J). 计算机仿真, 2023, 40(7): 26-31.图 2 不同配置下的数据处理效能
Refbacks
- 当前没有refback。
版权所有（c）2025 许 春霞
此作品已接受知识共享署名-非商业性使用 4.0国际许可协议的许可。
