基于 ES-Redis 的航班延误可视化系统

中国民航大学学报 ›› 2021, Vol. 39 ›› Issue (6): 20-27.

基于 ES-Redis 的航班延误可视化系统

屈景怡，陈旭阳，鞠澎，刘芳，张雄威

（1. 中国民航大学天津市智能信号与图像处理重点实验室，天津 300300； 2. 中国民用航空华北地区空中交通管理局天津空管分局，北京 100621）

收稿日期:2021-01-25 修回日期:2021-01-25 接受日期:2020-12-08 出版日期:2021-12-01 发布日期:2022-06-05
基金资助:
国家自然科学基金项目（U1833105）

Flight delay visualization system based on ES-Redis

QU Jingyi , CHEN Xuyang , JU Peng , LIU Fang , ZHANG Xiongwei

(1. Tianjin Key Laboratory for Advanced Signal Processing, CAUC, Tianjin 300300, China; 2. North China Air Traffic Administration of Civil Aviation of China, Beijing 100621, China)

Received:2021-01-25 Revised:2021-01-25 Accepted:2020-12-08 Online:2021-12-01 Published:2022-06-05
About author:屈景怡（1978—），女，天津人，教授，博士，研究方向为航空运输大数据工程、神经网络、深度学习.

摘要/Abstract

摘要： 针对系统数据量大导致的使用关系型数据库数据检索慢、缺乏实时性等问题，设计了一套基于 ES（elastic, search）-Redis 的航班延误可视化系统。通过充分整合 MySQL、ES、Redis 优势，利用 MySQL 数据库的统计查询功能与 Echarts 丰富的可视化界面实现了航班数据统计，利用 ES 与 Redis 实现了数据实时检索，数据检索速度是关系型数据库的 10 倍以上，利用 Hybrid 算法实现了 ES-Redis 查询模式的缓存替换，进一步提升系统的响应速度。

关键词: 数据实时检索, 航班延误统计, 缓存替换, ES（elasticsearch）, Redis

Abstract: Aiming at the problem that a large amount of data in the system leads to slow data retrieval and lack of realtime, a flight delay visualization system based on elasticsearch(ES)- Redis is designed. This paper fully integrates the advantages of MySQL, ES and Redis, the flight data statistics is realized combining statistical query function of MySQL and the rich visual interface of Echarts. The real-time data retrieval is realized by ES and Redis, and the data processing speed of ES-Redis is more than 10 times that of MySQL. The Hybrid algorithm is used to realize the cache replacement of ES-Redis query mode, further improving the response speed of the system.

Key words: data real-time retrieval, flight delay statistics, cache replacement, elasticsearch(ES), Redis

中图分类号:

TP311.52

屈景怡 , 陈旭阳 , 鞠澎 , 刘芳 , 张雄威 . 基于 ES-Redis 的航班延误可视化系统[J]. 中国民航大学学报, 2021, 39(6): 20-27.

QU Jingyi , CHEN Xuyang , JU Peng , LIU Fang , ZHANG Xiongwei . Flight delay visualization system based on ES-Redis [J]. Journal of Civil Aviation University of China, 2021, 39(6): 20-27.

参考文献 13

[1]	马梓昂, 贾克斌. 基于 Web 的高性能智能快递柜管理系统[J]. 计算机应用与软件, 2020, 37(4): 1-5, 47.
[2]	许鑫, 时雷, 何龙, 等. 基于 NoSQL 数据库的农田物联网云存储系统设计与实现[J]. 农业工程学报, 2019, 35(1): 172-179.
[3]	李洪奇, 朱丽萍, 孙国玉, 等. 面向海量小文件的分布式存储系统设计与实现[J]. 计算机工程与设计, 2016, 37(1): 86-92.
[4]	杨冬菊, 冯凯. 基于缓存的分布式统一身份认证优化机制研究[J]. 计算机科学, 2018, 45(3): 302-306, 312.
[5]	吴仁彪, 刘超, 屈景怡. 基于 HBase 和 Hive 的航班延误平台的存储方法[J]. 计算机应用, 2018, 38(5): 1339-1345.
[6]	施晓峰. 基于分布式 NoSQL 数据库的档案大数据存储与检索方案研究[J]. 计算机应用与软件, 2019, 36(5): 15-20.
[7]	胡鑫, 姚宇, 徐英杰. 基于 Elastic Search 的 TEE 病例库检索系统设计与实现[J]. 计算机应用, 2018, 38(S1): 91-94.
[8]	肖文娟, 王加胜. 基于 Vue 和 Spring Boot 的校园记录管理 Web App 的设计与实现[J]. 计算机应用与软件, 2020, 37(4): 25-30, 88.
[9]	LI D Q, MEI H H, SHEN Y, et al. ECharts: a declarative framework for rapid construction of web-based visualization[J]. Visual Informatics, 2018, 2(2): 136-146.
[10]	裴丹丹. 基于 ECharts 的数据可视化实现[D]. 北京: 北京邮电大学, 2018.
[11]	ZHANG Y, LI J L. Research and improvement of search engine based on lucene[C]//2009 International Conference on Intelligent HumanMachine Systems and Cybernetics, August 26 -27, 2009, Hangzhou, China. IEEE, 2009: 270-273.
[12]	BRUCECROFT W, METZLER D, STROHMAN T. 搜索引擎: 信息检索实践[M]. 刘挺, 等译. 北京: 机械工业出版社, 2010.
[13]	唐玮唯, 冯径, 舒晓村. 基于用户行为分析的数据立方体缓存策略[J]. 计算机应用, 2017, 37(S1): 236-239.