贤集网手机站

海量高频实时数据流存储管理技术

技术简介

       北斗导航系统近年来建设成就非凡,已具备东南亚服务能力,并准备于2020年实现全球服务,目前已建成一期系统,系统的观测类数据、测控数据、业务信息、参数信息、指令信息以及各地面站、主控站各系统的各类数据都需汇总到主控站进行存储,这些数据总体表现为数据结构复杂、频度大,管理的数据量也比较大,数据条目更是极为庞大,从而产生了海量高频数据管理的难题。 

       与一般海量数据管理系统不同的是,大多数海量数据都是非结构化的文件类数据,如测绘图像、视频资料、文档资料等,而对本系统,所有的数据均为结构化数据,并且所有数据均为二进制编码打包,经由UDP协议传输到主控站存储软件形成高频海量数据流,除了要实时收取这些高频数据流,还需及时对他们进行解码处理,形成结构化数据进行入库保存,并提供快速检索、全文检索、数据服务、数据转储、数据输出、长期归档备份等能力。

       由此提出海量高频数据存储管理技术,采用了多并发、多缓冲的数据入库机制和大数据集分区的数据查询手段,设计了体系化的数据存储管理方案,突破了传统数据存储管理系统的技术瓶颈,完成了主控站管控系统数据存储软件的实现,解决了上述难题,取得了良好的应用效果。

       由于系统产生高频数据包的频率非常快,每秒可达近百包左右,解析处理的速度无法跟上数据流的速度,因此建立了一个高效的缓冲管理机制,通过多线程并发来保证缓冲区的处理速度,并且缓冲区能够根据数据流和处理速度进行自动伸缩,保证数据安全无丢失。

       由于结构化数据类型非常多(500~1000类),数据字段更多,考虑到数据包结构异常复杂,嵌套层级较多,设计了数据实体的冗余结构,在保证存储效率同时兼顾使用效率。

       针对各类数据应用服务需求,提供了快速访问能力和多种访问手段,包括服务、API(C++、Java)、Web Service、Web查询界面、数据提取界面,为满足各种需求提供最大的灵活度。

       本系统技术成果采用了开放式的总线结构设计和跨平台的技术实现,可适用于各种规模的实时数据流处理和存储管理系统。




技术指标

       ●数据流速率:100余包/秒,合300余KB/秒

       管理数据量:≥50TB

       ●查询并发度:≥5

       查询时间:从1000万条记录中查询1万行记录所需时间小于6秒


技术特点

      (1)多缓冲、多并发入库机制

       采用了数据缓冲和多线程处理技术,将接收到的高频数据进行结构化初步处理,进入多路缓冲区进行管理,然后数据分类入库采用多线程处理,并发解析数据包、整合数据结构、批量完成数据入库存储,确保了海量数据快速、及时入库存储。

       (2)大数据集分区的数据查询手段

       针对数据类型众多、内容不更新、记录集庞大等特点,采用了数据表分区和表索引技术,这样就在传统的数据索引技术基础上,大大提高记录索引效率,向用户提供了快速的数据查询能力。

       3)海量数据统计分析能力

       采用实时统计技术,数据一边处理一边统计,因此可高效的获取实时动态统计图表,随时掌握数据的整体状况。系统中每秒高达100个数据包,每包可含多组信息,经解码后可变为5~10条数据,个别可达30条数据,在高效处理高频数据流的同时还进行了实时统计,可随时获取实时动态统计图表,与民用领域的事后处理分析系统相比具有优势。

       (4)自主化的数据存储管理能力

       采用完全自主开发的海量数据管理技术,支持结构化和非结构化数据,支持多级设备迁移,拥有完全的自主知识产权。然而民用领域的海量数据管理一般采用商业软件,如IBM的TSM等,收费贵且数据安全无法保证。

      (5)统一的数据访问服务能力

       突破多样化的数据访问模式,满足多种数据访问需求,需要基于数据总线的数据访问中间件技术,即面向多种数据源(包括文件系统和数据库)构建对象化的数据访问引擎,形成服务化的数据访问服务容器,提供面向多种访问方式和需求的可定制选择的接口。

       (6)跨平台部署实施能力

       本技术成果可无缝移植到各种平台,包括win、linux、unix等平台,可与核高基的最新成果适配,在这方面本技术处于领先地位,将在未来设备和软件完全国产化应用中具有优势。


预期效益

       目前海量高频实时存储管理技术成果在“XX一号卫星地面应用系统数据管理服务系统”、“全国综合XX信息共享平台数据存储管理应用系统”等项目中进行了应用,有效解决了海量数据的存储管理问题,取得了良好的应用效益。

       综合该技术的解决方案和成果特点,能够体系地解决了高频、海量数据存储管理问题,重点突破了系统高并发、高实时和高性能的技术瓶颈,可推广应用至大型数据中心应用系统建设中;该技术成果中数据并发存储框架、数据备份归档工具、数据访问服务等软件产品能够直接应用到系统研制之中。

       目前民用市场大数据的应用正在起步,各个行业越来越重视平时业务中产生的海量、碎片式的流式数据应用和挖掘,如何收集、管理好这些数据是前提,从而产生对本技术应用的强烈需求,初步估计经济效益可达千万元。