新葡澳娱乐赌城

Xi' an shenghui network technology co., ltd

某大数据平台解决方案

来源: | 作者:佚名 | 发布时间: 2021-06-09 | 658 次浏览 | 分享到:
根据对客户需求的分析,对预警大数据平台进行了详细的设计,其系统整体架构图如下:



系统整体架构

根据对客户需求的分析,对预警大数据平台进行了详细的设计,其系统整体架构图如下:

 

系统整体架构图

系统整体架构共分4分别是:数据源、数据汇聚、数据归类、数据应用,我们将依次分别对每层进行阐述。

数据源:这一层是需要接入的数据源,主要的数据源包括各台站、各区域台站和体系内部的数据等。

数据汇聚:这一层通过高性能云传输技术,将数据源以极快的速度可靠的传输到大数据平台;采用高效的分布式云计算系统,实现海量数据信息快捷、高效的处理,可以对入口数据进行实时索引,对数据进行分析、清理、分割,并将其存储在分布式云存储系统上,在入库和检索时具有非常高的性能优势。

数据归类:这一层采用科学的分类与分级方法,对大数据进行智能管理,奠定数据共享基础,形成良好的数据共享秩序,使数据资源在广泛应用中得以发挥和增值,在经济发展、国防建设、人民安全等方面发挥更大的作用。

数据应用:大数据平台对大数据进行安全可靠的存储、高效的处理和科学的归类管理,为实现监测、信息发布、决策支持和系统管理等业务提供完美的基础支撑。

网络架构

下图为整体项目规划的网络拓扑图:

网络拓扑图

从上述网络拓扑图可以看出,各台站通过通信链路将数据上传到大数据平台,并将数据汇聚存储到分布式云存储系统中,相应系统模块会调用分布式云存储系统中的数据进行预处理、数据归类、数据管理等功能,为后期数据的推送和服务搭建好基础平台。同时,大数据平台可以将体系内部的私有云接入到平台当中,也可以向行业用户、政府相关部门、公众等提供对外公共服务。

平台预期效益

有利于数据的优化整合

监测预报、速报、紧急救援等防震减灾关键业务,而这一基础工作目前已越来越依赖于通讯传输、数据存储和处理等计算机业务系统。通过综合行业“大数据”,将有利于改变部门较为单一的信息获取渠道,减少了数据获取、处理及分析相应时间,提高决策服务效率,降低信息运行成本。多源空间大数据的整合与挖掘可提高数据可视性和利用率,从而使大数据更好的服务于科研预报与应急决策。

有利于构建科学的行业决策体系

由于数据来源各异,格式多样,在空间参考、时空尺度、存储记录等方面的差异,给信息共享和应用带来诸多不便。因此,实现多源空间数据的有效整合,对地理空间数据进行集中管理和分布式应用,是构成科学的行业决策体系的重要课题。科学的行业决策体系可确保系统不间断地位社会提供数据信息服务,向政府提供抗震救灾决策依据。同时对局内部可提供科学的数据管理支持,这对数据效率保障和公共信息服务有着明显的社会效益。

方案配置

项目

设备

参数

HADOOP集群

Hadoop管理节点

2物理CPU Intel E5-2650 V3,128GB内存,1*240G SSD(系统)+2*480SSD ,2个千兆电口,linux操作系统

Hadoop数据节点

2物理Intel E5-2650 V3/8*16G DDR3/1*240G SSD(系统)+4*480SSD/2×GE(板载)/Linux操作系统

实时流处理集群

流处理服务器

2物理CPU Intel E5-2650 V3256GB内存,1*240G SSD(系统)+2*480SSD, 2个千兆电口,linux操作系统

实时数据服务器

2物理CPU Intel E5-2650 V3256GB内存,*240G SSD(系统)+2*480SSD, 2个千兆电口,linux操作系统

Web应用服务器

应用服务器

2物理Intel E5-2620 V3/8*8G DDR3/2*480 SSD 盘/2×GE(板载)/Linux操作系统

多媒体展示平台

多媒体展示平台

55英寸,智能触控、壁挂、多媒体电子白板、投影、电脑、电视一体机

实验室管理接入交换机

接入交换机

背板带宽:256Gbps、应用层级:二层、包转发率:42Mpps、交换方式:存储-转发、端口数量:28个、MAC地址表:32K、功耗:<25W、VLAN:支持、电源电压:100~240V AC;50/60Hz、端口结构:非模块化、端口:24个10/100/1000Base-T以太网、上行链路:4个1000Base-X SFP端口

数据采集

数据采集

自主研发采集模块(对接各种传感器协议)

基础模块

基础模块

Hadoop 2.7.2(自主封装)
Hbase 1.1.2(自主封装)
kafka_2.10-0.8.2.2 (自主封装)

数据分析

数据分析

apache-storm-0.10.0(自主封装)

spark-1.6.0-bin-hadoop2.6(自主封装)

可视化运维

可视化运维

cProcCloud 1.0(自主研发)

辅助

辅助

Zookeeper 3.4.6 (自主封装)
MySql 5.5.44(自主封装)
Apache Tomcat7.0.65 (自主封装)

大数据管理软件

大数据管理软件

DataCube V2.1 (自主研发)

机柜

机柜

大数据专用机柜