新葡澳娱乐赌城
Xi' an shenghui network technology co., ltd
系统整体架构
根据对客户需求的分析,对预警大数据平台进行了详细的设计,其系统整体架构图如下:
系统整体架构图
系统整体架构共分为4层分别是:数据源、数据汇聚、数据归类、数据应用,我们将依次分别对每层进行阐述。
数据源:这一层是需要接入的数据源,主要的数据源包括各台站、各区域台站和体系内部的数据等。
数据汇聚:这一层通过高性能云传输技术,将数据源以极快的速度可靠的传输到大数据平台;采用高效的分布式云计算系统,实现海量数据信息快捷、高效的处理,可以对入口数据进行实时索引,对数据进行分析、清理、分割,并将其存储在分布式云存储系统上,在入库和检索时具有非常高的性能优势。
数据归类:这一层采用科学的分类与分级方法,对大数据进行智能管理,奠定数据共享基础,形成良好的数据共享秩序,使数据资源在广泛应用中得以发挥和增值,在经济发展、国防建设、人民安全等方面发挥更大的作用。
数据应用:大数据平台对大数据进行安全可靠的存储、高效的处理和科学的归类管理,为实现监测、信息发布、决策支持和系统管理等业务提供完美的基础支撑。
网络架构
下图为整体项目规划的网络拓扑图:
网络拓扑图
从上述网络拓扑图可以看出,各台站通过通信链路将数据上传到大数据平台,并将数据汇聚存储到分布式云存储系统中,相应系统模块会调用分布式云存储系统中的数据进行预处理、数据归类、数据管理等功能,为后期数据的推送和服务搭建好基础平台。同时,大数据平台可以将体系内部的私有云接入到平台当中,也可以向行业用户、政府相关部门、公众等提供对外公共服务。
平台预期效益
l 有利于数据的优化整合
监测预报、速报、紧急救援等防震减灾关键业务,而这一基础工作目前已越来越依赖于通讯传输、数据存储和处理等计算机业务系统。通过综合行业“大数据”,将有利于改变部门较为单一的信息获取渠道,减少了数据获取、处理及分析相应时间,提高决策服务效率,降低信息运行成本。多源空间大数据的整合与挖掘可提高数据可视性和利用率,从而使大数据更好的服务于科研预报与应急决策。
l 有利于构建科学的行业决策体系
由于数据来源各异,格式多样,在空间参考、时空尺度、存储记录等方面的差异,给信息共享和应用带来诸多不便。因此,实现多源空间数据的有效整合,对地理空间数据进行集中管理和分布式应用,是构成科学的行业决策体系的重要课题。科学的行业决策体系可确保系统不间断地位社会提供数据信息服务,向政府提供抗震救灾决策依据。同时对局内部可提供科学的数据管理支持,这对数据效率保障和公共信息服务有着明显的社会效益。
方案配置
项目 |
设备 |
参数 |
HADOOP集群 |
Hadoop管理节点 |
2物理CPU Intel E5-2650 V3,128GB内存,1*240G SSD(系统)+2*480SSD盘 ,2个千兆电口,linux操作系统 |
Hadoop数据节点 |
2物理Intel E5-2650 V3/8*16G DDR3/1*240G SSD(系统)+4*480SSD盘/2×GE(板载)/Linux操作系统 |
|
实时流处理集群 |
流处理服务器 |
2物理CPU Intel E5-2650 V3,256GB内存,1*240G SSD(系统)+2*480SSD盘, 2个千兆电口,linux操作系统 |
实时数据服务器 |
2物理CPU Intel E5-2650 V3,256GB内存,*240G SSD(系统)+2*480SSD盘, 2个千兆电口,linux操作系统 |
|
Web应用服务器 |
应用服务器 |
2物理Intel E5-2620 V3/8*8G DDR3/2*480 SSD 盘/2×GE(板载)/Linux操作系统 |
多媒体展示平台 |
多媒体展示平台 |
55英寸,智能触控、壁挂、多媒体电子白板、投影、电脑、电视一体机 |
实验室管理接入交换机 |
接入交换机 |
背板带宽:256Gbps、应用层级:二层、包转发率:42Mpps、交换方式:存储-转发、端口数量:28个、MAC地址表:32K、功耗:<25W、VLAN:支持、电源电压:100~240V AC;50/60Hz、端口结构:非模块化、端口:24个10/100/1000Base-T以太网、上行链路:4个1000Base-X SFP端口 |
数据采集 |
数据采集 |
自主研发采集模块(对接各种传感器协议) |
基础模块 |
基础模块 |
Hadoop 2.7.2(自主封装) |
数据分析 |
数据分析 |
apache-storm-0.10.0(自主封装) spark-1.6.0-bin-hadoop2.6(自主封装) |
可视化运维 |
可视化运维 |
cProcCloud 1.0(自主研发) |
辅助 |
辅助 |
Zookeeper 3.4.6 (自主封装) |
大数据管理软件 |
大数据管理软件 |
DataCube V2.1 (自主研发) |
机柜 |
机柜 |
大数据专用机柜 |