新葡澳娱乐赌城
Xi' an shenghui network technology co., ltd
某大数据平台解决方案
系统整体架构
根据对客户需求的分析，对预警大数据平台进行了详细的设计，其系统整体架构图如下：
系统整体架构图
系统整体架构共分为4层分别是：数据源、数据汇聚、数据归类、数据应用，我们将依次分别对每层进行阐述。
数据源：这一层是需要接入的数据源，主要的数据源包括各台站、各区域台站和体系内部的数据等。
数据汇聚：这一层通过高性能云传输技术，将数据源以极快的速度可靠的传输到大数据平台；采用高效的分布式云计算系统，实现海量数据信息快捷、高效的处理，可以对入口数据进行实时索引，对数据进行分析、清理、分割，并将其存储在分布式云存储系统上，在入库和检索时具有非常高的性能优势。
数据归类：这一层采用科学的分类与分级方法，对大数据进行智能管理，奠定数据共享基础，形成良好的数据共享秩序，使数据资源在广泛应用中得以发挥和增值，在经济发展、国防建设、人民安全等方面发挥更大的作用。
数据应用：大数据平台对大数据进行安全可靠的存储、高效的处理和科学的归类管理，为实现监测、信息发布、决策支持和系统管理等业务提供完美的基础支撑。
网络架构
下图为整体项目规划的网络拓扑图：
网络拓扑图
从上述网络拓扑图可以看出，各台站通过通信链路将数据上传到大数据平台，并将数据汇聚存储到分布式云存储系统中，相应系统模块会调用分布式云存储系统中的数据进行预处理、数据归类、数据管理等功能，为后期数据的推送和服务搭建好基础平台。同时，大数据平台可以将体系内部的私有云接入到平台当中，也可以向行业用户、政府相关部门、公众等提供对外公共服务。
平台预期效益
l 有利于数据的优化整合
监测预报、速报、紧急救援等防震减灾关键业务，而这一基础工作目前已越来越依赖于通讯传输、数据存储和处理等计算机业务系统。通过综合行业“大数据”，将有利于改变部门较为单一的信息获取渠道，减少了数据获取、处理及分析相应时间，提高决策服务效率，降低信息运行成本。多源空间大数据的整合与挖掘可提高数据可视性和利用率，从而使大数据更好的服务于科研预报与应急决策。
l 有利于构建科学的行业决策体系
由于数据来源各异，格式多样，在空间参考、时空尺度、存储记录等方面的差异，给信息共享和应用带来诸多不便。因此，实现多源空间数据的有效整合，对地理空间数据进行集中管理和分布式应用，是构成科学的行业决策体系的重要课题。科学的行业决策体系可确保系统不间断地位社会提供数据信息服务，向政府提供抗震救灾决策依据。同时对局内部可提供科学的数据管理支持，这对数据效率保障和公共信息服务有着明显的社会效益。
方案配置
|
项目 |
设备 |
参数 |
|
HADOOP集群 |
Hadoop管理节点 |
2物理CPU Intel E5-2650 V3，128GB内存，1*240G SSD（系统）+2*480SSD盘 ,2个千兆电口，linux操作系统 |
|
Hadoop数据节点 |
2物理Intel E5-2650 V3/8*16G DDR3/1*240G SSD（系统）+4*480SSD盘/2×GE（板载）/Linux操作系统 |
|
|
实时流处理集群 |
流处理服务器 |
2物理CPU Intel E5-2650 V3，256GB内存，1*240G SSD（系统）+2*480SSD盘, 2个千兆电口，linux操作系统 |
|
实时数据服务器 |
2物理CPU Intel E5-2650 V3，256GB内存，*240G SSD（系统）+2*480SSD盘, 2个千兆电口，linux操作系统 |
|
|
Web应用服务器 |
应用服务器 |
2物理Intel E5-2620 V3/8*8G DDR3/2*480 SSD 盘/2×GE（板载）/Linux操作系统 |
|
多媒体展示平台 |
多媒体展示平台 |
55英寸，智能触控、壁挂、多媒体电子白板、投影、电脑、电视一体机 |
|
实验室管理接入交换机 |
接入交换机 |
背板带宽：256Gbps、应用层级：二层、包转发率：42Mpps、交换方式：存储-转发、端口数量：28个、MAC地址表：32K、功耗：＜25W、VLAN：支持、电源电压：100~240V AC；50/60Hz、端口结构：非模块化、端口：24个10/100/1000Base-T以太网、上行链路：4个1000Base-X SFP端口 |
|
数据采集 |
数据采集 |
自主研发采集模块（对接各种传感器协议） |
|
基础模块 |
基础模块 |
Hadoop 2.7.2（自主封装） |
|
数据分析 |
数据分析 |
apache-storm-0.10.0（自主封装） spark-1.6.0-bin-hadoop2.6（自主封装） |
|
可视化运维 |
可视化运维 |
cProcCloud 1.0（自主研发） |
|
辅助 |
辅助 |
Zookeeper 3.4.6 （自主封装） |
|
大数据管理软件 |
大数据管理软件 |
DataCube V2.1 （自主研发） |
|
机柜 |
机柜 |
大数据专用机柜 |