admin 管理员组文章数量: 887021
2023年12月22日发(作者：python还能活几年)
1 数据处理和存储系统建设方案
1.1 设计方案
通过采用成熟的数据库技术、元数据技术和数据存储技术，建立数据资源管理服务平台，满足海量数据的存储管理要求；整合系统资源，避免或减少重复建设，降低数据管理成本；整合数据资源，保证数据的完整性和一致性；通过安全机制及数据备份，保证数据的安全性。
数据是系统的核心和灵魂。按照数据组织结构的不同可分为结构化数据和非结构化数据；从数据的时间属性看，数据分为实时数据和非实时数据；按照数据生命周期的角度数据可归于：数据采集区、数据存储区、数据管理区和数据服务区几个数据分区。通过对本项目总体建设内容的深入分析和理解，对本项目数据库总体数据架构设计如下图所示：
服务对象业务人员、管理人员、运维人员以及参保人、参保单位、专家等业务人员、管理人员、运维人员以及参保人、参保单位、专家等数据服务区数据综合查询数据分类共享数据跟踪反馈统计分析服务……数据管理区数据权限管理数据更新元数据管理数据备份数据监控……数据存储区基础数据库业务数据库业务管理库分析数据库系统管理库数据采集区访问授权数据收集数据处理数据存储数据交换……
本系统数据库体系结构主要由数据采集区、数据存储区、数据管理区、数据服务区等组成。
1、数据采集区
主要包括：访问授权、数据收集、数据处理、数据存储、数据交换…
2、数据存储区
主要包括：基础数据库、业务数据库、业务管理库、分析数据库、系统管理库。
3、数据管理区
主要包括：数据权限管理、数据更新、元数据管理、数据备份、数据监控。
4、数据服务区
主要包括：数据综合查询、数据分类共享、数据跟踪反馈、统计分析服务。
1.2 存储资源规划
1、核心oracle数据库服务器
用于金保内网运行工伤保险核心业务系统，为了保证性能及数据安全，需要做双机RAC以及数据库备份。需要服务器三台，存储一台。
以煤炭社保为例，当前参保约10万人，15年数据文件约为3G，19年为20G，年增长4.25G；全区12个盟市，参保人数以4.5倍煤炭计算，每个盟市当前基础数据约为：90G；当前存量数据约为：
12*90+20=1100G；全区每年增量数据约为：4.25+12*4.25*4.5=234G，未来三年数据将达到：1100G+234*3=1.8T.以上为纯数据文件，考虑到索引文件，存储数据库备份文件，至少应分配5T硬盘空间。
硬件要求：
（1）CPU：4颗IntelXeonE7-4830V4系列处理器；
（2）内存：32GBDDR4RDIMM内存；
（3）网络控制器：4个千兆网卡（电口），1个双端口万兆网卡（光口）SAS硬盘2块（300G/块）；
（4）缓存：128GB，集群模式最大支持512GB缓存；
（5）硬盘：SAS硬盘5TB，至少能扩展到30T；
（6）最大支持硬盘数量≥3000；
（7）主机接口：配置8个1GbISCSI接口，配置8个8GbFC接口控最大可扩展32个主机接口；
2、征缴数据同步前置机oracle
用于同各盟市当前的征缴系统做数据对接。
各盟市将征缴数据通过goldengate同步至该数据库，然后同步程序读取该数据库；不同盟市创建不同用户，要求内存不能少于64GB。
硬件要求：
（1）CPU：4颗IntelXeonE7-4830V4系列处理器；
（2）内存：64GBDDR4RDIMM内存；
（3）网络控制器：4个千兆网卡（电口），1个双端口万兆网卡（光口）
（4）硬盘：SAS硬盘1TB，至少能扩展到5T；
3、网报oracle数据库服务器
用于提供外网运行的应用的数据存储，为了保证性能及数据安全，需要做双机RAC以及数据库备份。需要服务器三台，存储一台。
操作系统占用1GB内存，数据库管理系统约占用1GB，数据库SGA分配为1GB，联机事务处理消耗约占用1.2GB。一个数据库实例系统所需内存容量为：1GB＋1GB＋1GB＋约1.2GB≈4.2GB。加上操作系统等所需要的内存，内存总需求在14G左右。
硬件要求：
（1）CPU：4颗IntelXeonE7-4830V4系列处理器；
（2）内存：32GBDDR4RDIMM内存；
（3）网络控制器：4个千兆网卡（电口），1个双端口万兆网卡（光口）SAS硬盘2块（300G/块）；
4、另备一台用于备份数据库，同其他系统对接，支持其他程序等。
硬件要求：
（1）CPU：4颗IntelXeonE7-4830V4系列处理器；
（2）内存：32GBDDR4RDIMM内存；
（3）网络控制器：4个千兆网卡（电口），1个双端口万兆网卡（光口）
（4）硬盘：SAS硬盘5TB，至少能扩展到30T；
5、电子档案服务器
用于存放业务产生的电子档案。
当前煤炭电子材料约为0.9T，每年增长约为0.1T，以上面得出的4.5倍关系计算，当前各盟市存量电子材料约为：0.9*4.5*12+0.9=49.5，考虑到未来三年增量数据：49.5+0.1*4.5*13=55.35T。
硬件要求：
（1）CPU：E5-2603V4*2
（2）内存：16GBDDR4RDIMM内存
（3）硬盘：60TSSD，要求能随时扩展
6、电子档案服务器备份机器
用于电子档案物理文件的备份。
当前煤炭电子材料约为0.9T，每年增长约为0.1T，以上面得出的4.5倍关系计算，当前各盟市存量电子材料约为：0.9*4.5*12+0.9=49.5，考虑到未来三年增量数据：49.5+0.1*4.5*13=55.35T。
硬件要求：
（1）CPU：E5-2603V4*2
（2）内存：16GBDDR4RDIMM内存
（3）硬盘：60T，要求随时能扩展
版权声明：本文标题：数据处理和存储系统建设方案 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.freenas.com.cn/free/1703187867h441507.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论