admin 管理员组文章数量: 887021
2024年3月30日发(作者：target price)
信息与电脑
2018年第4期
China Computer&Communication
软件开发与应用
基于分布式存储技术的高校集群存储系统实践与研究
刁 喆
（国际关系学院 网络与教育技术中心，北京 100091）
摘 要：
随着文件大小和数据规模逐步达到TB和PB级，大数据与大文件在群体中的共享出现了困难，为解决此问
题集群存储系统出现。笔者深入研究了集群存储系统，并通过将其与传统的存储区域网（SAN）和网络附加存储（NAS）
的比较
[1]
，分析高校集群储存系统的七大功能特点。
关键词：
分布式存储；集群存储；非结构化数据
中图分类
号：TP333 文献标识码：A 文章编号：1003-9767（2018）04-063-02
Practice and Research of University Cluster Storage System Based on
Distributed Storage Technology
Diao Zhe
To solve this problem, cluster storage system appears. The cluster storage system is deeply researched, and the seven functions of
Abstract:
(Network and Education Technology Center, University of International Relations, Beijing 100091, China)
As file size and data scale gradually reach TB and PB level, the sharing of big data and big files in groups is difficult.
university cluster storage system are analyzed by comparing it with traditional storage area network(SAN) and network attached
storage(NAS).
Key words:
distributed storage; cluster storage; unstructured data
１ 引言
构主要有三种，即以服务器为中心的DAS、以数据为中心的
随着信息领域的不断发展，人类进入了大数据时代，互
NAS以及以网络为中心的SAN
[4]
。与传统存储结构相比，非
联网中数据量不断增加，非结构化数据增长尤为迅速。非结
结构化数据具有很多特性，如其文件规模大、数据量多，对
构化数据的单个文件大小以及数据总量增长非常迅速，庞大
存储系统的存储量和处理速度有很高的要求
[5]
。
的非结构化数据迫切需要能够轻松存储和管理的方法。
大数据时代的来临，使得非结构数据的应用越来越广泛，
目前，集群结构具有良好的可扩展性和成本优势，已被
传统的存储模式的局限性也越来越显著，其解决方案无法快
广泛应用于各个领域
[2]
。高校相关业务系统普遍采用通用集
速满足容量需求。传统存储系统存储量过少，文件读取效率
群体系结构，大大提高了整体计算和处理能力。高校是人才
过低，在非结构数据高性能的要求下其缺点逐渐凸显，传统
的聚集地，对数据的需求量大，对数据系统性能要求比较高，
的存储解决方案很难解决此类问题。
集群结构缓解了高校对于数据的需求压力。
当然，任何事物的发展都具有两面性，集群架构在给高
３ 集群存储发展趋势
校带来方便的同时也带来了许多问题。集群架构的实现在很
在市场需求旺盛的背景下，集群存储发展速度十分迅速。
大程度上需要数据的快速共享
[3]
，这便要求大数据、大文件
作为集群技术的发展和延伸，其具有灵活性、可扩展性和高成
必须能够在运算过程快速收集处理，否则，就会造成运算迟
本性的特点。集群存储系统由多个存储系统组成，通过多个存
缓，大大降低系统的运行速率。因此，高校必须拥有一个性
储系统间的协同与分工，大大提高数据获取与处理的速度。
能优良、储存量大、处理速度快的存储平台。
集群存储系统的原理比较简单
[6]
，它用一个存储池取代
传统存储设备，并在存储池中将多个存储设备整合在一起，通
２ 常见存储方案
过一定的技术设计，使这些存储设备既可以独立工作，又可以
总体来看，目前为大众所熟知并得到广泛应用的存储架
协同处理数据。在为单个应用服务器服务时，应用服务器通
基金项目：
国家级项目预研项目“全球政治类新闻事件知识库系统”（项目编号：3262018T31）。
作者简介：
刁喆（1984-），男，江苏南京人，硕士研究生，工程师。研究方向：教育信息化、信息安全。
— ６３ —
软件开发与应用
信息与电脑
China Computer&Communication
2018年第4期
过访问接口连接所有存储磁盘，充分提高了数据的共享速率。
4.6 与现有环境无缝兼容
数据将会按照一定的规则从多台存储设备上存储和读取，以获
得更高的并发访问性能。集群存储的优势主要体现在通过使用
集群存储系统大大提高了互联网数据共享速度，各种软
更具成本效益的、多用途的硬件来提高并行或分区的I/O和成
硬件的运行速度显著提高。改善了公共互联网环境，充分利
本控制的整体性能。集群存储的出现顺应了时代发展的要求，
用了公共数据，而不会使环境发生任何变化。此外，集群存
满足了高校在信息时代变革下对于大数据的需求。
储系统可以直接可以在常用操作系统（如Linux、Windows
和Mac）中实现数据的分享共用，在保持原有操作系统的情
４ 集群存储系统特色和作用
况下使得存储系统无缝兼容各种操作环境。
4.1 数据管理速度快
4.7 整体系统成本降低
随着大数据时代的发展，数据量将不断增加，越来越多
的数据对存储系统的容量提出了更高的要求
[7]
。集成存储系
4.7.1 最大程度提高数据的作用
统的实现，很大程度上增加了系统的存储量，即使是最简单
集群存储系统拥有强大的能力，如故障恢复能力，系统
的集群存储系统也拥有很大的存储空间，可以实现文件的高
自我恢复性使得系统维护成本大大减少，并且节约了用户修
效管理。集群存储系统集群技术成熟，可以高效收集与处理
复系统的时间。
数据，在保证文件检索效率的前提下，存储了数以百亿计的
4.7.2 数据的大范围共享使用
文件。
可以在不同类型电脑上共享数据，避免了不同系统运行
4.2 数据读写能力强大
时数据的迁移。
集群存储系统具有多个存储服务器，既可以协同统一工
4.7.3 存储的运行与维护次数减少
作，又可以同时处理多个不同数据，在大量服务器同时访问
时，可以做到高效应对处理。当需要存储应用数据时，多个
由于集群存储系统使用常见的、企业级的硬件架构，因
服务器共同工作，当需要读取一定的存储数据时，多个服务
此，成本低、操作简单，可以很容易进行维护处理，不需要
器协同进行读取，大大提高了数据读写速率。
公司对员工进行系统培训。
在传统存储系统中，很容易出现负载过重的问题而引起
５ 结 语
服务器崩溃，集群存储系统的应用，完美解决了这一问题，
非结构化数据呈现爆炸式增长，要求存储系统实现：大
充分应用硬件和网络性能，通过集群存储系统中多个服务器
数据存储、高效的数据管理、安全可靠的数据共享。传统存
的协同和分工，实现了数据的高效处理，实现了IO的最大
储系统是不可能完全满足要求的，集群存储系统通过多个存
吞吐量
[8]
。
储系统的集成，提高了存储系统IO性能，使系统操作简单、
4.3 全局范围内数据共享
易于使用，不仅可以为用户提供安全可靠、处理速度快的数
大型集群数据系统的空间命名与传统存储系统也有很大
据共享服务，同时，大大减少了企业和高校业务成本，便于
差异，大型存储系统注重全局性，在进行数据结构的计算与
建设网络基础设施，切实提高高校信息化水平。
处理时，很多系统文件的视图都是相同的。在全局范围内进
行数据共享，大大促进了各个存储服务器之间的合作，使得
参考文献
协同处理数据时更加高效，同时，使得用户能够从总体上进
[1]倪永军,谢长生.网络存储技术现状、存在的问题及
行数据的规范化管理，大大降低了系统开发成本。
对策研究[J].计算机工程与应用,2003(10).
4.4 数据安全可靠
[2]霍严梅,鞠九滨.并行文件系统WPFS[J].吉林大学学
报(理学版),2002(2).
数据安全问题是用户必须考虑的问题，从安全方面出发，
[3]胡贯荣,李胜利.一种局域网分布式文件系统的设计
可选择在单独的存储服务器上存储数据。集群存储系统的多
与实现[J].华中理工大学学报,1999(7).
个存储服务器，可以分别从不同的渠道获取数据，从而避免
[4]应朝晖,高洪奎,黄若衡.分布式文件系统[J].计算
了单方面出错导致问题，提高了系统稳定性。如果出现数据
机工程与科学,1995(3).
丢失现象，集群存储系统可以通过所有的存储服务器恢复数
[5]熊盛武,王鲁,杨婕.构建高性能集群计算机系统的
据，保证了数据安全性。
关键技术[J].微计算机信息,2006(3).
4.5 系统具有可延伸性
[6]韩德志,谢长生,吴伟,等.一种新的附网存储集群
系统的研究与设计[J].通信学报,2005(5).
用户在程序运行的过程中，如果出现存储量不足的情况，
[7]张建勋,马胜甫,田俊峰,等.高可靠可扩展PC
可以通过集群存储系统进行操作，在程序运行过程中扩充系
集群存储系统的设计[J].华南理工大学学报(自然科学
统容量。集群存储系统通过增加存储服务器的数目，扩大了
版),2004(S1).
系统的容量，同时，提高了整个系统的性能，满足了不断增
[8]江科.面向服务器的分布式并行文件系统[D].成都:
长的服务的容量和性能要求。
电子科技大学,2002.
— ６４ —
版权声明：本文标题：基于分布式存储技术的高校集群存储系统实践与研究 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.freenas.com.cn/jishu/1711756510h612405.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论