大家好,欢迎来到IT知识分享网。
分布式可以说成是集群,但集群不能说是分布式
一、GlusterFS概述
infinityBand:无线带宽技术;低延迟,高带宽,使用网络连接起来,但不再采用tcp、udp协议(因为绕过了操作系统的内核,直接让server端与客户端建立连接)
GlusterFS是Scale-Out存储解决方案Gluster的核心,它是一个开源的分布式文件系统,具有强大的横向扩展能力,通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBandRDMA网络将物理分布的存储资源聚集在一起,使用单一全局命名空间来管理数据。
1:扩展性和高性能
GlusterFS利用双重特性来提供几TB至数PB的高扩展存储解决方案。Scale-Out架构允许通过简单地增加资源来提高存储容量和性能,磁盘、计算和I/O资源都可以独立增加,支持10GbE和InfiniBand等高速网络互联。Gluster弹性哈希(ElasticHash)解除了GlusterFS对元数据服务器的需求,消除了单点故障和性能瓶颈,真正实现了并行化数据访问。
2:高可用性
GlusterFS可以对文件进行自动复制,如镜像或多次复制,从而确保数据总是可以访问,甚至是在硬件故障的情况下也能正常访问。自我修复功能能够把数据恢复到正确的状态,而且修复是以增量的方式在后台执行,几乎不会产生性能负载。GlusterFS没有设计自己的私有数据文件格式,而是采用操作系统中主流标准的磁盘文件系统(如EXT3、ZFS)来存储文件,因此数据可以使用各种标准工具进行复制和访问。
3:弹性卷管理
数据储存在逻辑卷中,逻辑卷可以从虚拟化的物理存储池进行独立逻辑划分而得到。存储服务器可以在线进行增加和移除,不会导致应用中断。逻辑卷可以在所有配置服务器中增长和缩减,可以在不同服务器迁移进行容量均衡,或者增加和移除系统,这些操作都可在线进行。文件系统配置更改也可以实时在线进行并应用,从而可以适应工作负载条件变化或在线性能调优。
4:全局统一命名空间
全局统一命名空间将所有的存储资源聚集成一个单一的虚拟存储池,对用户和应用屏蔽了物理存储信息。存储可以根据生产环境中的需要进行弹性扩展或收缩,在多节点场景中,全局同意明明还可以给予不同节点做负载均衡,大大提高存取效率。
GlusterFS:是一个开源的分布式文件系统。
Brick:GFS中的存储单元,通过是一个受信存储池中的服务器的一个导出目录。可以通过主机名和目录名来标识,如’SERVER:EXPORT’。是放置在服务器中的一个独立的分区,一个服务器可以有一个或多个brick。
Client:挂载了GFS卷的设备
FUSE:Filesystem Userspace文件系统用户空间,是一个可加载的内核模块,其支持非特权用户创建自己的文件系统而不需要修改内核代码。通过在用户空间运行文件系统的代码通过FUSE代码与内核进行桥接。可以让用户创建GFS文件系统(在客户端挂载,挂载的是远程的一个分区dev/fuse)
Node:一个拥有若干brick的设备
Volume:一组bricks的逻辑集合。卷,它的空间可以来自一个磁盘空间,或多个磁盘空间汇集形成
Metadata:元数据,关于数据的数据,用于描述文件、目录等的信息。
VFS:内核空间对用户空间提供的访问磁盘的接口。远程/dev/fuse连接服务器时的端口
POSIX:指可移植操作系统接口。用于连接分区和内核
(1)客户端或应用程序通过GFS的挂载点访问数据
(2)Linux系统内核通过VFS API收到请求并处理
(3)VFS将数据递交给FUSE内核文件系统,并向系统注册一个实际的文件系统FUSE,而FUSE文件系统则是将数据通过/dev。Fuse设备文件递交给了GFS的client端。可以将FUSE文件系统理解为一个代理。
(4)GFS client收到数据后,client根据配置文件对数据进行处理
(5)经过GFS client处理后,通过网络将数据传递至远端的GFS Server,并且将数据写入服务器存储设备。
二、弹性hash算法
GlusterFS目前使用Davies-Meyer算法计算文件名hash值,获得一个32位整数。Davies-Meyer算法具有非常好的hash分布性,计算效率很高,假设逻辑卷中的存储单元Brick有N个,则32位整数空间被平均划分为N个连续子空间,每个空间分别映射到一个存储单元Brick,计算得到的32位hash值就会被投射到一个存储单元Brick。
三、glusterFS的卷类型
1:基本卷:
(1) distribute volume:分布式卷
文件通过hash算法分布到所有brick server上,这种卷是glusterfs的基础和最大特点;实只是扩大的磁盘空间,如果有一个磁盘坏了,对应的数据也丢失,文件级RAID 0,不具有容错能力。提供较大的存储空间,不浪费空间
(2) stripe volume:条带卷
类似RAID0,文件分成数据块以Round Robin方式分布到brick server上,并发粒度是数据块,支持超大文件,大文件性能高;
条带卷,在6的版本以后不在支持
(3) replica volume:复制卷
文件同步复制到多个brick上,文件级RAID 1,具有容错能力,写性能下降,读性能提升。
(4)分散卷
是基于ErasureCodes(纠错码)的一种新类型的Volume(3.6版本正式发布该特性),类似于RAID5/6—-分散卷基于纠错码。存储大文件时,性能尤为突出
通过配置Redundancy(冗余)级别提高可靠性,在保证较高的可靠性同时,可以提升物理存储空间的利用率。
2:复合卷:
(4) distribute stripe volume:分布式条带卷
brickserver数量是条带数的倍数,兼具distribute和stripe卷的特点;
(5) distribute replica volume:分布式复制卷
brickserver数量是镜像数的倍数,兼具distribute和replica卷的特点,可以在2个或多个节点之间复制数据。
(6) stripe replica volume:条带复制卷
类似RAID 10
同时具有条带卷和复制卷的特点
(7) distribute stripe replicavolume:分布式条带复制卷
三种基本卷的复合卷
通常用于类Map Reduce应用
(8)分布式分散卷
分布式分散卷在分散的子卷上分发文件。
分布式分散卷等效于分布式复制卷,但是使用分散子卷而不是复制子卷
结合distibuted和dispersed的优点,HA+LB+可扩容,HA+LB+可扩容
标红的现在的系统不再支持
四、实验部分
打开六个虚拟机,为每个虚拟机添加五块磁盘,为了区分将磁盘大小分别设置为:3、4、5、6、7G
1、为每个节点命名
2、在hosts文件设置域名解析,同步
3、为硬盘分区,同步
相同的方式为sdc、sdd、sde、sdf进行磁盘分区
4、格式化,同步
以相同的方式格式化sdc1、sdd1、sde1、sdf1
5、创建挂载点并进行挂载,同步
6、安装GlusterFS
使用阿里做仓库
glusterFS有自己独立的仓库
6.1、生成GFS自己的仓库的源
6.2、安装GFS
注释:
glusterfs:gluster客户端主程序
glusterfs-server:gluster服务端主程序
glusterfs-fuse:Filesystem Userspace是一个可加载的内核模块,其支持非特权用户创建自己的文件系统而不需要修改内核代码。通过在用户空间运行文件系统的代码通过FUSE代码与内核进行桥接。
glusterfs-rdma:为gluster提供远程直接内存访问,支持不通过双方的OS进行直接内存访问。
下面关闭会话同步
7、添加节点(101)
8、创建分布式卷,默认创建的也是分布式卷(101)
8、创建复制卷
9、创建分散卷
10、创建分布式复制卷
注释:
分布式复制卷要求Brick Server的数量必须是复制数的倍数(两倍或更高的倍数)
11、创建分布式分散卷
备注:
分布式分散卷需要用六个节点,每三个节点做一个分散卷,两组分散卷做成复制卷
部署GFS客户端(再开一个主机或前面的任意节点做客户端)
1、安装GFS客户端软件
2、创建挂载目录
修改hosts文件(若用的是前面的六个节点做客户端,这里不用修改,前面已修改过)
3、挂载Gluster文件系统
4、永久挂载
在客户端测试Gluster文件系统
1、在卷中写入文件–创建测试文件
2、卷中写入文件
挂起其中一个节点主机,再去查看各节点的不同的卷
其它命令
免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://yundeesoft.com/123155.html