admin 管理员组文章数量: 887018
目录
一、Redis环境准备:
1、下载redis
2、Windows下的.msi安装和.zip格式区别:
二、哨兵介绍:
1、一主二从三哨兵理论图:
2.哨兵的主要功能:
3.哨兵用于实现 redis 集群的高可用,本身也是分布式的,作为一个哨兵集群去运行,互相协同工作。
4.哨兵的核心知识:
三、使用Redis主从复制的作用:
1,数据冗余:
2,故障恢复:
3,读写分离:
4,负载均衡:
5,高可用的基石:
四、配置redis一主二从:
第一步:redis.windows.conf配置文件修改:
1、redis.windows-6379.conf
2、redis.windows-6380.conf
3、redis.windows-6381.conf
4、redis.conf配置文件详解:
第二步:启动三台redis服务器:
第三步:配置从库不配置主库
五、配置redis三哨兵:
第一步:sentinel.conf配置文件
1、sentinel-26379.conf
2、sentinel-26380.conf
3、sentinel-26381.conf
4、sentinel.conf配置文件详解:
第二步、启动哨兵
六、redis哨兵测试:
1、准备测试
2、关闭 6379 主服务,观察 sentinel 服务的信息变化
3、重启6379服务,查看三个服务的信息
4. 关闭 6380 主服务
5. 重启 6380 服务
七、redis集群搭建
第一步:高可用集群
1、哨兵模式
2、REDIS CLUSTER
第二部:集群模式搭建
1、配置文件
2、启动Redis
3、集群创建
4、集群验证
连接集群
查看集群信息
查看节点信息
第三步:集群操作
1、主节点添加
服务启动
添加节点
槽位迁移
编辑
2、从节点添加
添加节点
配置节点
3、删除主节点
槽位迁移
删除节点
4、删除从节点
5、重新分配槽位
八、总结
一、Redis环境准备:
1、下载redis
windows版本readis下载(GitHub):
https://github/tporadowski/redis/releases
官网下载(无Windows版本): Download | Redis
Redis中文网站: http://www.redis
所有版本这里都有:Index of /releases/(下载后是个Linux的压缩文件,需要下载、解压和编译)
2、Windows下的.msi安装和.zip格式区别:
.msi是Windows installer开发出来的程序安装文件,它可以让你安装,修改,卸载你所安装的程序。说白了.msi就是Windows installer的数据包,把所有和安装文件相关的内容封装在一个包里。此外:它还包含有关安装过程自己的信息。例如:安装序列、目标文件夹路径、安装选项和控制安装过程的属性。
.zip是一个压缩包,解压之后即可,不需要安装
本人这里使用的是 Redis-x64-5.0.14.1.zip 版本
二、哨兵介绍:
1、一主二从三哨兵理论图:
一主两从三哨兵集群,当master节点宕机时,通过哨兵(sentinel)重新推选出新的master节点,保证集群的可用性。
2.哨兵的主要功能:
1.集群监控:负责监控 Redis master 和 slave 进程是否正常工作。
2.消息通知:如果某个 Redis 实例有故障,那么哨兵负责发送消息作为报警通知给管理员。
3.故障转移:如果 master node 挂掉了,会自动转移到 slave node 上。
4.配置中心:如果故障转移发生了,通知 client 客户端新的 master 地址。
PS:根据推举机制,集群中哨兵数量最好为奇数(3、5…)
3.哨兵用于实现 redis 集群的高可用,本身也是分布式的,作为一个哨兵集群去运行,互相协同工作。
故障转移时,判断一个 master node 是否宕机了,需要大部分的哨兵都同意才行,涉及到了分布式选举的问题。
即使部分哨兵节点挂掉了,哨兵集群还是能正常工作的,因为如果一个作为高可用机制重要组成部分的故障转移系统本身是单点的,那就很坑爹了。
4.哨兵的核心知识:
哨兵至少需要 3 个实例,来保证自己的健壮性。
哨兵 + redis 主从的部署架构,是不保证数据零丢失的,只能保证 redis 集群的高可用性。
对于哨兵 + redis 主从这种复杂的部署架构,尽量在测试环境和生产环境,都进行充足的测试和演练。
三、使用Redis主从复制的作用:
主从复制,是指将一台Redis主节点服务器的数据,复制到其他的Redis从节点服务器。
主节点称为(master/leader),从节点称为(slave/follower);
1,数据冗余:
主从复制实现了数据的热备份,这也是持久化实现的另一种方式。
2,故障恢复:
当主节点出现问题时,可以由从节点提供服务,实现快速的故障恢复;实际上是一种服务的冗余。
3,读写分离:
master服务主要用来写,slave服务主要用来读数据。可以提高服务器的负载能力,可以根据需求的变化,添加从节点的数量。
4,负载均衡:
同时配合读写分离,由主节点提供写服务,从节点提供读服务,分担服务器的负载。在写少读多的情况下,通过多个从节点分担读负载,能够大大提高Redis服务的并发量和负载。
5,高可用的基石:
主从复制是哨兵和集群模式能够实施的基础。
四、配置redis一主二从:
在正常的生产中我们是准备多台服务器,比如三台,每台都在各自的linux系统中安装redis。
但是此处为了演示方便,我使用一台电脑安装虚拟机,在虚拟机上安装三份redis服务,来模拟一主二从的效果。
第一步:redis.windows.conf配置文件修改:
将原redis.conf配置文件复制出来三份,分别修改的如下几个地方
1、redis.windows-6379.conf
# 打开后台运行
daemonize yes
# 打开RDB持久化配置:
# RDB持久化策略 默认三种方式:
# [900秒内有1次修改],
# [300秒内有10次修改],
# [60秒内有10000次修改]即触发RDB持久化,
# 我们也可以手动修改该参数或新增策略
save 900 1
save 300 10
save 60 10000
# RDB文件名
dbfilename dump-6379.rdb
# 当Redis以上述守护进程方式运行时,Redis默认会把进程文件写入/var/run/redis.pid文件
pidfile D:/\Redis-x64-3.2.100/run/redis_6379.pid
# Redis监听端口号,默认为6379,如果指定0端口,表示Redis不监听TCP连接
port 6379
2、redis.windows-6380.conf
# 打开后台运行
daemonize yes
# 打开RDB持久化配置:
# RDB持久化策略 默认三种方式:
# [900秒内有1次修改],
# [300秒内有10次修改],
# [60秒内有10000次修改]即触发RDB持久化,
# 我们也可以手动修改该参数或新增策略
save 900 1
save 300 10
save 60 10000
# RDB文件名
dbfilename dump-6380.rdb
# 当Redis以上述守护进程方式运行时,Redis默认会把进程文件写入/var/run/redis.pid文件
pidfile D:/\Redis-x64-3.2.100/run/redis_6380.pid
# Redis监听端口号
port 6380
3、redis.windows-6381.conf
# 打开后台运行
daemonize yes
# 打开RDB持久化配置:
# RDB持久化策略 默认三种方式:
# [900秒内有1次修改],
# [300秒内有10次修改],
# [60秒内有10000次修改]即触发RDB持久化,
# 我们也可以手动修改该参数或新增策略
save 900 1
save 300 10
save 60 10000
# RDB文件名
dbfilename dump-6381.rdb
# 当Redis以上述守护进程方式运行时,Redis默认会把进程文件写入/var/run/redis.pid文件
pidfile D:/\Redis-x64-3.2.100/run/redis_6381.pid
# Redis监听端口号,默认为6381,如果指定0端口,表示Redis不监听TCP连接
port 6381
4、redis.conf配置文件详解:
# Redis配置文件样例
# 单位注意事项:当需要内存大小时,可以指定,它以通常的形式 1k 5GB 4M 等等:
#
# 1k => 1000 bytes
# 1kb => 1024 bytes
# 1m => 1000000 bytes
# 1mb => 1024*1024 bytes
# 1g => 1000000000 bytes
# 1gb => 1024*1024*1024 bytes
#
# u单位不区分大小写,所以 1GB 1Gb 1gB 都是一样的
################################## INCLUDES(包含) ###################################
# 这在你有标准配置模板但是每个redis服务器又需要个性设置的时候很有用。等同import导入
#
# include .\path\to\local.conf
# include c:\path\to\other.conf
# include /path/to/local.conf
# include /path/to/other.conf
################################## NETWORK(网络相关配置) #####################################
# 默认情况bind=127.0.0.1,只允许来自bind指定网卡的Redis请求。如没有指定,则可以接受来自任意一个网卡的Redis请求
# 生产环境肯定要写你应用服务器的地址;服务器是需要远程访问的,所以需要将其注释掉。
# 如果开启了protected-mode,那么在没有设定bind ip且没有设密码的情况下,Redis只允许接受本机的响应。
# 默认配置
# bind 127.0.0.1 -::1
bind 127.0.0.1
# 默认是将本机访问保护模式设置yes,若是没有设置密码还要允许其他电脑访问那么要设置其为no。
# 注:保护模式是指当没有设置密码的时候,只能通过本机访问,设置了密码之后其他电脑也可以访问。
# 是否开启保护模式。如配置里没有指定bind和密码。开启该参数后,redis只允许本地访问,拒绝外部访问
# 要是开启了密码和bind,可以开启。否则最好关闭,设置为no。
protected-mode yes
# Redis监听端口号,默认为6379,如果指定0端口,表示Redis不监听TCP连接
# 默认6379端口号
port 6379
# 设置tcp的backlog,backlog其实是一个连接队列,backlog队列总和=未完成三次握手队列 + 已经完成三次握手队列。
# 在高并发环境下你需要一个高backlog值来避免慢客户端连接问题。
# 注意Linux内核会将这个值减小到/proc/sys/net/core/somaxconn的值(128),所以需要确认增大/proc/sys/net/core/somaxconn和/proc/sys/net/ipv4/tcp_max_syn_backlog(128)两个值来达到想要的效果
# 默认值
tcp-backlog 511
# 配置unix socket来让redis支持监听本地连接。
# unixsocket /var/run/redis/redis.sock
# 配置unix socket使用文件的权限
# unixsocketperm 700
# 一个空闲的客户端维持多少秒会关闭,0表示关闭该功能。即永不关闭
# 连接超时时间,单位秒;超过timeout,服务端会断开连接,为0则服务端不会主动断开连接,不能小于0
# 默认值
timeout 0
# tcp keepalive参数。对访问客户端的一种心跳检测,每个n秒检测一次。
# 单位为秒,如果设置为0,则不会进行Keepalive检测,建议设置成60。如果设置不为0,就使用配置tcp的SO_KEEPALIVE值
# 使用keepalive有两个好处:
# 1) 检测挂掉的对端。降低中间设备出问题而导致网络看似连接却已经与对端端口的问题。
# 2) 在Linux内核中,设置了keepalive,redis会定时给对端发送ack。检测到对端关闭需两倍的设置值
tcp-keepalive 0
################################# GENERAL(通配) #####################################
# 是否为后台进程,默认为no,若是想要后台运行要设置为yes,守护进程,后台启动。
# 是否在后台执行,yes:后台运行;no:不是后台运行(老版本默认)
# 默认情况下,Redis不作为守护进程运行。如果你需要,就说yes。
# 注意,Redis会在/var/run/ Redis中写入一个pid文件。被daemon化时的Pid。
# 不支持WINDOWS daemonize
daemonize no
# https://blog.51cto/u_16213298/7681021
# 这里额外提及到一个组件 - supervisor,可以用于替换默认的守护进程(可以了解一下)
# 用于监听你的redis进程行为
# supervised no - 默认模式,不搞这么多骚操作
# supervised upstart - 利用 upstart 来进行管理
# supervised systemd - 利用 systemd 来管理
# supervised auto - #based on UPSTART_JOB or NOTIFY_SOCKET environment variables
# Note: these supervision methods only signal "process is ready."
# They do not enable continuous liveness pings back to your supervisor.
# 不支持在 WINDOWS 使用 supervised no
# 当Redis以上述守护进程方式运行时,Redis默认会把进程文件写入/var/run/redis.pid文件
# NOT SUPPORTED ON WINDOWS pidfile /var/run/redis.pid
# 默认值
# pidfile /var/run/redis_6379.pid
# 指定日志记录级别,指定日志记录级别,Redis总共支持四个级别:debug、verbose、notice、warning,默认为notice。
# 开发模式中使用debug,可以看到更详细的信息。Verbose类似于java中的info;
# 四个级别根据使用阶段来选择,生产环境选择notice 或者warning
# 四个级别:
# 1) debug:很多信息,方便开发、测试
# 2) verbose:许多有用的信息,但是没有debug级别信息多(默认)
# 3) notice:适当的日志级别,适合生产环境
# 4) warning:只记录非常重要/关键的消息
# 默认值
loglevel notice
# 日志文件名称。开发日志写到的路径,默认为空。
# 指定日志文件记录的位置。logfile “”:标准输出。则日志将会发送给/dev/null
# 默认值
logfile ""
# 是否将日志输出到系统日志
# syslog-enabled no
# syslog的标识符
# syslog-ident redis
# 日志的来源、设备;指定系统日志工具。必须是 USER 或介于 LOCAL0-LOCAL7 之间
# syslog-facility local0
# 设定库的数量 默认16,默认数据库为0,可以使用SELECT <dbid>命令在连接上指定数据库id。可以修改数据库的数量。
databases 16
########################### SNAPSHOTTING (快照方式) ###########################
# 持久化规则,持久化方式:RDB、AOF。持久化到文件。rdb .aof
# 指定在多长时间内,有多少次更新操作,就将数据同步到数据文件,可以多个条件配合
# 注释掉“save”这一行配置项就可以让保存数据库功能失效
# 900秒(15分钟)内至少1个key值改变(则进行数据库保存--持久化)
# 300秒(5分钟)内至少10个key值改变(则进行数据库保存--持久化)
# 60秒(1分钟)内至少10000个key值改变(则进行数据库保存--持久化)
# save ""
save 900 1
save 300 10
save 60 10000
# 持久化错误时,是否继续工作
# 当RDB持久化出现错误后,是否依然进行继续进行工作,yes:不能进行工作,no:可以继续进行工作
# 可以通过info中的rdb_last_bgsave_status了解RDB持久化是否有错误
stop-writes-on-bgsave-error yes
# 压缩.rdb文件,需要消耗CPU资源
# 指定存储至本地数据库时是否压缩数据,耗cpu资源,默认为yes,Redis采用LZF压缩
# 如果为了节省CPU时间,可以关闭该选项,但会导致数据库文件变的巨大
rdbcompression yes
# 校验.rdb文件
# 保存rdb文件时,是否进行错误检查校验。
# 从rdb格式的第五个版本开始,在rdb文件的末尾会带上CRC64的校验和。这跟有利于文件的容错性
# 但是在保存rdb文件的时候,会有大概10%的性能损耗,如果你追求高性能,可以关闭该配置。
rdbchecksum yes
# 指定本地数据库文件名(rdb文件的名称),默认值为dump.rdb
dbfilename dump.rdb
# 数据目录,数据库的写入会在这个目录.rdb、.aof文件也会写在这个目录
# 指定本地数据库存放目录(dump.rdb文件存放目录),rdb、aof文件也会写在这个目录
# 注意,这里只能指定一个目录,不能指定文件名(文件名由上一个dbfilename配置项指定)
dir ./
############################## APPEND ONLY MODE (附加模式)###############################
# 默认不开启AOF
# AOF持久化,指定是否在每次更新操作后进行日志记录,默认redis是异步(快照)的把数据写入本地磁盘
# redis默认使用的是rdb方式持久化,此方式在许多应用中已足够用。
# 但redis如果中途宕机,会导致可能有几分钟的数据丢失,按照上面save条件来策略进行持久化
# Append Only File是另一种持久化方式,可提供更好的持久化特性。
# Redis会把每次写入的数据在接收后都写入appendonly.aof 文件
# 每次启动时Redis都会先把这个文件的数据读入内存里,先忽略RDB文件。
appendonly no
# 指定aof文件名,默认文件名为appendonly.aof
appendfilename "appendonly.aof"
# AOF持久化三种同步策略:
# 1) no:不同步(不执行fsync),数据不会持久化
# 2) always:每次有数据发生变化时都会写入appendonly.aof(慢,安全)
# 3) everysec:每秒同步一次到appendonly.aof,可能会导致丢失这1s数据(折中选择,默认值)
#
# appendfsync always
appendfsync everysec
# appendfsync no
# 重写规则
# 在AOF重写或写入rdb文件时,会执行大量IO
# 对于everysec和always的AOF模式来说,执行fsync会造成阻塞过长时间
# yes:表示rewrite期间对新写操作不fsync,暂时存在内存中,等rewrite完成后再写入
# 默认为no,建议yes。Linux的默认fsync策略是30秒。可能丢失30秒数据。
no-appendfsync-on-rewrite no
# AOF自动重写配置。当目前AOF文件大小超过上一次重写的aof文件大小的百分之多少进行重写
# 即当AOF文件增长到一定大小时,Redis能调用bgrewriteaof对日志文件进行重写。
# 当前AOF文件大小是上次日志重写得到AOF文件大小的二倍(设置为100)时,自动启动新的日志重写过程。
auto-aof-rewrite-percentage 100
# 设置允许重写的最小AOF文件大小,避免了达到约定百分比但尺寸仍然很小的情况还要重写
auto-aof-rewrite-min-size 64mb
# aof文件可能在尾部是不完整的,当redis启动的时候,aof文件的数据被载入内存。
# 重启可能发生在redis所在的主机操作系统宕机后,尤其在ext4文件系统没有加上data=ordered选项(redis宕机或者异常终止不会造成尾部不完整现象。)出现这种现象,可以选择让redis退出,或者导入尽可能多的数据。
# 如果选择的是yes,当截断的aof文件被导入的时候,会自动发布一个log给客户端然后load。
# 如果是no,用户必须手动redis-check-aof修复AOF文件才可以。
aof-load-truncated yes
################################# REPLICATION(主从复制) #################################
# 主从复制。使用slaveof从 Redis服务器复制一个Redis实例。注意,该配置仅限于当前slave有效
# 设置当本机为slav服务时,设置master服务的ip地址及端口,Redis启动时,自动从master进行数据同步
# slaveof <masterip> <masterport>
slaveof 127.0.0.1 6379
# 如master设置了requirepass密码,slave用此选项指定master认证密码
# 下文的“requirepass”配置项可以指定密码
# masterauth <master-password>
masterauth 123456
# 从库同主机失去连接或者复制正在进行,从机库的两种运行方式
# 当slave与master之间的连接断开或slave正在与master进行数据同步时,如果有slave请求
# 1) yes:slave仍然响应请求,此时可能有问题
# 2) no:slave会返回"SYNC with master in progress"错误信息。但INFO和SLAVEOF命令除外。
slave-serve-stale-data yes
# 作为从服务器,默认情况下是只读的(yes),可以修改成NO,用于写(不建议)。
slave-read-only yes
# 是否使用socket方式复制数据。目前redis复制提供两种方式,disk和socket。
# 如果新的slave连上来或者重连的slave无法部分同步,就会执行全量同步,master会生成rdb文件。
# 有2种方式:
# 1) disk:master创建一个新的进程把rdb文件保存到磁盘,再把磁盘上的rdb文件传递给slave。
# 2) socket:master创建一个新的进程,直接把rdb文件以socket的方式发给slave。
# disk方式时,当一个rdb保存的过程中,多个slave都能共享这个rdb文件。
# socket方式就得一个个slave顺序复制。在磁盘速度缓慢,网速快的情况下推荐用socket方式。
# 是否使用无盘同步RDB文件,默认为no,no为不使用无盘,将rdb保存到磁盘再发给slave
repl-diskless-sync no
# diskless复制的延迟时间,防止设置为0。一旦复制开始
# 节点不会再接收新slave的复制请求直到下一个rdb传输。所以最好等待一段时间,等更多的slave连上来
# Master准备好RDB文件后等等待传输时间
repl-diskless-sync-delay 5
# slave根据指定的时间间隔向服务器发送ping请求。默认10秒。
# slave端向server端发送ping的时间区间设置,默认为10秒
# repl-ping-slave-period 10
# 复制连接超时时间。master和slave都有超时时间的设置。
# master检测到slave上次发送的时间超过repl-timeout,即认为slave离线,清除该slave信息。
# slave检测到上次和master交互的时间超过repl-timeout,则认为master离线。
# 需注意repl-timeout需设置一个比repl-ping-slave-period更大的值,不然会经常检测到超时。
# 设置超时时间
# repl-timeout 60
# 是否禁止复制tcp链接的tcp nodelay参数,默认是no,即使用tcp nodelay。
# 如master设置了yes,在把数据复制给slave时,会减少包的数量和更小的网络带宽。
# 但这也可能带来数据的延迟。默认我们推荐更小的延迟,但在数据量传输很大的场景下,建议选择yes。
# #是否启用TCP_NODELAY,如设置成yes,则redis会合并小的TCP包从而节省带宽,但会增加同步延迟(40ms),造成master与slave数据不一致,假如设置成no,则redis master会立即发送同步数据,没有延迟,前者关注性能,后者关注redis服务中的数据一致性。
repl-disable-tcp-nodelay no
# 复制缓冲区大小,这是一个环形复制缓冲区,用来保存最新复制的命令。
# 这样在slave离线时,无需完全复制master的数据,如果可以执行部分同步,只需把缓冲区的部分数据复制# 给slave,就能恢复正常复制状态。缓冲区的大小越大,slave离线的时间可以更长,复制缓冲区只有在有
# slave连接的时候才分配内存。没有slave的一段时间,内存会被释放出来,默认1m。
# master的写入数据缓冲区,用于记录自上一次同步后到下一次同步过程中间的写入命令
# repl-backlog-size 5mb
# master没有slave一段时间会释放复制缓冲区的内存,repl-backlog-ttl设置该时间长度。单位为秒
# 如果一段时间后没有slave连接到master,则backlog size的内存将会被释放。如果值为0则表示永远不释放这部份内存。
# repl-backlog-ttl 3600
# 当master不可用,Sentinel会根据slave的优先级选举一个master。
# 最低的优先级的slave,当选master。而配置成0,永远不会被选举。
# slave端的优先级设置,值是一个整数,数字越小表示优先级越高。当master故障时将会按照优先级来选择slave端进行恢复,如果值设置为0,则表示该slave永远不会被选择。
slave-priority 100
# master停止写入的方式,健康的slave的个数小于N,mater就禁止写入。master最少得有多少个健康的
# slave存活才能执行写命令。这个配置虽然不能保证N个slave都一定能接收到master的写操作,
# 但能避免没有足够健康的slave时,master不能写入来避免数据丢失。设置为0是关闭该功能。
# 设置一个master端的可用slave少于多少个
# min-slaves-to-write 3
# 延迟小于min-slaves-max-lag 秒的slave才认为是健康的slave。
# 设置所有slave延迟时间都大于多少秒时,master不接收写操作(拒绝写入)。
# min-slaves-max-lag 10
################################## SECURITY(安全) ###################################
# requirepass(设置密码)
# 访问密码的查看、设置和取消
# 配置redis连接认证密码(永久设置,需要再配置文件redis.conf中进行设置。)
# 临时设置(在命令中设置密码,只是临时的。重启redis服务器,密码就还原了)。
# 如果配置了,则客户端在连接Redis时需通过auth <password>命令提供密码(默认关闭)
# 注意:因为redis太快了,每秒可认证15w次密码,简单的很容易被攻破,最好使用一个更复杂的密码
# 默认值,默认是注释掉的
# requirepass foobared
# 把危险的命令给修改成其他名称。比如CONFIG命令可以重命名为一个很难被猜到的命令
# 这样用户不能使用,而内部工具还能接着使用。
# rename-command CONFIG b840fc02d524045429941cc15f59e41cb7be6c52
# 设置成一个空的值,可以禁止一个命令
# rename-command CONFIG ""
################################### LIMITS(限制) ####################################
# maxclients(最大连接数设置)
# 设置redis同时可以与多少个客户端进行连接。
# 默认情况下为10000个客户端,设置0表示不作限制。
# 如果达到了此限制,redis则会拒绝新的连接请求,并且向这些连接请求方发出“max number of clients reached”以作回应。
# 设置连上redis的最大客户端连接数量。默认10000。
# redis不区分连接是客户端连接还是内部打开文件或和slave连接等,故maxclients最小建议设置到32
# maxclients 10000
# If Redis is to be used as an in-memory-only cache without any kind of
# persistence, then the fork() mechanism used by the background AOF/RDB
# persistence is unnecessary. As an optimization, all persistence can be
# turned off in the Windows version of Redis. This will redirect heap
# allocations to the system heap allocator, and disable commands that would
# otherwise cause fork() operations: BGSAVE and BGREWRITEAOF.
# This flag may not be combined with any of the other flags that configure
# AOF and RDB operations.
# persistence-available [(yes)|no]
# Don't use more memory than the specified amount of bytes.
# When the memory limit is reached Redis will try to remove keys
# according to the eviction policy selected (see maxmemory-policy).
#
# If Redis can't remove keys according to the policy, or if the policy is
# set to 'noeviction', Redis will start to reply with errors to commands
# that would use more memory, like SET, LPUSH, and so on, and will continue
# to reply to read-only commands like GET.
#
# This option is usually useful when using Redis as an LRU cache, or to set
# a hard memory limit for an instance (using the 'noeviction' policy).
#
# WARNING: If you have slaves attached to an instance with maxmemory on,
# the size of the output buffers needed to feed the slaves are subtracted
# from the used memory count, so that network problems / resyncs will
# not trigger a loop where keys are evicted, and in turn the output
# buffer of slaves is full with DELs of keys evicted triggering the deletion
# of more keys, and so forth until the database is completely emptied.
#
# In short... if you have slaves attached it is suggested that you set a lower
# limit for maxmemory so that there is some free RAM on the system for slave
# output buffers (but this is not needed if the policy is 'noeviction').
#
# WARNING: not setting maxmemory will cause Redis to terminate with an
# out-of-memory exception if the heap limit is reached.
#
# NOTE: since Redis uses the system paging file to allocate the heap memory,
# the Working Set memory usage showed by the Windows Task Manager or by other
# tools such as ProcessExplorer will not always be accurate. For example, right
# after a background save of the RDB or the AOF files, the working set value
# may drop significantly. In order to check the correct amount of memory used
# by the redis-server to store the data, use the INFO client command. The INFO
# command shows only the memory used to store the redis data, not the extra
# memory used by the Windows process for its own requirements. Th3 extra amount
# of memory not reported by the INFO command can be calculated subtracting the
# Peak Working Set reported by the Windows Task Manager and the used_memory_peak
# reported by the INFO command.
# maxmemory(最大内存容量)
# 建议必须设置,否则,将内存占满,造成服务器宕机
# 设置redis可以使用的内存量。一旦到达内存使用上限,redis将会试图移除内部数据,移除规则可以通过maxmemory-policy来指定。
# 如果redis无法根据移除规则来移除内存中的数据,或者设置了“不允许移除”,那么redis则会针对那些需要申请内存的指令返回错误信息,比如SET、LPUSH等。
# 但是对于无内存申请的指令,仍然会正常响应,比如GET等。如果你的redis是主redis(说明你的redis有从redis),那么在设置内存使用上限时,需要在系统中留出一些内存空间给同步队列缓存,只有在你设置的是“不移除”的情况下,才不用考虑这个因素。
# 当maxmemory-policy处理后,仍然到达最大内存设置,将无法再进行写入操作,但仍然可以进行读取操作。
# 默认值,是被注释掉的
# maxmemory <bytes>
# maxmemory-policy(最大内存时策略)
# 内存容量超过maxmemory后的处理策略如下几种策略:
# 1) volatile-lru:只使用LRU算法移除key,只对设置了过期时间的键;(最近最少使用)(默认)
# 2) allkeys-lru:在所有集合key中,使用LRU算法移除key
# 3) volatile-random:在过期集合中移除随机的key,只对设置了过期时间的键
# 4) allkeys->random:在所有集合key中,移除随机的key
# 5) volatile-ttl:移除那些TTL值最小的key,即那些最近要过期的key
# 6) noeviction:不进行移除。针对写操作,只是返回错误信息
# 默认值,是被注释掉的
# maxmemory-policy noeviction
# maxmemory-samples(最大内存样本数量)
# 设置样本数量,LRU算法和最小TTL算法都并非是精确的算法,而是估算值,所以你可以设置样本的大小,redis默认会检查这么多个key并选择其中LRU的那个。
# 一般设置3到7的数字,数值越小样本越不准确,但性能消耗越小。
# 默认值,是被注释掉的
# maxmemory-samples 5
# maxmemory-samples 3
################################ LUA SCRIPTING (LUA 脚本) ###############################
# 如果达到最大时间限制(毫秒),redis会记个log,然后返回error。当一个脚本超过了最大时限。
# 只有SCRIPT KILL和SHUTDOWN NOSAVE可以用。第一个可以杀没有调write命令的东西。
# 要是已经调用了write,只能用第二个命令杀。
lua-time-limit 5000
################################ REDIS CLUSTER (Redis集群) ###############################
# 集群开关,默认是不开启集群模式。
# cluster-enabled yes
# 集群配置文件的名称,每个节点都有一个集群相关的配置文件,持久化保存集群的信息。
# 这个文件无需手动配置,这个配置文件有Redis生成并更新,每个Redis集群节点需要一个单独的配置文件,
# 请确保与实例运行的系统中配置文件名称不冲突
# cluster-config-file nodes-6379.conf
# 节点互连超时的阀值。集群节点超时毫秒数
# cluster-node-timeout 15000
# 在进行故障转移时,全部slave会请求申请为master,有些slave可能与master断开连接一段时间了,
# 导致数据过于陈旧,这种slave不该提升为master。该参数判断slave与master断线的时间是否过长。
# 判断方法是:比较slave断开连接的时间和
# (node-timeout * slave-validity-factor) + repl-ping-slave-period
# 如果节点超时时间为三十秒, 并且slave-validity-factor为10
# 假设默认的repl-ping-slave-period是10秒,即如果超过310秒slave将不会尝试进行故障转移
# cluster-slave-validity-factor 10
# master的slave数量大于该值,slave才能迁移到其他孤立master上,如这个参数若被设为2,
# 那么只有当一个主节点拥有2 个可工作的从节点时,它的一个从节点会尝试迁移。
# cluster-migration-barrier 1
# 默认情况下,集群全部的slot有节点负责,集群状态才为ok,才能提供服务。
# 设置为no,可以在slot没有全部分配的时候提供服务。
# 不建议打开该配置,这样会造成分区时,小分区的master一直在接受写请求,而造成很长时间数据不一致。
# cluster-require-full-coverage yes
# In order to setup your cluster make sure to read the documentation
# available at http://redis.io web site.
################################## SLOW LOG (慢日志) ###################################
# slog log是用来记录redis运行中执行比较慢的命令耗时。
# 当命令的执行超过了指定时间,就记录在slow log中,slog log保存在内存中,所以没有IO操作。
# 执行时间比slowlog-log-slower-than大的请求记录到slowlog里面,单位是微秒
# 所以1000000就是1秒。注意,负数时间会禁用慢查询日志,而0则会强制记录所有命令。
slowlog-log-slower-than 10000
# 慢查询日志长度。当一个新的命令被写进日志时,最老的那个记录会被删掉。
# 这个长度没有限制。只要有足够的内存就行。你可以通过 SLOWLOG RESET 来释放内存。
slowlog-max-len 1024
############################ VIRTUAL MEMORY( 虚拟内存) ###########################
# 指定是否启用虚拟内存机制,默认no,
# VM机制将数据分页存放,由Redis将访问量较少的页即冷数据swap到磁盘上(内存占用多,最好关闭)
# 访问多的页面由磁盘自动换出到内存中
vm-enabled no
# 虚拟内存文件位置,默认值为/tmp/redis.swap,不可多个Redis实例共享
# Redis交换文件最好的存储是SSD(固态硬盘)
vm-swap-file /tmp/redis.swap
# redis使用的最大内存上限,保护redis不会因过多使用物理内存影响性能
# 将大于vm-max-memory的数据存入虚拟内存,但无论设置多少,所有索引数据都是内存存储的(即keys)
# 当vm-max-memory设置为0时,所有value都存在于磁盘。默认值为0
vm-max-memory 0
# Redis swap文件分成了很多的page,一个对象可以保存在多个page上面
# 但一个page上不能被多个对象共享,vm-page-size是要根据存储的数据大小来设定的。
# 建议:
# 如果存储很多小对象,page大小设置为32或64字节;
# 如果存储很大的对象,则可以使用更大的page,如果不确定,就使用默认值
# 每个页面的大小设置为32字节
vm-page-size 32
# 设置swap文件中页面数量
# 由于页表(一种表示页面空闲或使用的bitmap)是存放在内存中的,在磁盘上每8个页将消耗1byte的内存
# swap空间总容量为 vm-page-size * vm-pages
vm-pages 134217728
# 设置访问swap文件的线程数,最后不要超过机器的核数
# 如果设置为0,那么所有对swap文件的操作都是串行的,可能会造成比较长时间的延迟,默认值为4
vm-max-threads 4
################################ LATENCY MONITOR ##############################
# 启用 redis 延迟监控
# 单位:毫秒,100表示一百毫秒。如果将 latency-monitor-threshold 的值设置为 0,则表示关闭延迟监控。
# 默认情况下,延迟监视是禁用的,因为大多数情况下不需要它。
# 如果您没有延迟问题,并且收集数据会影响性能冲击,虽然很小,但可以在大负荷下测量。延迟
# 可以使用该命令轻松地在运行时启用监视
latency-monitor-threshold 0
############################# EVENT NOTIFICATION ##############################
# “notify-keyspace-events”将一个组合字符串作为参数,零个或多个字符的。空字符串表示通知是禁用的。
# 通过对notify-keyspace-events参数修改,可以指定服务器发送哪种类型的通知。
# 下面对于一些参数的描述。默认情况下此功能是关闭的。
# K 键空间通知,所有通知以 keyspace@ 为前缀
# E 键事件通知,所有通知以 keyevent@ 为前缀
# g DEL、EXPIRE、RENAME 等类型无关的通用命令的通知
# $ 字符串命令的通知
# l 列表命令的通知
# s 集合命令的通知
# h 哈希命令的通知
# z 有序集合命令的通知
# x 过期事件:每当有过期键被删除时发送
# e 驱逐(evict)事件:每当有键因为 maxmemory 政策而被删除时发送
# A 参数 g$lshzxe 的别名
#
# 例1: 要启用列表和通用事件,使用:notify-keyspace-events Elg
# 例2: 获取订阅通道的过期密钥流: __keyevent@0__:expired notify-keyspace-events Ex
#
# 默认情况下,所有通知都是禁用的,因为大多数用户不需要,这个特性和这个特性有一些开销。
# 请注意,如果没有指定K或E中的至少一个,则不传递任何事件。
notify-keyspace-events ""
############################### ADVANCED CONFIG (高级配置)###############################
# 哈希表中元素(条目)总个数<=512个,采用ziplist,否则使用hash
hash-max-ziplist-entries 512
# 哈希表中每个value的长度<=64字节时,采用ziplist,否则使用hash
hash-max-ziplist-value 64
# list元素<=512个,采用ziplist,否则用linkedlist
list-max-ziplist-size -2
# list内某个元素大小<=64字节时,采用ziplist,否则用linkedlist
list-compress-depth 0
# set内元素数量<=512个,且都是整数型值,采用inset,否则使用hashtable
set-max-intset-entries 512
# zset内元素数量<=128个,采用ziplist,否则用skiplist跳表
zset-max-ziplist-entries 128
# zset内某个元素大小<=64字节时,采用ziplist,否则用skiplist跳表
zset-max-ziplist-value 64
# value大小 <= hll-sparse-max-bytes使用稀疏数据结构(sparse)
# value大小 > hll-sparse-max-bytes使用稠密的数据结构(dense)。
# 一个比16000大的value是几乎没用的,建议的value大概为3000。
# 如果对CPU要求不高,对空间要求较高的,建议设置到10000左右。
hll-sparse-max-bytes 3000
# Redis将在每100毫秒时使用1毫秒的CPU时间来对redis的hash表进行重新hash,可以降低内存的使用。
# 当你的使用场景中,有非常严格的实时性需要,不能够接受Redis时不时的对请求有2毫秒的延迟的话
# 把这项配置为no。如果没有这么严格的实时性要求,可以设置为yes,以便能够尽可能快的释放内存。
# 指定是否激活重置哈希,默认为开启
activerehashing yes
# 对客户端输出缓冲进行限制,可以强迫那些不从服务器读取数据的客户端断开连接
# 用来强制关闭传输缓慢的客户端。
# 对于normal client,第一个0表示取消hard limit,第二个0和第三个0表示取消soft limit
# normal client默认取消限制,因为如果没有寻问,他们是不会接收数据的。
client-output-buffer-limit normal 0 0 0
# 对于slave client和 MONITER client,如果client-output-buffer一旦超过256mb
# 又或者超过64mb持续60秒,那么服务器就会立即断开客户端连接。
client-output-buffer-limit slave 256mb 64mb 60
# 对于pubsub client,如果client-output-buffer一旦超过32mb,又或者超过8mb持续60秒,
# 那么服务器就会立即断开客户端连接。
client-output-buffer-limit pubsub 32mb 8mb 60
# redis执行任务的频率为1s除以hz。
hz 10
# 在AOF重写时,如果打开了aof-rewrite-incremental-fsync开关,系统会每32MB执行一次fsync。
# 这对于把文件写入磁盘是有帮助的,可以避免过大的延迟峰值。
aof-rewrite-incremental-fsync yes
第二步:启动三台redis服务器:
redis-server redis.windows-6379.conf
redis-server redis.windows-6380.conf
redis-server redis.windows-6381.conf
第三步:配置从库不配置主库
先连接上redis客户端:
redis-cli -p 6379
redis-cli -p 6380
redis-cli -p 6381
然后将6380和6381机器配置成从机:#slaveof 主机ip 主机端口号
在主机查看从机信息:发现配置成功。
五、配置redis三哨兵:
第一步:sentinel.conf配置文件
新建sentinel.conf文件,复制为三份,分别为:
1、sentinel-26379.conf
# 配置地址及端口
port 26379
# 配置地址
bind 127.0.0.1
# 所有哨兵监听的都是主服务器,当前主服务器是 6379,所以就监控 6379
# 将这个主服务器判断为失效至少需要 2 个 Sentinel 同意 (只要同意 Sentinel的数量不达标,自动故障迁移就不会执行)
sentinel monitor mymaster 127.0.0.1 6379 2
# 3s内mymaster无响应,则认为mymaster宕机了
sentinel down-after-milliseconds mymaster 3000
# 如果10秒后,mysater仍没启动过来,则启动failover
sentinel failover-timeout mymaster 10000
# 执行故障转移时,最多有1个从服务器同时对新的主服务器进行同步
sentinel parallel-syncs mymaster 1
2、sentinel-26380.conf
# 配置地址及端口
port 26380
# 配置地址
bind 127.0.0.1
# 所有哨兵监听的都是主服务器,当前主服务器是 6379,所以就监控 6379
# 将这个主服务器判断为失效至少需要 2 个 Sentinel 同意 (只要同意 Sentinel的数量不达标,自动故障迁移就不会执行)
sentinel monitor mymaster 127.0.0.1 6379 2
# 3s内mymaster无响应,则认为mymaster宕机了
sentinel down-after-milliseconds mymaster 3000
# 如果10秒后,mysater仍没启动过来,则启动failover
sentinel failover-timeout mymaster 10000
# 执行故障转移时,最多有1个从服务器同时对新的主服务器进行同步
sentinel parallel-syncs mymaster 1
3、sentinel-26381.conf
# 配置地址及端口
port 26381
# 配置地址
bind 127.0.0.1
# 所有哨兵监听的都是主服务器,当前主服务器是 6379,所以就监控 6379
# 将这个主服务器判断为失效至少需要 2 个 Sentinel 同意 (只要同意 Sentinel的数量不达标,自动故障迁移就不会执行)
sentinel monitor mymaster 127.0.0.1 6379 2
# 3s内mymaster无响应,则认为mymaster宕机了
sentinel down-after-milliseconds mymaster 3000
# 如果10秒后,mysater仍没启动过来,则启动failover
sentinel failover-timeout mymaster 10000
# 执行故障转移时,最多有1个从服务器同时对新的主服务器进行同步
sentinel parallel-syncs mymaster 1
4、sentinel.conf配置文件详解:
哨兵的配置主要就是修改sentinel.conf配置文件中的参数,在Redis安装目录即可看到此配置文件,各参数详解:
# Example sentinel.conf
# 绑定IP地址
bind 127.0.0.1 192.168.1.1
# 默认情况下,Redis Sentinel不作为守护程序运行。 如果需要,可以设置为 yes。
daemonize no
# 保护模式(是否禁止外部链接,除绑定的ip地址外)
# protected-mode no
# 启用守护进程运行后,Redis将在/var/run/redis-sentinel.pid中写入一个pid文件
pidfile /var/run/redis-sentinel.pid
# 指定日志文件名。 如果值为空,将强制Sentinel日志标准输出。守护进程下,如果使用标准输出进行日志记录,则日志将发送到/dev/null
logfile ""
# 哨兵sentinel实例运行的端口 默认26379
port 26379
# 哨兵sentinel的工作目录
dir /tmp
# sentinel announce-ip <ip>
# sentinel announce-port <port>
#
# 上述两个配置指令在环境中非常有用,因为NAT可以通过非本地地址从外部访问Sentinel。
# 当提供announce-ip时,Sentinel将在通信中声明指定的IP地址,而不是像通常那样自动检测本地地址。
# 类似地,当提供announce-port 有效且非零时,Sentinel将宣布指定的TCP端口。
# 这两个选项不需要一起使用,如果只提供announce-ip,Sentinel将宣告指定的IP和“port”选项指定的服务器端口。
# 如果仅提供announce-port,Sentinel将通告自动检测到的本地IP和指定端口。
# Example:
# sentinel announce-ip 1.2.3.4
# 哨兵sentinel监控的redis主节点的 ip port
# master-name 可以自己命名的主节点名字 只能由字母A-z、数字0-9 、这三个字符".-_"组成。
# quorum 当这些quorum个数sentinel哨兵认为master主节点失联 那么这时 客观上认为主节点失联了
# sentinel monitor <master-name> <ip> <redis-port> <quorum>
sentinel monitor mymaster 127.0.0.1 6379 2
# 当在Redis实例中开启了requirepass foobared 授权密码 这样所有连接Redis实例的客户端都要提供密码
# 设置哨兵sentinel 连接主从的密码 注意必须为主从设置一样的验证密码
# sentinel auth-pass <master-name> <password>
sentinel auth-pass mymaster 123456
# 指定多少毫秒之后 主节点没有应答哨兵sentinel 此时 哨兵主观上认为主节点下线 默认30秒
# sentinel down-after-milliseconds <master-name> <milliseconds>
sentinel down-after-milliseconds mymaster 30000
# 这个配置项指定了在发生failover主备切换时最多可以有多少个slave同时对新的master进行 同步,
# 这个数字越小,完成failover所需的时间就越长,
# 但是如果这个数字越大,就意味着越 多的slave因为replication而不可用。
# 可以通过将这个值设为 1 来保证每次只有一个slave 处于不能处理命令请求的状态。
# sentinel parallel-syncs <master-name> <numslaves>
sentinel parallel-syncs mymaster 1
# 故障转移的超时时间 failover-timeout 可以用在以下这些方面:
# 1. 同一个sentinel对同一个master两次failover之间的间隔时间。
# 2. 当一个slave从一个错误的master那里同步数据开始计算时间。直到slave被纠正为向正确的master那里同步数据时。
# 3.当想要取消一个正在进行的failover所需要的时间。
# 4.当进行failover时,配置所有slaves指向新的master所需的最大时间。不过,即使过了这个超时,slaves依然会被正确配置为指向master,但是就不按parallel-syncs所配置的规则来了
# 默认三分钟
# sentinel failover-timeout <master-name> <milliseconds>
sentinel failover-timeout mymaster 180000
# SCRIPTS EXECUTION
# 配置当某一事件发生时所需要执行的脚本,可以通过脚本来通知管理员,例如当系统运行不正常时发邮件通知相关人员。
# 对于脚本的运行结果有以下规则:
# 若脚本执行后返回1,那么该脚本稍后将会被再次执行,重复次数目前默认为10
# 若脚本执行后返回2,或者比2更高的一个返回值,脚本将不会重复执行。
# 如果脚本在执行过程中由于收到系统中断信号被终止了,则同返回值为1时的行为相同。
# 一个脚本的最大执行时间为60s,如果超过这个时间,脚本将会被一个SIGKILL信号终止,之后重新执行。
# 通知型脚本:当sentinel有任何警告级别的事件发生时(比如说redis实例的主观失效和客观失效等等),将会去调用这个脚本,
# 这时这个脚本应该通过邮件,SMS等方式去通知系统管理员关于系统不正常运行的信息。调用该脚本时,将传给脚本两个参数,
# 一个是事件的类型,
# 一个是事件的描述。
# 如果sentinel.conf配置文件中配置了这个脚本路径,那么必须保证这个脚本存在于这个路径,并且是可执行的,否则sentinel无法正常启动成功。
# 通知脚本
# sentinel notification-script <master-name> <script-path>
sentinel notification-script mymaster /var/redis/notify.sh
# 客户端重新配置主节点参数脚本
# 当一个master由于failover而发生改变时,这个脚本将会被调用,通知相关的客户端关于master地址已经发生改变的信息。
# 以下参数将会在调用脚本时传给脚本:
# <master-name> <role> <state> <from-ip> <from-port> <to-ip> <to-port>
# 目前<state>总是“failover”,
# <role>是“leader”或者“observer”中的一个。
# 参数 from-ip, from-port, to-ip, to-port是用来和旧的master和新的master(即旧的slave)通信的
# 这个脚本应该是通用的,能被多次调用,不是针对性的。
# sentinel client-reconfig-script <master-name> <script-path>
sentinel client-reconfig-script mymaster /var/redis/reconfig.sh
# 安全
# 避免脚本重置,默认值yes
# 默认情况下,SENTINEL SET将无法在运行时更改notification-script和client-reconfig-script。
# 这避免了一个简单的安全问题,客户端可以将脚本设置为任何内容并触发故障转移以便执行程序。
sentinel deny-scripts-reconfig yes
# REDIS命令重命名
# 在这种情况下,可以告诉Sentinel使用不同的命令名称而不是正常的命令名称。
# 例如,如果主“mymaster”和相关副本的“CONFIG”全部重命名为“GUESSME”,我可以使用:
# SENTINEL rename-command mymaster CONFIG GUESSME
# 设置此类配置后,每次Sentinel使用CONFIG时,它将使用GUESSME。 请注意,实际上不需要尊重命令案例,因此在上面的示例中写“config guessme”是相同的。
# SENTINEL SET也可用于在运行时执行此配置。
# 为了将命令设置回其原始名称(撤消重命名),可以将命令重命名为它自身:
# SENTINEL rename-command mymaster CONFIG CONFIG
最后是先启动三个服务,然后启动三个哨兵,然后客户端;
第二步、启动哨兵
redis-server.exe sentinel-26379.conf --sentinel
redis-server.exe sentinel-26380.conf --sentinel
redis-server.exe sentinel-26381.conf --sentinel
启动后查看sentinel信息:redis-cli -p sentinel的端口号
redis-cli -p 26379
info sentinel
发现有两个从机,三个哨兵节点,OK了。
六、redis哨兵测试:
1、准备测试
启动 Redis 服务命令:redis-server.exe redis.windows.conf
启动哨兵服务命令:redis-server.exe sentinel.conf --sentinel
我们主服务是 6379 端口,可以通过 redisDisktopManager 工具,执行 info replication 命令查看实例信息,明显能看到,role 角色为 master,有两个 slave,如下:
2、关闭 6379 主服务,观察 sentinel 服务的信息变化
主机sentinel-26379.conf效果如图:
从机sentinel-26380.conf效果如图:
从机sentinel-26381.conf效果如图:
有sentinel.config的日志可以看出,主机6379挂掉后,重新选举出的主机为6380的机器,也可以通过 info replication 命令查看对应服务的信息
3、重启6379服务,查看三个服务的信息
注意redis.config配置文件中的配置(slaveof和masterauth的位置),可能会出现master节点上查不到对应的从节点信息,我的解决办法是,调整这两个配置的位置和顺序,然后再次重启
上面可以看出 6379 变为了从服务,master 信息指向 6380,6381 依然为从服务,6380 依然为主服务。
4. 关闭 6380 主服务
再把 6380 服务关掉,6379 又变回主服务,6380 的 master 信息重新指向 6379,如下信息:
5. 重启 6380 服务
注意redis.config配置文件中的配置(slaveof和masterauth的位置),可能会出现master节点上查不到对应的从节点信息,我的解决办法是,调整这两个配置的位置和顺序,然后再次重启
再把 6380 服务开启,master 信息重新指向 6379,如下信息:
七、redis集群搭建
第一步:高可用集群
1、哨兵模式
其实对于一般的小型项目,利用哨兵模式+主从复制已经可以满足了,但是由于Redis是单线程应用所以在单主节点下理论上说Redis可以达到10W的并发,10W的并发对于大型互联网公司是远远不够用的
2、REDIS CLUSTER
所以在Redis 3.0后便多了一个REDIS CLUSTER配置,即Redis集群他可以突破3.0之前只能一主多从的限制,实现多主多从,这种集群没有中心节点,可水平扩展,据官方文档称可以线性扩展到上万个节点,当前配置性能和高可用都优与哨兵模式,且配置非常简单
第二部:集群模式搭建
这里我演示搭建的是一个3主3从的Redis集群,使用的版本是版本是Redis-x64-5.0.14.1.zip。
1、配置文件
我们需要3主3从,就需要启动6个Redis服务,首先我们创建创建好不同端口Rredis.conf配置文件。
redis.windows.cluster.16391.conf
# Redis集群模式配置
################################## NETWORK(网络相关配置) #####################################
bind 127.0.0.1 192.168.56.1
protected-mode no
port 16391
tcp-backlog 511
timeout 0
tcp-keepalive 0
################################# GENERAL(通配) #####################################
pidfile ""
loglevel notice
logfile ""
databases 16
################################ SNAPSHOTTING(快照方式) ################################
save 900 1
save 300 10
save 60 10000
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename "cluster-dump-16391.rdb"
dir "D:\\Redis-x64-5.0.14.1"
################################## SECURITY(安全)###################################
# requirepass(设置密码)
requirepass "123456"
masterauth "123456"
################################ LUA SCRIPTING(LUA 脚本) ###############################
lua-time-limit 5000
################################ REDIS CLUSTER (Redis集群) ###############################
# 集群开关,默认是不开启集群模式。
cluster-enabled yes
# 集群配置文件的名称
cluster-config-file cluster\nodes-16391.conf
# 节点互连超时的阀值。集群节点超时毫秒数
cluster-node-timeout 15000
# cluster-slave-validity-factor 10
# cluster-migration-barrier 1
# cluster-require-full-coverage yes
################################## SLOW LOG(慢日志) ###################################
slowlog-log-slower-than 10000
slowlog-max-len 128
############################# EVENT NOTIFICATION(高级配置) ##############################
notify-keyspace-events "AKE"
############################### ADVANCED CONFIG (高级配置) ###############################
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-size -2
list-compress-depth 0
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
hll-sparse-max-bytes 3000
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
hz 10
aof-rewrite-incremental-fsync yes
redis.windows.cluster.16392.conf
# Redis集群模式配置
################################## NETWORK(网络相关配置) #####################################
bind 127.0.0.1 192.168.56.1
protected-mode no
port 16392
tcp-backlog 511
timeout 0
tcp-keepalive 0
################################# GENERAL(通配) #####################################
pidfile ""
loglevel notice
logfile ""
databases 16
################################ SNAPSHOTTING(快照方式) ################################
save 900 1
save 300 10
save 60 10000
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename "cluster-dump-16392.rdb"
dir "D:\\Redis-x64-5.0.14.1"
################################## SECURITY(安全)###################################
# requirepass(设置密码)
requirepass "123456"
masterauth "123456"
################################ LUA SCRIPTING(LUA 脚本) ###############################
lua-time-limit 5000
################################ REDIS CLUSTER (Redis集群) ###############################
# 集群开关,默认是不开启集群模式。
cluster-enabled yes
# 集群配置文件的名称
cluster-config-file cluster\nodes-16392.conf
# 节点互连超时的阀值。集群节点超时毫秒数
cluster-node-timeout 15000
# cluster-slave-validity-factor 10
# cluster-migration-barrier 1
# cluster-require-full-coverage yes
################################## SLOW LOG(慢日志) ###################################
slowlog-log-slower-than 10000
slowlog-max-len 128
############################# EVENT NOTIFICATION(高级配置) ##############################
notify-keyspace-events "AKE"
############################### ADVANCED CONFIG (高级配置) ###############################
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-size -2
list-compress-depth 0
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
hll-sparse-max-bytes 3000
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
hz 10
aof-rewrite-incremental-fsync yes
redis.windows.cluster.16393.conf
# Redis集群模式配置
################################## NETWORK(网络相关配置) #####################################
bind 127.0.0.1 192.168.56.1
protected-mode no
port 16393
tcp-backlog 511
timeout 0
tcp-keepalive 0
################################# GENERAL(通配) #####################################
pidfile ""
loglevel notice
logfile ""
databases 16
################################ SNAPSHOTTING(快照方式) ################################
save 900 1
save 300 10
save 60 10000
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename "cluster-dump-16393.rdb"
dir "D:\\Redis-x64-5.0.14.1"
################################## SECURITY(安全)###################################
# requirepass(设置密码)
requirepass "123456"
masterauth "123456"
################################ LUA SCRIPTING(LUA 脚本) ###############################
lua-time-limit 5000
################################ REDIS CLUSTER (Redis集群) ###############################
# 集群开关,默认是不开启集群模式。
cluster-enabled yes
# 集群配置文件的名称
cluster-config-file cluster\nodes-16393.conf
# 节点互连超时的阀值。集群节点超时毫秒数
cluster-node-timeout 15000
# cluster-slave-validity-factor 10
# cluster-migration-barrier 1
# cluster-require-full-coverage yes
################################## SLOW LOG(慢日志) ###################################
slowlog-log-slower-than 10000
slowlog-max-len 128
############################# EVENT NOTIFICATION(高级配置) ##############################
notify-keyspace-events "AKE"
############################### ADVANCED CONFIG (高级配置) ###############################
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-size -2
list-compress-depth 0
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
hll-sparse-max-bytes 3000
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
hz 10
aof-rewrite-incremental-fsync yes
redis.windows.cluster.16394.conf
# Redis集群模式配置
################################## NETWORK(网络相关配置) #####################################
bind 127.0.0.1 192.168.56.1
protected-mode no
port 16394
tcp-backlog 511
timeout 0
tcp-keepalive 0
################################# GENERAL(通配) #####################################
pidfile ""
loglevel notice
logfile ""
databases 16
################################ SNAPSHOTTING(快照方式) ################################
save 900 1
save 300 10
save 60 10000
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename "cluster-dump-16394.rdb"
dir "D:\\Redis-x64-5.0.14.1"
################################## SECURITY(安全)###################################
# requirepass(设置密码)
requirepass "123456"
masterauth "123456"
################################ LUA SCRIPTING(LUA 脚本) ###############################
lua-time-limit 5000
################################ REDIS CLUSTER (Redis集群) ###############################
# 集群开关,默认是不开启集群模式。
cluster-enabled yes
# 集群配置文件的名称
cluster-config-file cluster\nodes-16394.conf
# 节点互连超时的阀值。集群节点超时毫秒数
cluster-node-timeout 15000
# cluster-slave-validity-factor 10
# cluster-migration-barrier 1
# cluster-require-full-coverage yes
################################## SLOW LOG(慢日志) ###################################
slowlog-log-slower-than 10000
slowlog-max-len 128
############################# EVENT NOTIFICATION(高级配置) ##############################
notify-keyspace-events "AKE"
############################### ADVANCED CONFIG (高级配置) ###############################
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-size -2
list-compress-depth 0
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
hll-sparse-max-bytes 3000
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
hz 10
aof-rewrite-incremental-fsync yes
redis.windows.cluster.16395.conf
# Redis集群模式配置
################################## NETWORK(网络相关配置) #####################################
bind 127.0.0.1 192.168.56.1
protected-mode no
port 16395
tcp-backlog 511
timeout 0
tcp-keepalive 0
################################# GENERAL(通配) #####################################
pidfile ""
loglevel notice
logfile ""
databases 16
################################ SNAPSHOTTING(快照方式) ################################
save 900 1
save 300 10
save 60 10000
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename "cluster-dump-16395.rdb"
dir "D:\\Redis-x64-5.0.14.1"
################################## SECURITY(安全)###################################
# requirepass(设置密码)
requirepass "123456"
masterauth "123456"
################################ LUA SCRIPTING(LUA 脚本) ###############################
lua-time-limit 5000
################################ REDIS CLUSTER (Redis集群) ###############################
# 集群开关,默认是不开启集群模式。
cluster-enabled yes
# 集群配置文件的名称
cluster-config-file cluster\nodes-16395.conf
# 节点互连超时的阀值。集群节点超时毫秒数
cluster-node-timeout 15000
# cluster-slave-validity-factor 10
# cluster-migration-barrier 1
# cluster-require-full-coverage yes
################################## SLOW LOG(慢日志) ###################################
slowlog-log-slower-than 10000
slowlog-max-len 128
############################# EVENT NOTIFICATION(高级配置) ##############################
notify-keyspace-events "AKE"
############################### ADVANCED CONFIG (高级配置) ###############################
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-size -2
list-compress-depth 0
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
hll-sparse-max-bytes 3000
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
hz 10
aof-rewrite-incremental-fsync yes
redis.windows.cluster.16396.conf
# Redis集群模式配置
################################## NETWORK(网络相关配置) #####################################
bind 127.0.0.1 192.168.56.1
protected-mode no
port 16396
tcp-backlog 511
timeout 0
tcp-keepalive 0
################################# GENERAL(通配) #####################################
pidfile ""
loglevel notice
logfile ""
databases 16
################################ SNAPSHOTTING(快照方式) ################################
save 900 1
save 300 10
save 60 10000
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename "cluster-dump-16396.rdb"
dir "D:\\Redis-x64-5.0.14.1"
################################## SECURITY(安全)###################################
# requirepass(设置密码)
requirepass "123456"
masterauth "123456"
################################ LUA SCRIPTING(LUA 脚本) ###############################
lua-time-limit 5000
################################ REDIS CLUSTER (Redis集群) ###############################
# 集群开关,默认是不开启集群模式。
cluster-enabled yes
# 集群配置文件的名称
cluster-config-file cluster\nodes-16396.conf
# 节点互连超时的阀值。集群节点超时毫秒数
cluster-node-timeout 15000
# cluster-slave-validity-factor 10
# cluster-migration-barrier 1
# cluster-require-full-coverage yes
################################## SLOW LOG(慢日志) ###################################
slowlog-log-slower-than 10000
slowlog-max-len 128
############################# EVENT NOTIFICATION(事件通知) ##############################
notify-keyspace-events "AKE"
############################### ADVANCED CONFIG (高级配置) ###############################
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-size -2
list-compress-depth 0
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
hll-sparse-max-bytes 3000
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
hz 10
aof-rewrite-incremental-fsync yes
2、启动Redis
创建(修改)完配置文件后,逐个启动Reids服务。
redis-server-cluster-16391
redis-server-cluster-16392
redis-server-cluster-16393
redis-server-cluster-16394
redis-server-cluster-16395
redis-server-cluster-16396
3、集群创建
在任意一个服务上执行如下命令,即可创建集群,执行如下命令后Redis会随机分配主从服务,我i过是在不同机器上,在分配的时,Redis是不会让主节点与从节点在同一台机器上的。
# -a 密码认证,若没写密码无效带这个参数
# --cluster create 创建集群实例列表 IP:PORT IP:PORT IP:PORT
# --cluster-replicas 复制因子1(即每个主节点需1个从节点)
redis-cli -a 123456 --cluster create --cluster-replicas 1 127.0.0.1:16391 127.0.0.1:16392 127.0.0.1:16393 127.0.0.1:16394 127.0.0.1:16395 127.0.0.1:16396
执行命令后会让确认配置,输入yes确认
4、集群验证
连接集群
# -a 密码认证
# -c 连接集群
# -h 集群中任意一个Redis节点IP
# -p 集群中任意一个Redis节点端口
redis-cli -a 123456 -c -h 127.0.0.1 -p 16391
查看集群信息
# 登录redis-cli后执行如下命令
CLUSTER INFO
查看节点信息
# 登录redis-cli后执行如下命令
CLUSTER NODES
第三步:集群操作
1、主节点添加
服务启动
我们对当前的3主3从进行扩容成4主4从,首先再准备好2个Redis服务的配置文件,并且启动2个服务。
redis.windows.cluster.16397.conf
# Redis集群模式配置
################################## NETWORK(网络相关配置) #####################################
bind 127.0.0.1 192.168.56.1
protected-mode no
port 16397
tcp-backlog 511
timeout 0
tcp-keepalive 0
################################# GENERAL(通配) #####################################
pidfile ""
loglevel notice
logfile ""
databases 16
################################ SNAPSHOTTING(快照方式) ################################
save 900 1
save 300 10
save 60 10000
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename "cluster-dump-16397.rdb"
dir "D:\\Redis-x64-5.0.14.1"
################################## SECURITY(安全)###################################
# requirepass(设置密码)
requirepass "123456"
masterauth "123456"
################################ LUA SCRIPTING(LUA 脚本) ###############################
lua-time-limit 5000
################################ REDIS CLUSTER (Redis集群) ###############################
# 集群开关,默认是不开启集群模式。
cluster-enabled yes
# 集群配置文件的名称
cluster-config-file cluster\nodes-16397.conf
# 节点互连超时的阀值。集群节点超时毫秒数
cluster-node-timeout 15000
# cluster-slave-validity-factor 10
# cluster-migration-barrier 1
# cluster-require-full-coverage yes
################################## SLOW LOG(慢日志) ###################################
slowlog-log-slower-than 10000
slowlog-max-len 128
############################# EVENT NOTIFICATION(事件通知) ##############################
notify-keyspace-events "AKE"
############################### ADVANCED CONFIG (高级配置) ###############################
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-size -2
list-compress-depth 0
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
hll-sparse-max-bytes 3000
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
hz 10
aof-rewrite-incremental-fsync yes
redis.windows.cluster.16398.conf
# Redis集群模式配置
################################## NETWORK(网络相关配置) #####################################
bind 127.0.0.1 192.168.56.1
protected-mode no
port 16398
tcp-backlog 511
timeout 0
tcp-keepalive 0
################################# GENERAL(通配) #####################################
pidfile ""
loglevel notice
logfile ""
databases 16
################################ SNAPSHOTTING(快照方式) ################################
save 900 1
save 300 10
save 60 10000
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename "cluster-dump-16398.rdb"
dir "D:\\Redis-x64-5.0.14.1"
################################## SECURITY(安全)###################################
# requirepass(设置密码)
requirepass "123456"
masterauth "123456"
################################ LUA SCRIPTING(LUA 脚本) ###############################
lua-time-limit 5000
################################ REDIS CLUSTER (Redis集群) ###############################
# 集群开关,默认是不开启集群模式。
cluster-enabled yes
# 集群配置文件的名称
cluster-config-file cluster\nodes-16398.conf
# 节点互连超时的阀值。集群节点超时毫秒数
cluster-node-timeout 15000
# cluster-slave-validity-factor 10
# cluster-migration-barrier 1
# cluster-require-full-coverage yes
################################## SLOW LOG(慢日志) ###################################
slowlog-log-slower-than 10000
slowlog-max-len 128
############################# EVENT NOTIFICATION(事件通知) ##############################
notify-keyspace-events "AKE"
############################### ADVANCED CONFIG (高级配置) ###############################
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-size -2
list-compress-depth 0
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
hll-sparse-max-bytes 3000
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
hz 10
aof-rewrite-incremental-fsync yes
redis-server-cluster-16397
redis-server-cluster-16398
添加节点
# 使用如下命令即可添加节点将一个新的节点添加到集群中
# -a 密码认证(没有密码不用带此参数)
# --cluster add-node 添加节点 新节点IP:新节点端口 任意存活节点IP:任意存活节点端口
redis-cli -a 123456 --cluster add-node 127.0.0.1:16397 127.0.0.1:16391
使用cluster nodes命令查看集群信息表,可以看到16397已经被添加到了新的集群中了,但是16397并且没有任何的槽位信息,这时就需要迁移槽位。
槽位迁移
# 使用如下命令将其它主节点的分片迁移到当前节点中
# -a 密码认证(没有密码不用带此参数)
# --cluster reshard 槽位迁移 从节点IP:节点端口,中迁移槽位到当前节点中
redis-cli -a 123456 --cluster reshard 127.0.0.1:16392
输入完成后会打印一片执行计划给你看,输入yes就会把槽位与数据全部迁移到新节点了。
迁移完毕后再查看集群信息可以看到16397已经添加了槽位了。
2、从节点添加
添加节点
添加从节点首先需要先把节点添加到集群中。
# 使用如下命令即可添加节点将一个新的节点添加到集群中
# -a 密码认证(没有密码不用带此参数)
# --cluster add-node 添加节点 新节点IP:新节点端口 任意存活节点IP:任意存活节点端口
redis-cli -a 123456 --cluster add-node 127.0.0.1:16398 127.0.0.1:16391
通过节点信息可以查看到16398节点已经添加进去了,但是任何的节点添加都是主节点,那么接下来我们需要把16398改成从节点。
配置节点
我们需要使用客户端命令连接到刚刚新添加的16398节点的上,并且为它设置一个主节点,设置完毕后再次查看节点信息,可以看到16398已经是16397的从节点了。
# 连接需设为从节点的Redis服务
redis-cli -a 123456 -p 16398
# 将当前节点分配为 96ac239970fba6b6990f2390a8645e1bacaee829 的从节点
CLUSTER REPLICATE 96ac239970fba6b6990f2390a8645e1bacaee829
3、删除主节点
主节点删除,首先需要对槽进行迁移,如当前需要移除16397节点,那么首先需要把16397的节点槽位移动到别的节点中,才能删除。
槽位迁移
# 使用如下命令将其它主节点的分片迁移到当前节点中
# -a 密码认证(没有密码不用带此参数)
# --cluster reshard 槽位迁移 从节点IP:节点端口,中迁移槽位到当前节点中
redis-cli -a 123456 --cluster reshard 127.0.0.1:16397
输入完成后会打印一片执行计划,输入yes就会把槽位与数据全部迁移到新节点了。
移完后可以看到16392的槽位增加了,16397的槽位已经没有哦。
删除节点
# 执行如下命令删除节点
# -a 密码认证(没有密码不用带此参数)
# --cluster del-node 连接任意一个存活的节点IP:连接任意一个存活的节点端口 要删除节点ID
redis-cli -a 123456 --cluster del-node 127.0.0.1:16392 96ac239970fba6b6990f2390a8645e1bacaee829
删除完成后,发现16397节点已经找不到了。
4、删除从节点
从节点删除比较简单,直接删除即可,现在要删除16398节点。
# -a 密码认证(没有密码不用带此参数)
# --cluster del-node 连接任意一个存活的节点IP:连接任意一个存活的节点端口 要删除节点ID
redis-cli -a 123456 --cluster del-node 127.0.0.1:16398 acc5a41e34e6263d0821466b3363832098b76150
删除前
删除过程
删除后
删除成功后可以看到16398节点已经在集群中消失了。
5、重新分配槽位
重新分配槽位慎用!!!该功能可以让集群的槽位重新平均分配,但是由于涉及到槽位大量迁移,会导致整个Redis阻塞,停止处理客户端的请求。
# -a 密码认证(没有密码不用带此参数)
# --cluster rebalance 重新分配集群中的槽位
redis-cli -a 123456 --cluster rebalance 127.0.0.1:16392
重新分配前
重新分配过程
重新分配后
分配完成后可以看到所有的主节点的槽位都被重新分配了。
八、总结
redis 哨兵模式非常大程度保证了服务的高可用,只要还有一个 Redis 实例能够正常运行都能保证业务请求的可用性,是一种非常优秀的防灾思想。
版权声明:本文标题:Windows 系统下本地单机搭建 Redis 主从 + 哨兵 + 集群(一主二从三哨兵六-八集群) 内容由网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:http://www.freenas.com.cn/jishu/1726393721h951798.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论