Redis学习笔记整理 java例子

redis学习笔记整理

一、 redis 环境搭建 ............................................................................... 2

二、 redis学习笔记之数据类型 ........................................................... 3

三、 redis学习笔记之排序.................................................................. 11

四、 redis学习笔记之事务.................................................................. 16

五、 redis学习笔记之pipeline ............................................................ 20

六、 redis学习笔记之发布订阅 ......................................................... 23

七、 redis学习笔记之持久化.............................................................. 28

八、 redis学习笔记之主从复制 ......................................................... 30

九、 redis学习笔记之虚拟内存 ......................................................... 31

一、 redis 环境搭建

1.简介

redis是一个开源的key-value数据库。它又经常被认为是一个数据结构服务器。因为它的value不仅包括基本的string类型还有 list,set ,sorted set和hash类型。当然这些类型的元素也都是string类型。也就是说list,set这些集合类型也只能包含

string 类型。你可以在这些类型上做很多原子性的操作。比如对一个字符value追加字符串（APPEND命令）。加加或者减减一个数字字符串(INCR命令，当 然是按整数处理的).可以对list类型进行push,或者pop元素操作（可以模拟栈和队列）。对于set类型可以进行一些集合相关操作 (intersection union difference)。memcache也有类似与++,--的命令。

不过memcache的 value只包括string类型。远没有redis的value类型丰富。和memcahe一样为了性能。redis的数据通常都是放到内存中的。当然 redis可以每间隔一定时间将内存中数据写入到磁盘以防止数据丢失。redis也支持主从复制机制（master-slave replication）。redis的其他特性包括简单的事务支持和 发布订阅(pub/sub)通道功能,而且redis配置管理非常简单。还有各种语言版本的开源客户端类库。

2.安装

下载地址：/files/

2.0目前是最新稳定版

可以在linux下运行如下命令进行安装

$ tar xzf

$ cd redis-2.0.4

$ make

make完后 redis-2.0.4目录下会出现编译后的redis服务程序redis-server,还有用于测试的客户端程序redis-cli

下面启动redis服务.

$./redis-server

注意这种方式启动redis 使用的是默认配置。也可以通过启动参数告诉redis使用指定配置文件使用下面命令启动.

$ ./redis-server

是一个默认的配置文件。我们可以根据需要使用自己的配置文件。

启动redis服务进程后，就可以使用测试客户端程序redis-cli和redis服务交互了.

比如

$ ./redis-cli

redis> set foo bar

OK

redis> get foo

"bar"

这里演示了get和set命令操作简单类型value的例子。foo是key ,bar是个string类型的value

没linux的可以通过这个在线的来练习，当然在线版的很多管理相关的命令是不支持的。

/

客户端hello,world

客户端jar包地址/downloads/alphazero/jredis/ 。版

本目前有点老，支持到Redis 1.2.6。最新版2.0的还没release

在eclipse中新建一个java项目，然后添加jredis包引用。下面是个hello,world程序

package jredisStudy;

import .*;

import Client;

public class App {

public static void main(String[] args) {

try {

JRedis jr = new JRedisClient("192.168.56.55",6379); //redis服务地址和端口号

String key = "mKey";

(key, "hello,redis!");

String v = new String((key));

String k2 = "count";

(k2);

(k2);

n(v);

n(new String((k2)));

} catch (Exception e) {

// TODO: handle exception

}

}

}

好了redis环境已经搭建好了。后面会写写redis的各种类型和类型相关的命令和一些具体的应用场景

二、 redis学习笔记之数据类型

本文介绍下redis支持的各种数据类型包括string,list ,set ,sorted set 和hash

1. keys

redis本质上一个key-value db，所以我们首先来看看他的key.首先key也是字符串类型，但是key中不能包括边界字符

由于key不是binary safe的字符串，所以像"my key"和"mykeyn"这样包含空格和换行的key是不允许的

顺便说一下在redis内部并不限制使用binary字符，这是redis协议限制的。"rn"在协议格式中会作为特殊字符。

redis 1.2以后的协议中部分命令已经开始使用新的协议格式了(比如MSET)。总之目前还是把包含边界字符当成非法的key吧，

免得被bug纠缠。

另外关于key的一个格式约定介绍下，object-type:id:field。比如user:1000:password，blog:xxidxx:title

还有key的长度最好不要太长。道理很明显占内存啊，而且查找时候相对短key也更慢。不过也推荐过短的key，

比如u:1000:pwd,这样的。显然没上面的user:1000:password可读性好。

下面介绍下key相关的命令

exits key 测试指定key是否存在，返回1表示存在，0不存在

del key1 key2 ....keyN 删除给定key,返回删除key的数目，0表示给定key都不存在

type key 返回给定key的value类型。返回 none 表示不存在key,string字符类型，list 链表类型 set 无序集合类型...

keys pattern 返回匹配指定模式的所有key,下面给个例子

redis> set test dsf

OK

redis> set tast dsaf

OK

redis> set tist adff

OK

redis> keys t*

1. "tist"

2. "tast"

3. "test"

redis> keys t[ia]st

1. "tist"

2. "tast"

redis> keys t?st

1. "tist"

2. "tast"

3. "test"

randomkey 返回从当前数据库中随机选择的一个key,如果当前数据库是空的，返回空串

rename oldkey newkey 原子的重命名一个key,如果newkey存在，将会被覆盖，返回1表示成功，0失败。可能是oldk

ey不存在或者和newkey相同

renamenx oldkey newkey 同上，但是如果newkey存在返回失败

dbsize 返回当前数据库的key数量

expire key seconds 为key指定过期时间，单位是秒。返回1成功，0表示key已经设置过过期时间或者不存在

ttl key 返回设置过过期时间的key的剩余过期秒数 -1表示key不存在或者没有设置过过期时间

select db-index 通过索引选择数据库，默认连接的数据库所有是0,默认数据库数是16个。返回1表示成功，0失败

move key db-index 将key从当前数据库移动到指定数据库。返回1成功。0 如果key不存在，或者已经在指定数据库中

flushdb 删除当前数据库中所有key,此方法不会失败。慎用

flushall 删除所有数据库中的所有key，此方法不会失败。更加慎用

2. string 类型

string是redis最基本的类型，而且string类型是二进制安全的。意思是redis的string可以包含任何数据。比如jpg图片或者序列化的对象

。从内部实现来看其实string可以看作byte数组，最大上限是1G字节。下面是string类型的定义。

struct sdshdr {

long len;

long free;

char buf[];

};

buf是个char数组用于存贮实际的字符串内容。其实char和c#中的byte是等价的，都是一个字节

len是buf数组的长度，free是数组中剩余可用字节数。由此可以理解为什么string类型是二进制安全的了。因为它本质上就是个byte数组。

当然可以包含任何数据了。另外string类型可以被部分命令按int处理.比如incr等命令，下面详细介绍。还有redis的其他类型像list,set,sorted set ，hash

它们包含的元素与都只能是string类型。

如果只用string类型，redis就可以被看作加上持久化特性的memcached.当然redis对string类型的操作比memcached多很多啊。如下：

set key value 设置key对应的值为string类型的value,返回1表示成功，0失败

setnx key value 同上，如果key已经存在，返回0 。nx 是not exist的意思

get key 获取key对应的string值,如果key不存在返回nil

getset key value 原子的设置key的值，并返回key的旧值。如果key不存在返回nil

mget key1 key2 ... keyN 一次获取多个key的值，如果对应key不存在，则对应返回nil。下面是个实验,首先清空当前数据库，然后

设置k1,k2.获取时k3对应返回nil

redis> flushdb

OK

redis> dbsize

(integer) 0

redis> set k1 a

OK

redis> set k2 b

OK

redis> mget k1 k2 k3

1. "a"

2. "b"

3. (nil)

mset key1 value1 ... keyN valueN 一次设置多个key的值，成功返回1表示所有的值都设置了，失败返回0表示没有任何值被设置

msetnx key1 value1 ... keyN valueN 同上，但是不会覆盖已经存在的key

incr key 对key的值做加加操作,并返回新的值。注意incr一个不是int的value会返回错误，incr一个不存在的key，则设置key为1

decr key 同上，但是做的是减减操作，decr一个不存在key，则设置key为-1

incrby key integer 同incr，加指定值 ，key不存在时候会设置key，并认为原来的value是 0

decrby key integer 同decr，减指定值。decrby完全是为了可读性，我们完全可以通过incrby一个负值来实现同样效果，

反之一样。

append key value 给指定key的字符串值追加value,返回新字符串值的长度。下面给个例子

redis> set k hello

OK

redis> append k ,world

(integer) 11

redis> get k

"hello,world"

substr key start end 返回截取过的key的字符串值,注意并不修改key的值。下标是从0开始的，接着上面例子

redis> substr k 0 8

"hello,wor"

redis> get k

"hello,world"

3. list

redis的list类型其实就是一个每个子元素都是string类型的双向链表。所以[lr]push和[lr]pop命令的算法时间复杂度都是O(1)

另外list会记录链表的长度。所以llen操作也是O(1).链表的最大长度是(2的32次方-1)。我们可以通过push,pop操作从链表的头部

或者尾部添加删除元素。这使得list既可以用作栈，也可以用作队列。有意思的是list的pop操作还有阻塞版本的。当我们[lr]pop一个

list对象是，如果list是空，或者不存在，会立即返回nil。但是阻塞版本的b[lr]pop可以则可以阻塞，当然可以加超时时间，超时后也会返回nil

。为什么要阻塞版本的pop呢，主要是为了避免轮询。举个简单的例子如果我们用list来实现一个工作队列。执行任务的thread可以调用阻塞版本的pop去

获取任务这样就可以避免轮询去检查是否有任务存在。当任务来时候工作线程可以立即返回，也可以避免轮询带来的延迟。ok下面介绍list相关命令

lpush key string 在key对应list的头部添加字符串元素，返回1表示成功，0表示key存在且不是list类型

rpush key string 同上，在尾部添加

llen key 返回key对应list的长度，key不存在返回0,如果key对应类型不是list返回错误

lrange key start end 返回指定区间内的元素，下标从0开始，负值表示从后面计算，-1表示倒数第一个元素 ，key不存在返回空列表

ltrim key start end 截取list，保留指定区间内元素，成功返回1，key不存在返回错误

lset key index value 设置list中指定下标的元素值，成功返回1，key或者下标不存在返回错误

lrem key count value 从key对应list中删除count个和value相同的元素。count为0时候删除全部

lpop key 从list的头部删除元素，并返回删除元素。如果key对应list不存在或者是空返回nil，如果key对应值不是list返回错误

rpop 同上，但是从尾部删除

keyN timeout 从左到右扫描返回对第一个非空list进行lpop操作并返回，比如blpop list1 list2 list3 0 ,如果list不存在

list2,list3都是非空则对list2做lpop并返回从list2中删除的元素。如果所有的list都是空或不存在，则会阻塞timeout秒，timeout为0表示一直阻塞。

当阻塞时，如果有client对keyN中的任意key进行push操作，则第一在这个key上被阻塞的client会立即返回。如果超时发生，则返回nil。有点像unix的select或者poll

brpop 同blpop，一个是从头部删除一个是从尾部删除

rpoplpush srckey destkey 从srckey对应list的尾部移除元素并添加到destkey对应list的头部,最后返回被移除的元素值，整个操作是原子的.如果srckey是空

或者不存在返回nil

4. set

redis的set是string类型的无序集合。set元素最大可以包含(2的32次方-1)个元素。set的是通过hash table实现的，

所以添加，删除，查找的复杂度都是O(1)。hash table会随着添加或者删除自动的调整大小。需要注意的是调整hash table大小时候需要同步（获取写锁）会阻塞其他读写操作。可能不久后就会改用跳表（skip list）来实现

跳表已经在sorted set中使用了。关于set集合类型除了基本的添加删除操作，其他有用的操作还包含集合的取并集(union)，交集(intersection)，

差集(difference)。通过这些操作可以很容易的实现sns中的好友推荐和blog的tag功能。下面详细介绍set相关命令

sadd key member 添加一个string元素到,key对应的set集合中，成功返回1,如果元素以及在集合中返回0,key对应的set不存在返回错误

srem key member 从key对应set中移除给定元素，成功返回1，如果member在集合中不存在或者key不存在返回0，如果key对应的不是set类型的值返回错误

spop key 删除并返回key对应set中随机的一个元素,如果set是空或者key不存在返回nil

srandmember key 同spop，随机取set中的一个元素，但是不删除元素

smove srckey dstkey member 从srckey对应set中移除member并添加到dstkey对应set中，整个操作是原子的。成功返回1,如果member在srckey中不存在返回0，如果

key不是set类型返回错误

scard key 返回set的元素个数，如果set是空或者key不存在返回0

sismember key member 判断member是否在set中，存在返回1，0表示不存在或者key不存在

sinter keyN 返回所有给定key的交集

sinterstore keyN 同sinter，但是会同时将交集存到dstkey下

sunion keyN 返回所有给定key的并集

sunionstore keyN 同sunion，并同时保存并集到dstkey下

sdiff keyN 返回所有给定key的差集

sdiffstore keyN 同sdiff，并同时保存差集到dstkey下

smembers key 返回key对应set的所有元素，结果是无序的

5 sorted set

和set一样sorted set也是string类型元素的集合，不同的是每个元素都会关联一个double类型的score。sorted set的实现是skip list和hash table的混合体

当元素被添加到集合中时，一个元素到score的映射被添加到hash table中，所以给定一个元素获取score的开销是O(1),另一个score到元素的映射被添加到skip list

并按照score排序，所以就可以有序的获取集合中的元素。添加，删除操作开销都是O(log(N))和skip list的开销一致,redis的skip list实现用的是双向链表,这样就

可以逆序从尾部取元素。sorted set最经常的使用方式应该是作为索引来使用.我们可以把要排序的字段作为score存储，对象的id当元素存储。下面是sorted set相关命令

zadd key score member 添加元素到集合，元素在集合中存在则更新对应score

zrem key member 删除指定元素，1表示成功，如果元素不存在返回0

zincrby key incr member 增加对应member的score值，然后移动元素并保持skip list保持有序。返回更新后的score值

zrank key member 返回指定元素在集合中的排名（下标）,集合中元素是按score从小到大排序的

zrevrank key member 同上,但是集合中元素是按score从大到小排序

zrange key start end 类似lrange操作从集合中去指定区间的元素。返回的是有序结果

zrevrange key start end 同上，返回结果是按score逆序的

zrangebyscore key min max 返回集合中score在给定区间的元素

zcount key min max 返回集合中score在给定区间的数量

zcard key 返回集合中元素个数

zscore key element 返回给定元素对应的score

zremrangebyrank key min max 删除集合中排名在给定区间的元素

zremrangebyscore key min max 删除集合中score在给定区间的元素

6. hash

redis hash是一个string类型的field和value的映射表.它的添加，删除操作都是O(1)（平均）.hash特别适合用于存储对象。相较于将对象的每个字段存成

单个string类型。将一个对象存储在hash类型中会占用更少的内存，并且可以更方便的存取整个对象。省内存的原因是新建一个hash对象时开始是用zipmap（又称为small hash）来存储的。这个zipmap其实并不是hash table，但是zipmap相比正常的hash实现可以节省不少hash本身需要的一些元数据存储开销。尽管zipmap的添加，删除，查找都是O(n)，但

是由于一般对象的field数量都不太多。所以使用zipmap也是很快的,也就是说添加删除平均还是O(1)。如果field或者value的大小超出一定限制后，redis会在内部自动将zipmap替换成正常的hash实现. 这个限制可以在配置文件中指定

hash-max-zipmap-entries 64 #配置字段最多64个

hash-max-zipmap-value 512 #配置value最大为512字节

下面介绍hash相关命令

hset key field value 设置hash field为指定值，如果key不存在，则先创建

hget key field 获取指定的hash field

hmget fieldN 获取全部指定的hash filed

hmset key filed1 value1 ... filedN valueN 同时设置hash的多个field

hincrby key field integer 将指定的hash filed 加上给定值

hexists key field 测试指定field是否存在

hdel key field 删除指定的hash field

hlen key 返回指定hash的field数量

hkeys key 返回hash的所有field

hvals key 返回hash的所有value

hgetall 返回hash的所有filed和value

三、 redis学习笔记之排序

在了解完各种redis类型后，这次介绍下redis排序命令.redis支持对list，set和sorted set元素的排序。排序命令是sort

完整的命令格式如下：

SORT key [BY pattern] [LIMIT start count] [GET pattern] [ASC|DESC] [ALPHA] [STORE dstkey]

下面我们一一说明各种命令选项

（1）sort key

这个是最简单的情况，没有任何选项就是简单的对集合自身元素排序并返回排序结果.下面给个例子

redis> lpush ml 12

(integer) 1

redis> lpush ml 11

(integer) 2

redis> lpush ml 23

(integer) 3

redis> lpush ml 13

(integer) 4

redis> sort ml

1. "11"

2. "12"

3. "13"

4. "23"

(2)[ASC|DESC] [ALPHA]

sort默认的排序方式（asc）是从小到大排的,当然也可以按照逆序或者按字符顺序排。逆序可以加上desc选项，想按字母顺序排可以加alpha选项，当然alpha可以和desc一起用。下面是个按字母顺序排的例子

redis> lpush mylist baidu

(integer) 1

redis> lpush mylist hello

(integer) 2

redis> lpush mylist xhan

(integer) 3

redis> lpush mylist soso

(integer) 4

redis> sort mylist

1. "soso"

2. "xhan"

3. "hello"

4. "baidu"

redis> sort mylist alpha

1. "baidu"

2. "hello"

3. "soso"

4. "xhan"

redis> sort mylist desc alpha

1. "xhan"

2. "soso"

3. "hello"

4. "baidu"

（3）[BY pattern]

除了可以按集合元素自身值排序外，还可以将集合元素内容按照给定pattern组合成新的key，并按照新key中对应的内容进行排序。下面的例子接着使用第一个例子中的ml集合做演示：

redis> set name11 nihao

OK

redis> set name12 wo

OK

redis> set name13 shi

OK

redis> set name23 lala

OK

redis> sort ml by name*

1. "13"

2. "23"

3. "11"

4. "12"

*代表了ml中的元素值，所以这个排序是按照name12 name13 name23 name23这四个key对应值排序的,当然返回的还是排序后ml集合中的元素

(4)[GET pattern]

上面的例子都是返回的ml集合中的元素。我们也可以通过get选项去获取指定pattern作为新key对应的值。看个组合起来的例子

redis> sort ml by name* get name* alpha

1. "lala"

2. "nihao"

3. "shi"

4. "wo"

这 次返回的就不在是ml中的元素了，而是name12 name13 name23 name23对应的值。当然排序是按照name12 name13 name23 name23值并根据字母顺序排的。另外get选项可以有多个。看例子（#特殊符号引用的是原始集合也就是ml）

redis> sort ml by name* get name* get # alpha

1. "lala"

2. "23"

3. "nihao"

4. "11"

5. "shi"

6. "13"

7. "wo"

8. "12"

最后在还有一个引用hash类型字段的特殊字符->，下面是例子

redis> hset user1 name hanjie

(integer) 1

redis> hset user11 name hanjie

(integer) 1

redis> hset user12 name 86

(integer) 1

redis> hset user13 name lxl

(integer) 1

redis> sort ml get user*->name

1. "hanjie"

2. "86"

3. "lxl"

4. (nil)

很容易理解，注意当对应的user23不存在时候返回的是nil

(5) [LIMIT start count]

上面例子返回结果都是全部。limit选项可以限定返回结果的数量。例子

redis> sort ml get name* limit 1 2

1. "wo"

2. "shi"

start下标是从0开始的，这里的limit选项意思是从第二个元素开始获取2个

(6)[STORE dstkey]

如果对集合经常按照固定的模式去排序，那么把排序结果缓存起来会减少不少cpu开销.使用store选项可以将排序内容保存到指定key中。保存的类型是list

redis> sort ml get name* limit 1 2 store cl

(integer) 2

redis> type cl

list

redis> lrange cl 0 -1

1. "wo"

2. "shi"

这个例子我们将排序结果保存到了cl中

功能介绍完后，再讨论下关于排序的一些问题。如果我们有多个redis server的话，不同的key可能存在于不同的server上。比如name12 name13 name23 name23，很有可能分别在四个不同的server上存贮着。这种情况会对排序性能造成很大的影响。redis作者在他的blog上提到了这个问题的解 决办法，就是通过key tag将需要排序的key都放到同一个server上 。由于具体决定哪个key存在哪个服务器上一般都是在client端hash的办法来做的。我们可以通过只对key的部分进行hash.举个例子假如我们 的client如果发现key中包含[]。那么只对key中[]包含的内容进行hash。我们将四个name相关的key，都这样命名[name]12 [name]13 [name]23 [name]23，于是client 程序就会把他们都放到同一server上。不知道jredis实现了没。

还有一个问题也比较严重。如果要sort的集合非常大的话排序就会消耗很长时间。由于redis单线程的，所以长时间的排序操作会阻塞其他client的 请求。解决办法是通过主从复制机制将数据复制到多个slave上。%然后我们只在slave上做排序操作。并进可能的对排序结果缓存。另外就是一个方案是就 是采用sorted set对需要按某个顺序访问的集合建立索引。

四、 redis学习笔记之事务

redis对事务的支持目前还比较简单。redis只能保证一个client发起的事务中的命令可以连续的执行，而中间不会插入其他client的命令。 由于redis是单线程来处理所有client的请求的所以做到这点是很容易的。一般情况下redis在接受到一个client发来的命令后会立即处理并 返回处理结果，但是当一个client在一个连接中发出multi命令有，这个连接会进入一个事务上下文，该连接后续的命令并不是立即执行，而是先放到一 个队列中。当从此连接受到exec命令后，redis会顺序的执行队列中的所有命令。并将所有命令的运行结果打包到一起返回给client.然后此连接就 结束事务上下文。下面可以看一个例子

redis> multi

OK

redis> incr a

QUEUED

redis> incr b

QUEUED

redis> exec

1. (integer) 1

2. (integer) 1

从这个例子我们可以看到incr a ,incr b命令发出后并没执行而是被放到了队列中。调用exec后俩个命令被连续的执行，最后返回的是两条命令执行后的结果

我们可以调用discard命令来取消一个事务。接着上面例子

redis> multi

OK

redis> incr a

QUEUED

redis> incr b

QUEUED

redis> discard

OK

redis> get a

"1"

redis> get b

"1"

可以发现这次incr a incr b都没被执行。discard命令其实就是清空事务的命令队列并退出事务上下文。

虽说redis事务在本质上也相当于序列化隔离级别的了。但是由于事务上下文的命令只排队并不立即执行，所以事务中的写操作不能依赖事务中的读操作结果。看下面例子

redis> multi

OK

redis> get a

QUEUED

redis> get b

QUEUED

redis> exec

1. "1"

2. "1"

发现问题了吧。假如我们想用事务实现incr操作怎么办？可以这样做吗？

redis> get a

"1"

redis> multi

OK

redis> set a 2

QUEUED

redis> exec

1. OK

redis> get a，

"2"

结 论很明显这样是不行的。这样和 get a 然后直接set a是没区别的。很明显由于get a 和set a并不能保证两个命令是连续执行的(get操作不在事务上下文中)。很可能有两个client同时做这个操作。结果我们期望是加两次a从原来的1变成3. 但是很有可能两个client的get a，取到都是1，造成最终加两次结果却是2。主要问题我们没有对共享资源a的访问进行任何的同步

也就是说redis没提供任何的加锁机制来同步对a的访问。

还好redis 2.1后添加了watch命令，可以用来实现乐观锁。看个正确实现incr命令的例子,只是在前面加了watch a

redis> watch a

OK

redis> get a

"1"

redis> multi

OK

redis> set a 2

QUEUED

redis> exec

1. OK

redis> get a，

"2"

watch 命令会监视给定的key,当exec时候如果监视的key从调用watch后发生过变化，则整个事务会失败。也可以调用watch多次监视多个key.这 样就可以对指定的key加乐观锁了。注意watch的key是对整个连接有效的，事务也一样。如果连接断开，监视和事务都会被自动清除。当然了 exec,discard,unwatch命令都会清除连接中的所有监视.

redis的事务实现是如此简单，当然会存在一些问题。第一个问题是redis只能保证事务的每个命令连续执行，但是如果事务中的一个命令失败了，并不回滚其他命令，比如使用的命令类型不匹配。

redis> set a 5

OK

redis> lpush b 5

(integer) 1

redis> set c 5

OK

redis> multi

OK

redis> incr a

QUEUED

redis> incr b

QUEUED

redis> incr c

QUEUED

redis> exec

1. (integer) 6

2. (error) ERR Operation against a key holding the wrong kind of value

3. (integer) 6

可以看到虽然incr b失败了，但是其他两个命令还是执行了。

最 后一个十分罕见的问题是 当事务的执行过程中，如果redis意外的挂了。很遗憾只有部分命令执行了，后面的也就被丢弃了。当然如果我们使用的append-only file方式持久化，redis会用单个write操作写入整个事务内容。即是是这种方式还是有可能只部分写入了事务到磁盘。发生部分写入事务的情况 下，redis重启时会检测到这种情况，然后失败退出。可以使用redis-check-aof工具进行修复，修复会删除部分写入的事务内容。修复完后就 能够重新启动了。

五、 redis学习笔记之pipeline

redis是一个cs模式的tcp server，使用和http类似的请求响应协议。一个client可以通过一个socket连接发起多个请求命令。每个请求命令发出后client通常 会阻塞并等待redis服务处理，redis处理完后请求命令后会将结果通过响应报文返回给client。基本的通信过程如下

Client: INCR X

Server: 1

Client: INCR X

Server: 2

Client: INCR X

Server: 3

Client: INCR X

Server: 4

基 本上四个命令需要8个tcp报文才能完成。由于通信会有网络延迟,假如从client和server之间的包传输时间需要0.125秒。那么上面的四个命 令8个报文至少会需要1秒才能完成。这样即使redis每秒能处理100个命令，而我们的client也只能一秒钟发出四个命令。这显示没有充分利用 redis的处理能力。除了可以利用mget,mset 之类的单条命令处理多个key的命令外

我们还可以利用pipeline的方式从client打包多条命令一起发出，不需要等待单条命令的响应返回，而redis服务端会处理完多条命令后会将多条命令的处理结果打包到一起返回给客户端。通信过程如下

Client: INCR X

Client: INCR X

Client: INCR X

Client: INCR X

Server: 1

Server: 2

Server: 3

Server: 4

假 设不会因为tcp 报文过长而被拆分。可能两个tcp报文就能完成四条命令,client可以将四个incr命令放到一个tcp报文一起发送，server则可以将四条命令 的处理结果放到一个tcp报文返回。通过pipeline方式当有大批量的操作时候。我们可以节省很多原来浪费在网络延迟的时间。需要注意到是用 pipeline方式打包命令发送，redis必须在处理完所有命令前先缓存起所有命令的处理结果。打包的命令越多，缓存消耗内存也越多。所以并是不是打 包的命令越多越好。具体多少合适需要根据具体情况测试。下面是个jredis客户端使用pipeline的测试

package jredisStudy;

import ;

import tionSpec;

import Client;

import PipelineService;

import tConnectionSpec;

public class PipeLineTest {

public static void main(String[] args) {

long start = tTimeMillis();

usePipeline();

long end = tTimeMillis();

n(end-start);

start = tTimeMillis();

withoutPipeline();

end = tTimeMillis();

n(end-start);

}

private static void withoutPipeline()

{

try {

JRedis jredis = new JRedisClient("192.168.56.55",6379);

for(int i =0 ; i < 100000 ; i++)

{

("test2");

}

();

} catch (Exception e) {

}

}

private static void usePipeline() {

try {

ConnectionSpec spec = c("192.168.56.55", 6379, 0, null);

JRedis jredis = new JRedisPipelineService(spec);

for(int i =0 ; i < 100000 ; i++)

{

("test2");

}

();

} catch (Exception e) {

}

}

}

输出

103408 //使用了pipeline

104598 //没有使用

测试结果不是很明显，这应该是跟我的测试环境有关。我是在自己win连接虚拟机的linux。网络延迟比较小。所以pipeline

优势不明显。如果网络延迟小的话，最好还是不用pipeline。除了增加复杂外，带来的性能提升不明显。

六、 redis学习笔记之发布订阅

发布订阅(pub/sub)是一种消息通信模式，主要的目的是解耦消息发布者和消息订阅者之间的耦合，这点和设计模式中的观察者模式比较相似。pub /sub不仅仅解决发布者和订阅者直接代码级别耦合也解决两者在物理部署上的耦合。redis作为一个pub/sub server，在订阅者和发布者之间起到了消息路由的功能。订阅者可以通过subscribe和psubscribe命令向redis server订阅自己感兴趣的消息类型，redis将消息类型称为通道(channel)。当发布者通过publish命令向redis server

发送特定类型的消息时。订阅该消息类型的全部client都会收到此消息。这里消息的传递是多对多的。一个client可以订阅多个 channel,也可以向多个channel发送消息。

下面做个实验。这里使用两个不同的client一个是redis自带的redis-cli另一个是用java写的简单的client。代码如下

import .*;

import .*;

public class PubSubTest {

public static void main(String[] args) {

String cmd = args[0]+"rn";

try {

Socket socket = new Socket("192.168.56.55",6379);

InputStream in = utStream();

OutputStream out = putStream();

(es()); //发送订阅命令

byte[] buffer = new byte[1024];

while (true) {

int readCount = (buffer);

(buffer, 0, readCount);

n("--------------------------------------");

}

} catch (Exception e) {

}

}

}

代码就是简单的从命令行读取传过来的订阅命令，然后通过一个socket连接发送给redis server,然后进入while循环一直读取redis server传过来订阅的消息。并打印到控制台

1 首先编译并运行此java程序(我是win7下面运行的)

D:>javac

D:>java PubSubTest "subscribe "

*3

$9

subscribe

$10

:1

*3

$9

subscribe

$9

:2

--------------------------------------

2 启动redis-cli

redis> psubscribe news.*

(press Ctrl-c to quit)

1. "psubscribe"

2. "news.*"

3. (integer) 1

3 再启动一个redis-cli用来发布两条消息

redis> publish "share a link "

(integer) 2

redis> publish "I post a blog"

(integer) 2

4.查看两个订阅client的输出

此时java client打印如下内容

*3

$7

message

$10

$34

share a link

--------------------------------------

*3

$7

message

$9

$13

I post a blog

--------------------------------------

另一个redis-cli输出如下

1. "pmessage"

2. "news.*"

3. ""

4. "share a link "

1. "pmessage"

2. "news.*"

3. ""

4. "I post a blog"

分析下

java client使用subscribe命令订阅和两个通道，然后立即收到server返回的订阅成功消息，可以看出 redis的协议是文本类型的，这里不解释具体协议内容了，可以参考/topics/protocol或者/blog/post/2011/01/26/。这个报文内容有两部分,第一部分表示该socket连接上使用 subscribe订阅成功后，此连接订阅通道数为1，后一部分表示使用subscribe订阅成功后，该连接订 阅通道总数为2。

redis client使用psubscribe订阅了一个使用通配符的通道(*表示任意字符串)，此订阅会收到所有与news.*匹配的通道消息。redis- cli打印到控制台的订阅成功消息表示使用psubscribe命令订阅news.*成功后，连接订阅通道总数为1。

当我们在一个client使用publish 向和通道发出两个消息后。redis返回的(integer) 2表示有两个连接收到了此消息。通过观察两个订阅者的输出可以验证。具体格式不解释了，都比较简单。

看 完一个小例子后应该对pub/sub功能有了一个感性的认识。需要注意的是当一个连接通过subscribe或者psubscribe订阅通道后就进入订 阅模式。在这种模式除了再订阅额外的通道或者用unsubscribe或者punsubscribe命令退出订阅模式，就不能再发送其他命令。另外使用 psubscribe命令订阅多个通配符通道，如果一个消息匹配上了多个通道模式的话，会多次收到同一个消息。

jredis目前版本没提供pub/sub支持，不过自己实现一个应该也挺简单的。整个应用程序可以共享同一个连接。因为redis返回的消息报文中除了消息内容本身外还包括消息相关的通道信息，当收到消息后可以根据不同的通道信息去调用不同的callback来处理。

另外个人觉得redis的pub/sub还是有点太单薄（实现才用150行代码）。在安全，认证，可靠性这方便都没有太多支持。

七、 redis学习笔记之持久化

redis是一个支持持久化的内存数据库，也就是说redis需要经常将内存中的数据同步到磁盘来保证持久化。redis支持两种持久化方式，一种是 Snapshotting（快照）也是默认方式，另一种是Append-only file（缩写aof）的方式。下面分别介绍

Snapshotting

快照是默认的持久化方式。这种方式是就是将内存中数据以快照的方式写入到二进制文件中,默认的文件名为。可以通过配置设置自动做快照持久 化的方式。我们可以配置redis在n秒内如果超过m个key被修改就自动做快照，下面是默认的快照保存配置

save 900 1 #900秒内如果超过1个key被修改，则发起快照保存

save 300 10 #300秒内容如超过10个key被修改，则发起快照保存

save 60 10000

下面介绍详细的快照保存过程

调用fork,现在有了子进程和父进程。

2. 父进程继续处理client请求，子进程负责将内存内容写入到临时文件。由于os的写时复制机制（copy on write)父子进程会共享相同的物理页面，当父进程处理写请求时os会为父进程要修改的页面创建副本，而不是写共享的页面。所以子进程的地址空间内的数 据是fork时刻整个数据库的一个快照。

3.当子进程将快照写入临时文件完毕后，用临时文件替换原来的快照文件，然后子进程退出。

client 也可以使用save或者bgsave命令通知redis做一次快照持久化。save操作是在主线程中保存快照的，由于redis是用一个主线程来处理所有 client的请求，这种方式会阻塞所有client请求。所以不推荐使用。另一点需要注意的是，每次快照

持久化都是将内存数据完整写入到磁盘一次，并不 是增量的只同步脏数据。如果数据量大的话，而且写操作比较多，必然会引起大量的磁盘io操作，可能会严重影响性能。

另外由于快照方式是在一定间隔时间做一次的，所以如果redis意外down掉的话，就会丢失最后一次快照后的所有修改。如果应用要求不能丢失任何修改的话，可以采用aof持久化方式。下面介绍

Append-only file

aof 比快照方式有更好的持久化性，是由于在使用aof持久化方式时,redis会将每一个收到的写命令都通过write函数追加到文件中(默认是 )。当redis重启时会通过重新执行文件中保存的写命令来在内存中重建整个数据库的内容。当然由于os会在内核中缓存 write做的修改，所以可能不是立即写到磁盘上。这样aof方式的持久化也还是有可能会丢失部分修改。不过我们可以通过配置文件告诉redis我们想要 通过fsync函数强制os写入到磁盘的时机。有三种方式如下（默认是：每秒fsync一次）

appendonly yes //启用aof持久化方式

# appendfsync always //每次收到写命令就立即强制写入磁盘，最慢的，但是保证完全的持久化，不推荐使用

appendfsync everysec //每秒钟强制写入磁盘一次，在性能和持久化方面做了很好的折中，推荐

# appendfsync no //完全依赖os，性能最好,持久化没保证

aof 的方式也同时带来了另一个问题。持久化文件会变的越来越大。例如我们调用incr test命令100次，文件中必须保存全部的100条命令，其实有99条都是多余的。因为要恢复数据库的状态其实文件中保存一条set test 100就够了。为了压缩aof的持久化文件。redis提供了bgrewriteaof命令。收到此命令redis将使用与快照类似的方式将内存中的数据 以命令的方式保存到临时文件中，最后替换原来的文件。具体过程如下

1. redis调用fork ，现在有父子两个进程

2. 子进程根据内存中的数据库快照，往临时文件中写入重建数据库状态的命令

3.父进程继续处理client请求，除了把写命令写入到原来的aof文件中。同时把收到的写命令缓存起来。这样就能保证如果子进程重写失败的话并不会出问题。

4.当子进程把快照内容写入已命令方式写到临时文件中后，子进程发信号通知父进程。然后父进程把缓存的写命令也写入到临时文件。

5.现在父进程可以使用临时文件替换老的aof文件，并重命名，后面收到的写命令也开始往新的aof文件中追加。

需要注意到是重写aof文件的操作，并没有读取旧的aof文件，而是将整个内存中的数据库内容用命令的方式重写了一个新的aof文件,这点和快照有点类似。

八、 redis学习笔记之主从复制

redis主从复制配置和使用都非常简单。通过主从复制可以允许多个slave server拥有和master server相同的数据库副本。下面是关于redis主从复制的一些特点

可以有多个slave

2.除了多个slave连到相同的master外，slave也可以连接其他slave形成图状结构

3.主从复制不会阻塞master。也就是说当一个或多个slave与master进行初次同步数据时，master可以继续处理client发来的请求。相反slave在初次同步数据时则会阻塞不能处理client的请求。

4.主从复制可以用来提高系统的可伸缩性,我们可以用多个slave 专门用于client的读请求，比如sort操作可以使用slave来处理。也可以用来做简单的数据冗余

5.可以在master禁用数据持久化，只需要注释掉master 配置文件中的所有save配置，然后只在slave上配置数据持久化。

下面介绍下主从复制的过程

当设置好slave服务器后，slave会建立和master的连接，然后发送sync命令。无论是第一次同步建立的连接还是连接断开后的重新连 接，master都会启动一个后台进程，将数据库快照保存到文件中，同时master主进程会开始收集新的写命令并缓存起来。后台进程完成写文件 后，master就发送文件给slave，slave将文件保存到磁盘上，然后加载到内存恢复数据库快照到slave上。接着master就会把缓存的命 令转发给slave。而且后续master收到的写命令都会通过开始建立的连接发送给slave。从master到slave的同步数据的命令和从 client发送的命令使用相同的协议格式。当master和slave的连接断开时slave可以自动重新建立连接。如果master同时收到多个 slave发来的同步连接命令，只会使用启动一个进程来写数据库镜像，然后发送给所有slave。

配置slave服务器很简单，只需要在配置文件中加入如下配置

slaveof 192.168.1.1 6379 #指定master的ip和端口

九、 redis学习笔记之虚拟内存

首先说明下redis的虚拟内存与os的虚拟内存不是一码事，但是思路和目的都是相同的。就是暂时把不经常访问的数据从内存交换到磁盘中，从而腾出宝贵的 内存空间用于其他需要访问的数据。尤其是对于redis这样的内存数据库，内存总是不够用的。除了可以将数据分割到多个redis server外。另外的能够提高数据库容量的办法就是使用vm把那些不经常访问的数据交换的磁盘上。如果我们的存储的数据总是有少部分数据被经常访问，大 部分数据很少被访问，对于网站来说确实总是只有少量用户经常活跃。当少量数据被经常访问时，使用vm不但能提高单台redis server数据库的容量，而且也不会对性能造成太多影响。

redis没有使用os提供的虚拟内存机制而是自己在用户态实现了自己的虚拟内存机制,作者在自己的blog专门解释了其中原因。/post/

主要的理由有两点

的虚拟内存是已4k页面为最小单位进行交换的。而redis的大多数对象都远小于4k，所以一个os页面上可能有多个redis对象。另外redis的集 合对象类型如list,set可能存在与多个os页面上。最终可能造成只有10%key被经常访问，但是所有os页面都会被os认为是活跃的，这样只有内 存真正耗尽时os才会交换页面。

2.相比于os的交换方式。redis可以将被交换到磁盘的对象进行压缩,保存到磁盘的对象可以去除指针和对象元数据信息。一般压缩后的对象会比内存中的对象小10倍。这样redis的vm会比os vm能少做很多io操作。

下面是vm相关配置

vm-enabled yes #开启vm功能

vm-swap-file /tmp/ #交换出来的value保存的文件路径/tmp/

vm-max-memory 1000000 #redis使用的最大内存上限，超过上限后redis开始交换value到磁盘文件

中。

vm-page-size 32 #每个页面的大小32个字节

vm-pages 134217728 #最多使用在文件中使用多少页面,交换文件的大小 = vm-page-size * vm-pages

vm-max-threads 4 #用于执行value对象换入换出的工作线程数量。0表示不使用工作线程（后面介绍)

redis的vm在设计上为了保证key的查找速度，只会将value交换到swap文件中。所以如果是内存问题是由于太多value很小的key造成 的，那么vm并不能解决。和os一样redis也是按页面来交换对象的。redis规定同一个页面只能保存一个对象。但是一个对象可以保存在多个页面中。 在redis使用的内存没超过vm-max-memory之前是不会交换任何value的。当超过最大内存限制后，redis会选择较老的对象。如果两个 对象一样老会优先交换比较大的对象，精确的公式swappability = age*log(size_in_memory)。 对于vm-page-size的设置应该根据自己的应用将页面的大小设置为可以容纳大多数对象的大小。太大了会浪费磁盘空间，太小了会造成交换文件出现碎 片。对于交换文件中的每个页面，redis会在内存中对应一个1bit值来记录页面的空闲状态。所以像上面配置中页面数量(vm-pages 134217728 )会占用16M内存用来记录页面空闲状态。vm-max-threads表示用做交换任务的线程数量。如果大于0推荐设为服务器的cpu core的数量。如果是0则交换过程在主线程进行。

参数配置讨论完后，在来简单介绍下vm是如何工作的，

当vm-max-threads设为0时(Blocking VM)

换出

主线程定期检查发现内存超出最大上限后，会直接已阻塞的方式,将选中的对象保存到swap文件中，并释放对象占用的内存,此过程会一直重复直到下面条件满足

1.内存使用降到最大限制以下

文件满了

3.几乎全部的对象都被交换到磁盘了

换入

当有client请求value被换出的key时。主线程会以阻塞的方式从文件中加载对应的value对象，加载时此时会阻塞所以client。然后处理client的请求

当vm-max-threads大于0(Threaded VM)

换出

当主线程检测到使用内存超过最大上限，会将选中的要交换的对象信息放到一个队列中交由工作线程后台处理，主线程会继续处理client请求。

换入

如果有client请求的key被换出了，主线程先阻塞发出命令的client,然后将加载对象的信息放到一个队列中，让工作线程去加载。加载完毕后工作线程通知主线程。主线程再执行client的命令。这种方式只阻塞请求value被换出key的client

总 的来说blocking vm的方式总的性能会好一些，因为不需要线程同步，创建线程和恢复被阻塞的client等开销。但是也相应的牺牲了响应性。threaded vm的方式主线程不会阻塞在磁盘io上，所以响应性更好。如果我们的应用不太经常发生换入换出，而且也不太在意有点延迟的话则推荐使用blocking vm的方式。关于redis vm的更详细介绍可以参考下面链接

/post/

/topics/internals-vm