【Redis原始碼分析】如何在Redis中查詢大key
作者：張仕華
redis-cli提供的方法
注意以下所有試驗基於redis 5.0.3版本
redis-cli 提供一個bigkeys引數，可以掃描redis中的大key
--bigkeysSample Redis keys looking for big keys.
執行之後輸出如下所示:
bogon:sqlite didi$ redis-cli --bigkeys # Scanning the entire keyspace to find biggest keys as well as # average sizes per key type.You can use -i 0.1 to sleep 0.1 sec # per 100 SCAN commands (not usually needed). [00.00%] Biggest zsetfound so far 'testzset' with 129 members [00.00%] Biggest hashfound so far 'h2' with 513 fields [00.00%] Biggest setfound so far 'si1' with 5 members [00.00%] Biggest hashfound so far 'h4' with 514 fields [00.00%] Biggest string found so far 'key' with 9 bytes -------- summary ------- Sampled 9 keys in the keyspace! Total key length in bytes is 27 (avg len 3.00) Biggest string found 'key' has 9 bytes Biggestset found 'si1' has 5 members Biggesthash found 'h4' has 514 fields Biggestzset found 'testzset' has 129 members 1 strings with 9 bytes (11.11% of keys, avg size 9.00) 0 lists with 0 items (00.00% of keys, avg size 0.00) 2 sets with 8 members (22.22% of keys, avg size 4.00) 4 hashs with 1541 fields (44.44% of keys, avg size 385.25) 2 zsets with 132 members (22.22% of keys, avg size 66.00) 0 streams with 0 entries (00.00% of keys, avg size 0.00)
原理比較簡單,使用scan命令去遍歷所有的鍵，對每個鍵根據其型別執行"STRLEN","LLEN","SCARD","HLEN","ZCARD"這些命令獲取其長度或者元素個數。
該方法有兩個缺點:
- 1.線上使用:雖然scan命令通過遊標遍歷建空間並且在生產上可以通過對從服務執行該命令,但畢竟是一個線上操作
- 2.set,zset,list以及hash型別只能獲取有多少個元素。但其實元素多的不一定佔用空間大
所以有沒有一種方法對線上沒有影響，並且能直接以topn的形式輸出每個鍵佔用的空間大小呢？
我們可以通過讀取rdb檔案的方式來試驗一下，首先看看rdb檔案的格式
rdb檔案格式
rdb是一種二進位制檔案格式,我們首先看看rdb檔案的整體結構
首先是一個魔數,REDIS0009(redis5.0.3版本)。然後是一些附加屬性欄位,接著是db_num(0-15),然後是db和expire的字典大小(db和過期時間在Redis中是兩個獨立的hash table),接著是一個個key-value pairs，然後是一個EOF結束標誌(0xFF),最後是8位元組的checksum
Redis中定義了一些opcode(1位元組)，去標記opcode之後儲存的是什麼型別的資料。如下圖所示
opcode 252標記一個過期時間,248和249分別表示lru或者lfu,接著是value_type,標記值的型別,接著就是一個個key和vlaue.我們看下value_type和redis中資料型別的對應關係
| 資料型別 | 編碼結構 | 值型別 |
|---|---|---|
| OBJ_STRING(0) | OBJ_ENCODING_RAW(0) | RDB_TYPE_STRING(0) |
| OBJ_LIST(1) | OBJ_ENCODING_QUICKLIST(9) | RDB_TYPE_LIST_QUICKLIST(14) |
| OBJ_SET(2) | OBJ_ENCODING_INTSET(6) | RDB_TYPE_SET_INTSET(11) |
| OBJ_ENCODING_HT(2) | RDB_TYPE_SET(2) | |
| OBJ_ZSET(3) | OBJ_ENCODING_ZIPLIST(5) | RDB_TYPE_ZSET_ZIPLIST(12) |
| OBJ_ENCODING_SKIPLIST(7) | RDB_TYPE_ZSET_2(5) | |
| OBJ_HASH(4) | OBJ_ENCODING_ZIPLIST(5) | RDB_TYPE_HASH_ZIPLIST(13) |
| OBJ_ENCODING_HT(2) | RDB_TYPE_HASH(4) |
value_type就是值型別這一列，括號中的數字就是儲存到rdb檔案中時的實際使用數字
知道了rdb的儲存格式，我們可以寫程式碼解析rdb檔案,通過value_type去獲取每個value的大小
godis-cli-bigkey使用方法
程式碼地址如下:
https://github.com/erpeng/god...
下載之後在將rdb檔案拷貝到專案根目錄,按如下方式執行
bogon:godis-cli-bigkey didi$ go run godis-cli-bigkey.go -h -debug open debug mode//debug模式，輸出詳細key/value資訊 -topn int output topn keys (default 100)//預設輸出top100的大key -totallen get total len (key and meta) or only value len (default true)//如果該選項設定為false,只輸出rdb檔案中value實際佔用的大小 //預設為true,輸出key、value和所有該key,value儲存時使用的元資料總和 exit status 2
我們具體執行一下，輸出如下:
bogon:godis-cli-bigkey didi$ go run godis-cli-bigkey.go Rdb Version:0009 key:k1,valueSize:9,valueType:0,expireTime:1549533396795,lfu:0,lru:0 key:key,valueSize:9,valueType:0,expireTime:0,lfu:0,lru:0 key:ss1,valueSize:14,valueType:2,expireTime:0,lfu:0,lru:0 key:si1,valueSize:23,valueType:11,expireTime:0,lfu:0,lru:0 key:l1,valueSize:28,valueType:14,expireTime:1549537004535,lfu:0,lru:0 key:h1,valueSize:33,valueType:13,expireTime:0,lfu:0,lru:0 key:z1,valueSize:67,valueType:12,expireTime:0,lfu:0,lru:0 key:testzset,valueSize:1303,valueType:5,expireTime:0,lfu:0,lru:0 key:h3,valueSize:8845,valueType:13,expireTime:0,lfu:0,lru:0 key:h2,valueSize:11680,valueType:4,expireTime:0,lfu:0,lru:0 key:h4,valueSize:11703,valueType:4,expireTime:0,lfu:0,lru:0