百億資料量下，掌握這些Redis技巧你大概就穩住了全場
今天將會跟大家討論一些Redis在大資料中的使用，包括一些Redis的使用技巧和其他的一些內容。
首先給大家個地址：
ofollow,noindex" target="_blank"> https://github.com/NewLifeX/NewLife.Redis
原始碼以及例項都在裡面，當然今天的內容也是按照裡面的例項來進行的，大家可以先進行下載。
這裡也附上Redis的下載地址：
windows：
https://github.com/MicrosoftArchive/redis/releases
http://x.newlifex.com/Redis-x64-3.2.100.msi
一、Redis封裝架構講解
實際上NewLife.Redis是一個完整的Redis協議功能的實現，但是Redis的核心功能並沒有在這裡面，而是在NewLife.Core裡面。
這裡可以開啟看一下，NewLife.Core裡面有一個NewLife.Caching的名稱空間，裡面有一個Redis類，裡面實現了Redis的基本功能；另一個類是RedisClient是Redis的客戶端。
Redis的核心功能就是有這兩個類實現，RedisClient代表著Redis客戶端對伺服器的一個連線。Redis真正使用的時候有一個Redis連線池，裡面存放著很多個RedisClient物件。
所以我們Redis的封裝有兩層，一層是NewLife.Core裡面的Redis以及RedisClient；另一層就是NewLife.Redis。這裡面的FullRedis是對Redis的實現了Redis的所有的高階功能。
這裡你也可以認為NewLife.Redis是Redis的一個擴充套件。
二、Test例項講解Redis的基本使用
1、例項
開啟Program.cs看下程式碼：
這裡 XTrace.UseConsole(); 是向控制檯輸出日誌，方便除錯使用檢視結果。
接下來看第一個例子Test1，具體的我都在程式碼中進行了註釋，大家可以看下：
-
Set的時候，如果是字串或者字元資料的話，Redis會直接儲存起來（字串內部機制也是儲存二進位制），如果是其他型別，會預設進行json序列化然後再儲存起來。
-
Get的時候，如果是字串或者字元資料會直接獲取，如果是其他型別會進行json反序列化。
-
Set第三個引數過期時間單位是秒。
-
vs除錯小技巧，按F5或者直接工具欄“啟動”會編譯整個解決方案會很慢（VS預設），可以選中專案然後右鍵選單選擇除錯->啟動新例項，會只編譯將會用到的專案，這樣對除錯來說會快很多。
-
大家執行除錯後可以看到控制檯輸出的內容：向右的箭頭=》是ic.Log=XTrace.Log輸出的日誌。
-
字典的使用：物件的話，需要把json全部取出來，然後轉換成物件，而字典的話，就可以直接取某個欄位。
-
佇列是List結構實現的，上游資料太多，下游處理不過來的時候，就可以使用這個佇列。上游的資料發到佇列，然後下游慢慢的消費。另一個應用，跨語言的協同工作，比方說其他語言實現的程式往佇列裡面塞資料，然後另一種語言來進行消費處理。這種方式類似MQ的概念，雖然有點low，但是也很好用。
-
集合，用的比較多的是用在一個需要精確判斷的去重功能。像我們每天有三千萬訂單，這三千萬訂單可以有重複。這時候我想統計下一共有訂單，這時候直接資料庫group by是不大可能的，因為資料庫中分了十幾張表，這裡分享個實戰經驗：
比方說攬收，商家發貨了，網點要把件收回來，但是收回來之前網點不知道自己有多少貨，這時候我們做了一個功能，也就是訂單會發送到我們公司來。我們會建一個time_site的key的集合，而且集合本身有去重的功能，而且我們可以很方便的通過set.Count功能來統計數量，當件被攬收以後，我們後臺把這個件從集合中Remove掉。然後這個Set中存在的就是網點還沒有攬收的件，這時候通過Count就會知道這個網點今天還有多少件沒有攬收。實際使用中這個數量比較大，因為有幾萬個網點。
-
Redis中布隆過濾器，去重的，面試的時候問的比較多。
小經驗分享：
-
資料庫中不合法的時間處理：判斷時間中的年份是否大於2000年，如果小於2000就認為不合法；習慣大於小於號不習慣用等於號，這樣可以處理很多意外的資料；
-
Set的時候最好指定過期時間，防止有些需要刪除的資料我們忘記刪了；
-
Redis非同步儘量不用，因為Redis延遲本身很小，大概在100us-200us，再一個就是Redis本身是單執行緒的，非同步任務切換的耗時比網路耗時還要大；
-
List用法：物聯網中資料上傳，量比較大時，我們可以把這些資料先放在Redis的List中，比如說一秒鐘1萬條，然後再批量取出來然後批量插入資料庫中。這時候要設定好key，可以字首+時間，對已處理的List可以進行remove移除。
2、壓力測試
接下來看第四個例子，我們直接做壓力測試，程式碼如下：
執行的結果如下圖所示：
測試就是進行get,set remove,累加等的操作。大家可以看到在我本機上輕輕鬆鬆的到了六十萬，多執行緒的時候甚至到了一百多萬。
為什麼會達到這麼高的Ops呢？下面給大家說一下：
-
Bench會分根據執行緒數分多組進行添刪改壓力測試；
-
rand引數，是否隨機產生key/value；
-
batch批大小，分批執行讀寫操作，藉助GetAll/SetAll進行優化。
3、Redis中NB的函式來提升效能
上面的操作如果大家都掌握了就基本算Redis入門了，接下來進行進階。如果能全然吃透，差不多就會比別人更勝一籌了。
GetAll()與SetAll()
GetAll：比方說我要取十個key，這個時候可以用getall。這時候Redis就執行了一次命令。比方說我要取10個key那麼用get的話要取10次，如果用getall的話要用1次。1次getall時間大概是get的一點幾倍，但是10次get的話就是10倍的時間，這個賬你應該會算吧？強烈推薦大家用getall。
setall跟getall相似，批量設定K-V。
setall與getall效能很恐怖，官方公佈的Ops也就10萬左右，為什麼我們的測試輕輕鬆鬆到五十萬甚至上百萬？因為我們就用了setall,getall。如果get,set兩次以上，建議用getall,setall。
Redis管道Pipeline
比如執行10次命令會打包成一個包集體發過去執行，這裡實現的方式是StartPipeline()開始，StopPipeline()結束中間的程式碼就會以管道的形式執行。
這裡推薦使用更強的武器，AutoPipeline自動管道屬性。管道操作到一定數量時，自動提交，預設0。使用了AutoPipeline，就不需要StartPipeline，StopPipeline指定管道的開始結束了。
Add與Replace
-
Add：Redis中沒有這個Key就新增，有了就不要新增，返回false；
-
Replace：有則替換，還會返回原來的值，沒有則不進行操作。
Add跟Replace就是實現Redis分散式鎖的關鍵。
三、Redis使用技巧，經驗分享
在專案的Readme中，這裡摘錄下：
1、特性
-
在ZTO大資料實時計算廣泛應用，200多個Redis例項穩定工作一年多，每天處理近1億包裹資料，日均呼叫量80億次；
-
低延遲，Get/Set操作平均耗時200~600us（含往返網路通訊）；
-
大吞吐，自帶連線池，最大支援1000併發；
-
高效能，支援二進位制序列化（預設用的json，json很低效，轉成二進位制效能會提升很多）。
2、Redis經驗分享
-
在Linux上多例項部署，例項個數等於處理器個數，各例項最大記憶體直接為本機實體記憶體，避免單個例項記憶體撐爆（比方說8核心處理器，那麼就部署8個例項）。
-
把海量資料（10億+）根據key雜湊（Crc16/Crc32）存放在多個例項上，讀寫效能成倍增長。
-
採用二進位制序列化，而非常見的Json序列化。
-
合理設計每一對Key的Value大小，包括但不限於使用批量獲取，原則是讓每次網路包控制在1.4k位元組附近，減少通訊次數（實際經驗幾十k，幾百k也是沒問題的）。
-
Redis客戶端的Get/Set操作平均耗時200~600us（含往返網路通訊），以此為參考評估網路環境和Redis客戶端元件（達不到就看一下網路，序列化方式等等）。
-
使用管道Pipeline合併一批命令。
-
Redis的主要效能瓶頸是序列化、網路頻寬和記憶體大小，濫用時處理器也會達到瓶頸。
-
其它可查優化技巧。
以上經驗，源自於300多個例項4T以上空間一年多穩定工作的經驗，並按照重要程度排了先後順序，可根據場景需要酌情采用。
3、快取Redis的兄弟姐妹
Redis實現ICache介面，它的孿生兄弟MemoryCache，記憶體快取，千萬級吞吐率。
各應用強烈建議使用ICache介面編碼設計，小資料時使用MemoryCache實現；資料增大（10萬）以後，改用Redis實現，不需要修改業務程式碼。
四、關於一些疑問的回覆
這一Part我們會來聊聊大資料中Redis使用的經驗：
Q1：一條資料多個key怎麼設定比較合理？
A1： 如果對效能要求不是很高直接用json序列化實體就好，沒必要使用字典進行儲存。
Q2：佇列跟List有什麼區別？左進右出的話用List還是用佇列比較好？
A2： 佇列其實就是用List實現的，也是基於List封裝的。左進右出的話直接佇列就好。Redis的List結構比較有意思，既可以左進右出，也能右進左出。所以它既可以實現列表結構，也能佇列，還能實現棧。
Q3：存放多個欄位的類效能一樣嗎？
A3： 大部分場景都不會有偏差，可能對於大公司資料量比較大的場景會有些偏差。
Q4：大資料寫入到資料庫之後，比如資料到億以上的時候，統計分析、查詢這塊，能不能分享些經驗。
A4： 分表分庫，拆分到一千萬以內。
Q5：CPU為何暴漲？
A5： 程式設計師終極理念——CPU達到百分百，然後效能達到最優，儘量不要浪費。最痛恨的是——如果CPU不到百分百，效能沒法提升了，說明程式碼有問題。
√
視訊地址
視訊已經上傳至百度雲，大家可以自行下載觀看。
連結：
https://pan.baidu.com/s/1sOW_PLjxQE8C2msbDfizeA
提取碼： c7dp
觀看指南（笑笑提供）
雖然Redis大家會用，但是我們可能平時不會有像這樣的大資料使用場景。希望本文能夠給大家一些值得借鑑的經驗。