深度學習基礎知識入門及案例程式碼實戰-深度學習牛刀小試
摘要：
版權宣告：本套技術專欄是作者（秦凱新）平時工作的總結和昇華，通過從真實商業環境抽取案例進行總結和分享，並給出商業應用的調優建議和叢集環境容量規劃等內容，請持續關注本套部落格。QQ郵箱地址：[email protected]，如有任何學術交流，可隨時聯絡。
1 神經網路基礎知識整理
...
版權宣告：本套技術專欄是作者（秦凱新）平時工作的總結和昇華，通過從真實商業環境抽取案例進行總結和分享，並給出商業應用的調優建議和叢集環境容量規劃等內容，請持續關注本套部落格。QQ郵箱地址：[email protected]，如有任何學術交流，可隨時聯絡。
1 神經網路基礎知識整理
-
RNN網路模型
-
概率函式
-
Softmax分類器是不知道滿足的分類器
-
Softmax分類器計算步驟先exp，再歸一化對映到概率值（0-1），最後計算損失函式Li
0.13表示貓的概率，通過Li LOG函式變的越大，0.89 離正確類別越遠。
-
SVM與Softmax對比（SVM在10，9，9的結果中計算損失值，損失值將為0，分類效果將不會太好）
- 最優化問題（前向傳播，從輸入值到損失值的過程，前向傳播已經得到初始的權重引數，然後反向傳播將主導權重引數的變化）
- 梯度下降
- 反向傳播（權重引數對最終的Loss值產生了多大影響，進行回饋調節）
- 鏈式法則（反向影響可以鏈式相乘）
- 反向傳播計演算法則
-
反向傳播函式封裝求解
-
反向傳播基本規律
2 神經網路重要特點(啟用函式才是決策者)
- 層次結構
- 非線性，只有非線性（啟用函式）才能最終得到分類結果
- Sigmoid函式的弊端（梯度消失問題，w1為0.01時，w0已經不能被反饋更新）
- ReLu首選啟用函式（x<0等於0）
3 神經網路展示結果
3.1 神經元對分類的影響
-
神經元為一個：
-
神經元為二個：
-
神經元為三個：
-
神經元20個，產生了過擬合問題
3.2 正則化的作用
3.3 資料的預處理
3.4 權重初始化（w採用高斯初始化或者隨機初始化,b採用0初始化）
3.5 DROP-OUT過程(每次前項傳播和後向傳播根據保留率隨機選擇)
4 總結
方便複習，整成筆記，內容粗略，勿怪。
版權宣告：本套技術專欄是作者（秦凱新）平時工作的總結和昇華，通過從真實商業環境抽取案例進行總結和分享，並給出商業應用的調優建議和叢集環境容量規劃等內容，請持續關注本套部落格。QQ郵箱地址：[email protected]，如有任何學術交流，可隨時聯絡。
秦凱新 於深圳