當前位置:網站首頁>datawhale李宏毅機器學習——task04“深度學習簡介和反向傳播”

datawhale李宏毅機器學習——task04“深度學習簡介和反向傳播”

2022-01-26 22:06:25 山潑黛

深度學習有三個步驟:
①選擇神經網絡
②模型評估
③選擇最優函數
神經網絡是由神經元按照一定結構連接而成的。經典的連接方式是全連接前饋神經網絡:全連接指上一神經層與下一神經層之間兩兩相連。前饋指的是信息由輸入層傳遞到輸出層,流動方向是由後往前傳。
深度學習中的深度指的是隱藏層有很多層,比如經典的Alexnet有8層,vgg有19層。層數越多,雖然會降低模型的錯誤率,但運算量也會隨之增大。深度學習的本質可以看做通過中間的隱藏層來對輸入數據進行特征提取,輸出層將隱藏層的輸出當做輸入,然後通過一個多分類器得到最後的輸出。
模型評估:一般用損失函數來反應模型的好壞,對於神經網絡來說,采用交叉熵函數對輸出預期值和實際值進行計算,然後調整參數,讓交叉熵越小越好。對於損失,不僅僅是計算一個樣本的損失,而是要計算所有訓練樣本的總體損失L,然後優化神經網絡參數來最小化總體損失L。
那如何找到最好的一組參數呢?通過反向傳播。
反向傳播如何做到的呢?
隨機初始化一個參數,計算這個參數的偏微分,將偏微分乘以學習率得到一個δ值,將參數原始值减去δ值得到新的參數。重複上述過程直到δ幾乎不變。

版權聲明
本文為[山潑黛]所創,轉載請帶上原文鏈接,感謝
https://cht.chowdera.com/2022/01/202201262206248006.html

隨機推薦