在分析這些說法之前,我們先簡要回顧一下相關(guān)概念:
A. ReLU(Rectified Linear Unit)是深度學(xué)習(xí)中常用的激活函數(shù),其輸出為輸入值的非負部分。ReLU的輸出范圍是[0, ∞),對于負值輸入,輸出為0。這種非飽和性質(zhì)減少了梯度消失的問題,但并不能完全解決它。相反,ReLU有可能引發(fā)“死亡ReLU”問題,即神經(jīng)元在訓(xùn)練過程中可能永遠輸出0。
B. ReLU函數(shù)確實將所有負值截斷為0,這可能導(dǎo)致某些特征的丟失,尤其是在神經(jīng)元權(quán)重初始化不當或?qū)W習(xí)率不合適時。然而,調(diào)高學(xué)習(xí)率并不是解決這個問題的好方法,過高的學(xué)習(xí)率可能導(dǎo)致訓(xùn)練不穩(wěn)定甚至發(fā)散。通常的解決方案包括使用帶泄漏的ReLU(Leaky ReLU)或其他變種。
C. RMSProp是一種自適應(yīng)學(xué)習(xí)率優(yōu)化算法,它通過引入累積平方梯度的概念來調(diào)整學(xué)習(xí)率,從而在訓(xùn)練過程中保持學(xué)習(xí)率的穩(wěn)定性。這確實有助于避免學(xué)習(xí)率過早趨向于0的問題。
D. 隨機梯度下降(SGD)每次更新權(quán)重時確實是基于一個樣本(或一個小批量的樣本),這使得其計算速度較快。然而,單個樣本的噪聲可能導(dǎo)致更新方向不穩(wěn)定,因此通常使用小批量(mini-batch)來平衡速度和穩(wěn)定性。
結(jié)合上述分析,正確的說法是:
C: RMSProp學(xué)習(xí)率調(diào)整策略引入累積梯度的概念,從而解決學(xué)習(xí)率過早趨向于0而結(jié)束訓(xùn)練。