午夜精品久久久久久久99老熟妇,天堂中文www官网,未满十八18勿进黄网站,太粗太深了太紧太爽了,天天爽夜夜爽夜夜爽

考試報(bào)名
考試報(bào)名
考試內(nèi)容
考試大綱
在線(xiàn)客服
返回頂部

備考刷題,請(qǐng)到

CDA認(rèn)證小程序

CNN 取代RNN來(lái)做Attention出現(xiàn)在哪一年( )
A. 2014
B. 2015
C. 2016
D. 2017
上一題
下一題
收藏
點(diǎn)贊
評(píng)論
題目解析
題目評(píng)論(0)

CNN取代RNN來(lái)做Attention的關(guān)鍵進(jìn)展出現(xiàn)在2017年。這一突破主要由Vaswani等人在他們的論文《Attention is All You Need》中提出,該論文介紹了Transformer模型。Transformer模型使用自注意力機(jī)制(self-attention)和完全基于注意力的架構(gòu),而不再依賴(lài)于RNNs(循環(huán)神經(jīng)網(wǎng)絡(luò))。

在此之前,RNNs,特別是LSTM(長(zhǎng)短時(shí)記憶網(wǎng)絡(luò))和GRU(門(mén)控循環(huán)單元),在處理序列數(shù)據(jù)(如自然語(yǔ)言處理任務(wù))方面是主流。然而,RNNs固有的順序計(jì)算特性限制了并行化能力,導(dǎo)致訓(xùn)練速度較慢。

Transformer模型通過(guò)引入多頭自注意力機(jī)制和前饋神經(jīng)網(wǎng)絡(luò)的組合,能夠并行處理序列中的所有位置。這種方法不僅提高了訓(xùn)練效率,還在多個(gè)任務(wù)上實(shí)現(xiàn)了更好的性能。

因此,正確答案是D: 2017。