CNN取代RNN來(lái)做Attention的關(guān)鍵進(jìn)展出現(xiàn)在2017年。這一突破主要由Vaswani等人在他們的論文《Attention is All You Need》中提出,該論文介紹了Transformer模型。Transformer模型使用自注意力機(jī)制(self-attention)和完全基于注意力的架構(gòu),而不再依賴(lài)于RNNs(循環(huán)神經(jīng)網(wǎng)絡(luò))。
在此之前,RNNs,特別是LSTM(長(zhǎng)短時(shí)記憶網(wǎng)絡(luò))和GRU(門(mén)控循環(huán)單元),在處理序列數(shù)據(jù)(如自然語(yǔ)言處理任務(wù))方面是主流。然而,RNNs固有的順序計(jì)算特性限制了并行化能力,導(dǎo)致訓(xùn)練速度較慢。
Transformer模型通過(guò)引入多頭自注意力機(jī)制和前饋神經(jīng)網(wǎng)絡(luò)的組合,能夠并行處理序列中的所有位置。這種方法不僅提高了訓(xùn)練效率,還在多個(gè)任務(wù)上實(shí)現(xiàn)了更好的性能。
因此,正確答案是D: 2017。