深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)算法Transformer圖解
當(dāng)前位置：點(diǎn)晴教程→知識管理交流
→『 技術(shù)文檔交流 』
前言 transformer是目前NLP甚至是整個深度學(xué)習(xí)領(lǐng)域不能不提到的框架，同時大部分LLM也是使用其進(jìn)行訓(xùn)練生成模型，所以transformer幾乎是目前每一個機(jī)器人開發(fā)者或者人工智能開發(fā)者不能越過的一個框架。接下來本文將從頂層往下去一步步掀開transformer的面紗。 transformer概述 Transformer模型來自論文Attention Is All You Need。（https://arxiv.org/abs/1706.03762） 在論文中最初是為了提高機(jī)器翻譯的效率，它使用了Self-Attention機(jī)制和Position Encoding去替代RNN。后來大家發(fā)現(xiàn)Self-Attention的效果很好，并且在其它的地方也可以使用Transformer模型。并引出后面的BERT和GPT系列。 大家一般看到的transformer框架如下圖所示：
transformer模型概覽 首先把模型看成一個黑盒，如下圖所示，對于機(jī)器翻譯來說，它的輸入是源語言(法語)的句子，輸出是目標(biāo)語言(英語)的句子。
把黑盒子稍微打開一點(diǎn)，Transformer(或者任何的NMT系統(tǒng))可以分成Encoder和Decoder兩個部分，如下圖所示。
再展開一點(diǎn)，Encoder由很多結(jié)構(gòu)一樣的Encoder堆疊而成，Decoder也是一樣。如下圖所示。 每一個Encoder的輸入是下一層Encoder輸出，最底層Encoder的輸入是原始的輸入(法語句子)；Decoder也是類似，但是最后一層Encoder的輸出會輸入給每一個Decoder層，這是Attention機(jī)制的要求。
每一層的Encoder都是相同的結(jié)構(gòu)，它由一個Self-Attention層和一個前饋網(wǎng)絡(luò)(全連接網(wǎng)絡(luò))組成，如下圖所示。
每一層的Decoder也是相同的結(jié)構(gòu)，它除了Self-Attention層和全連接層之外還多了一個Attention層，這個Attention層使得Decoder在解碼時會考慮最后一層Encoder所有時刻的輸出。它的結(jié)構(gòu)如下圖所示。
transformer流程串聯(lián) transformer的串流需要tensor的加入，輸入的句子需要通過Embedding把它變成一個連續(xù)稠密的向量，如下圖所示。
Embedding之后的序列會輸入Encoder，首先經(jīng)過Self-Attention層然后再經(jīng)過全連接層。
我們在計算????時需要依賴所有時刻的輸入??1,…,????，這是可以用矩陣運(yùn)算一下子把所有的????計算出來的。而全連接網(wǎng)絡(luò)的計算則完全是獨(dú)立的，計算i時刻的輸出只需要輸入????就足夠了，因此很容易并行計算。下圖更加明確地表達(dá)了這一點(diǎn)。圖中Self-Attention層是一個大的方框，表示它的輸入是所有的??1,…,????，輸出是??1,…,????。而全連接層每個時刻是一個方框(但不同時刻的參數(shù)是共享的)，表示計算????只需要????。此外，前一層的輸出??1,…,????直接輸入到下一層。
Self-Attention介紹 比如我們要翻譯如下句子”The animal didn’t cross the street because it was too tired”(這個動物無法穿越馬路，因為它太累了)。這里的it到底指代什么呢，是animal還是street？要知道具體的指代，我們需要在理解it的時候同時關(guān)注所有的單詞，重點(diǎn)是animal、street和tired，然后根據(jù)知識(常識)我們知道只有animal才能tired，而street是不能tired的。Self-Attention用Encoder在編碼一個詞的時候會考慮句子中所有其它的詞，從而確定怎么編碼當(dāng)前詞。如果把tired換成narrow，那么it就指代的是street了。 下圖是模型的最上一層Encoder的Attention可視化圖。這是tensor2tensor這個工具輸出的內(nèi)容。我們可以看到，在編碼it的時候有一個Attention Head(后面會講到)注意到了Animal，因此編碼后的it有Animal的語義。
下面我們詳細(xì)的介紹Self-Attention是怎么計算的，首先介紹向量的形式逐個時刻計算，這便于理解，接下來我們把它寫出矩陣的形式一次計算所有時刻的結(jié)果。 對于輸入的每一個向量(第一層是詞的Embedding，其它層是前一層的輸出)，我們首先需要生成3個新的向量Q、K和V，分別代表查詢(Query)向量、Key向量和Value向量。Q表示為了編碼當(dāng)前詞，需要去注意(attend to)其它(其實(shí)也包括它自己)的詞，我們需要有一個查詢向量。而Key向量可以認(rèn)為是這個詞的關(guān)鍵的用于被檢索的信息，而Value向量是真正的內(nèi)容。 具體的計算過程如下圖所示。比如圖中的輸入是兩個詞”thinking”和”machines”，我們對它們進(jìn)行Embedding(這是第一層，如果是后面的層，直接輸入就是向量了)，得到向量??1,??2。接著我們用3個矩陣分別對它們進(jìn)行變換，得到向量??1,??1,??1和??2,??2,??2。比如??1=??1????，圖中??1的shape是1x4，????是4x3，得到的??1是1x3。其它的計算也是類似的，為了能夠使得Key和Query可以內(nèi)積，我們要求????和????的shape是一樣的，但是并不要求????和它們一定一樣(雖然實(shí)際論文實(shí)現(xiàn)是一樣的)。
每個時刻t都計算出????,????,????之后，我們就可以來計算Self-Attention了。以第一個時刻為例，我們首先計算??1和??1,??2的內(nèi)積，得到score，過程如下圖所示。
接下來使用softmax把得分變成概率，注意這里把得分除以8(????)之后再計算的softmax，根據(jù)論文的說法，這樣計算梯度時會更加穩(wěn)定(stable)。計算過程如下圖所示。
接下來用softmax得到的概率對所有時刻的V求加權(quán)平均，這樣就可以認(rèn)為得到的向量根據(jù)Self-Attention的概率綜合考慮了所有時刻的輸入信息，計算過程如下圖所示。
這里只是演示了計算第一個時刻的過程，計算其它時刻的過程是完全一樣的。 softmax示例代碼：
特別注意，以上過程是可以并行計算的。 Multi-Head Attention 論文還提出了Multi-Head Attention的概念。其實(shí)很簡單，前面定義的一組Q、K和V可以讓一個詞attend to相關(guān)的詞，我們可以定義多組Q、K和V，它們分別可以關(guān)注不同的上下文。計算Q、K和V的過程還是一樣，不過現(xiàn)在變換矩陣從一組(????,????,????)變成了多組(????0,????0,????0) ，(????1,????1,????1)。如下圖所示。
對于輸入矩陣(time_step, num_input)，每一組Q、K和V都可以得到一個輸出矩陣Z(time_step, num_features)。如下圖所示。
但是后面的全連接網(wǎng)絡(luò)需要的輸入是一個矩陣而不是多個矩陣，因此我們可以把多個head輸出的Z按照第二個維度拼接起來，但是這樣的特征有一些多，因此Transformer又用了一個線性變換(矩陣????)對它進(jìn)行了壓縮。這個過程如下圖所示。
上面的步驟涉及很多步驟和矩陣運(yùn)算，我們用一張大圖把整個過程表示出來，如下圖所示。
我們已經(jīng)學(xué)習(xí)了Transformer的Self-Attention機(jī)制，下面我們通過一個具體的例子來看看不同的Attention Head到底學(xué)習(xí)到了什么樣的語義。
從上面兩圖的對比也能看出使用多個Head的好處——每個Head(在數(shù)據(jù)的驅(qū)動下)學(xué)習(xí)到不同的語義。 位置編碼(Positional Encoding) 我們的目的是用Self-Attention替代RNN，RNN能夠記住過去的信息，這可以通過Self-Attention“實(shí)時”的注意相關(guān)的任何詞來實(shí)現(xiàn)等價(甚至更好)的效果。RNN還有一個特定就是能考慮詞的順序(位置)關(guān)系，一個句子即使詞完全是相同的但是語義可能完全不同，比如”北京到上海的機(jī)票”與”上海到北京的機(jī)票”，它們的語義就有很大的差別。我們上面的介紹的Self-Attention是不考慮詞的順序的，如果模型參數(shù)固定了，上面兩個句子的北京都會被編碼成相同的向量。但是實(shí)際上我們可以期望這兩個北京編碼的結(jié)果不同，前者可能需要編碼出發(fā)城市的語義，而后者需要包含目的城市的語義。而RNN是可以(至少是可能)學(xué)到這一點(diǎn)的。當(dāng)然RNN為了實(shí)現(xiàn)這一點(diǎn)的代價就是順序處理，很難并行。 為了解決這個問題，我們需要引入位置編碼，也就是t時刻的輸入，除了Embedding之外(這是與位置無關(guān)的)，我們還引入一個向量，這個向量是與t有關(guān)的，我們把Embedding和位置編碼向量加起來作為模型的輸入。這樣的話如果兩個詞在不同的位置出現(xiàn)了，雖然它們的Embedding是相同的，但是由于位置編碼不同，最終得到的向量也是不同的。 位置編碼有很多方法，其中需要考慮的一個重要因素就是需要它編碼的是相對位置的關(guān)系。比如兩個句子：”北京到上海的機(jī)票”和”你好，我們要一張北京到上海的機(jī)票”。顯然加入位置編碼之后，兩個北京的向量是不同的了，兩個上海的向量也是不同的了，但是我們期望Query(北京1)Key(上海1)卻是等于Query(北京2)Key(上海2)的。具體的編碼算法我們在代碼部分再介紹。位置編碼加入后的模型如下圖所示。
一個具體的位置編碼的例子如下圖所示。
殘差和歸一化 每個Self-Attention層都會加一個殘差連接，然后是一個LayerNorm層，如下圖所示。
下圖展示了更多細(xì)節(jié)：輸入??1,??2經(jīng)self-attention層之后變成??1,??2，然后和殘差連接的輸入??1,??2加起來，然后經(jīng)過LayerNorm層輸出給全連接層。全連接層也是有一個殘差連接和一個LayerNorm層，最后再輸出給上一層。
Decoder和Encoder是類似的，如下圖所示，區(qū)別在于它多了一個Encoder-Decoder Attention層，這個層的輸入除了來自Self-Attention之外還有Encoder最后一層的所有時刻的輸出。Encoder-Decoder Attention層的Query來自前面一層，而Key和Value則來自Encoder的輸出。 此外在解碼器的編碼器-解碼器注意力層中，掩碼的使用非常關(guān)鍵，以確保解碼器在生成每個目標(biāo)詞時只能使用到源語言句子的信息和它之前已經(jīng)生成的目標(biāo)詞的信息
pytorch實(shí)現(xiàn)transformer
推理過程 在Transformer模型的機(jī)器翻譯任務(wù)中，解碼器生成第一個翻譯后的詞（通常稱為第一個目標(biāo)詞）的過程如下： 1、起始符號：在解碼器的輸入序列的開始位置，通常會添加一個特殊的起始符號，如<sos>（Start Of Sentence）。這個符號告訴模型翻譯過程的開始。 2、初始化隱藏狀態(tài)：解碼器的隱藏狀態(tài)通常初始化為零向量或從編碼器的最后一層的輸出中獲得。這個隱藏狀態(tài)在生成序列的每一步中都會更新。 3、第一次迭代：在第一次迭代中，解碼器的輸入只包含起始符號<sos>。解碼器通過以下步驟生成第一個詞： ?將起始符號 通過嵌入層轉(zhuǎn)換為嵌入向量。 ?將這個嵌入向量與編碼器的輸出一起輸入到解碼器的第一個注意力層。 ?在自注意力層中，使用因果掩碼（Look-ahead Mask）確保解碼器只能關(guān)注到當(dāng)前位置和之前的詞（在這個例子中只有 ）。 ?在編碼器-解碼器注意力層中，解碼器可以查看整個編碼器的輸出，因為這是第一次迭代，解碼器需要獲取關(guān)于整個源語言句子的信息。 ?經(jīng)過解碼器的前饋網(wǎng)絡(luò)后，輸出層會生成一個概率分布，表示下一個可能的詞。 ?選擇概率最高的詞作為第一個翻譯后的詞，或者使用貪婪策略、束搜索（Beam Search）等解碼策略來選擇詞。 4、后續(xù)迭代：一旦生成了第一個詞，它就會被添加到解碼器的輸入序列中，與<sos>一起作為下一步的輸入。在后續(xù)的迭代中，解碼器會繼續(xù)生成下一個詞，直到遇到結(jié)束符號<eos>或達(dá)到最大序列長度。 在訓(xùn)練階段，目標(biāo)序列的真實(shí)詞（包括<sos>和<eos>）會用于計算損失函數(shù)，并通過反向傳播更新模型的權(quán)重。在推理階段，解碼器使用上述過程逐步生成翻譯，直到生成完整的句子。 閱讀原文? 該文章在 2025/6/18 9:13:56 編輯過 |
關(guān)鍵字查詢
相關(guān)文章
正在查詢... 
|
400 186 1886
