機器翻譯在encoder端以時序輸入了一句話（暫且假設這句話是word-level，及逐詞輸入），context vector相當於一個表征，表示為各個詞語的加權語境向量。
也就是說，這個vector使得，這句話中的某個詞，與其他詞語之間存在上下文關系。
一般來說，這裏用attention模型賦予權重，在decoding的過程中，由於時序關系，encoder端和decoder端們的hidden units的對齊模型是在不斷變化的，weight（用softmax計算）也是在不斷變化的。
文章標籤
全站熱搜
留言列表
碼農 (8)
{{ article.title }}