タグ
#DeBERTaの記事一覧
1件の記事があります。
LLM・基盤モデル
DeBERTaとは？単語の内容と位置を分けてAttentionを計算し、文章理解を改善する技術
DeBERTaは、単語の内容と相対位置を別々に扱うAttentionと、絶対位置を補う穴埋め予測で文章理解を学ぶモデルです。3つのスコアの仕組み、実験条件、文章分類・文書QAへの応用と計算コストを解説します。
参照論文：DeBERTa: Decoding-enhanced BERT with Disentangled Attention