タグ
#Hyena Hierarchyの記事一覧
1件の記事があります。
LLM・基盤モデル
Hyena Hierarchyとは？Attentionなしで長文を高速に扱う長畳み込み言語モデル
Hyena Hierarchyは、attentionの代わりに長い畳み込みと入力依存ゲーティングを組み合わせて長文を扱うモデル構造です。仕組み、実験結果、実装やプロダクトへの応用可能性を日本語で整理します。
参照論文：Hyena Hierarchy: Towards Larger Convolutional Language Models