タグ
#RetNetの記事一覧
1件の記事があります。
推論最適化
RetNetとは？KVキャッシュなしで長文LLM推論を軽くするRetention
RetNetは、TransformerのAttentionをRetentionに置き換え、学習時の並列性と生成時の一定コストを両立するLLMアーキテクチャです。仕組み、実験、長文AIアプリへの使い道を解説します。
参照論文：Retentive Network: A Successor to Transformer for Large Language Models