タグ
#YaRNの記事一覧
1件の記事があります。
LLM・基盤モデル
YaRNとは？RoPEでLLMのコンテキスト長を低コストに拡張する技術
YaRNは、RoPEベースの大規模言語モデルのコンテキスト長を少ない追加学習で大きく伸ばす手法です。なぜ長文で崩れるのか、Position Interpolationとの違い、実装上の工夫、実務での使い道まで技術的に解説します。
参照論文：YaRN: Efficient Context Window Extension of Large Language Models