タグ
#RoPEの記事一覧
3件の記事があります。
LLM・基盤モデル
Dual Chunk Attentionとは？追加学習なしでLLMの長文処理を伸ばす長コンテキスト技術
Dual Chunk Attention（DCA）は、追加学習なしでLLMのコンテキスト長を大きく伸ばすための長文処理技術です。RoPEの限界をどう回避するのか、3種類のチャンク注意の仕組み、実験結果、RAGや長文QAへの使い道まで日本語で整理します。
参照論文：Training-Free Long-Context Scaling of Large Language Models
LLM・基盤モデル
YaRNとは？RoPEでLLMのコンテキスト長を低コストに拡張する技術
YaRNは、RoPEベースの大規模言語モデルのコンテキスト長を少ない追加学習で大きく伸ばす手法です。なぜ長文で崩れるのか、Position Interpolationとの違い、実装上の工夫、実務での使い道まで技術的に解説します。
参照論文：YaRN: Efficient Context Window Extension of Large Language Models
LLM・基盤モデル
LongRoPEとは？LLMのコンテキスト長を200万トークン超まで伸ばす仕組みと使い道を解説
LongRoPEは、RoPEの位置補間を次元ごと・位置ごとに最適化し、段階的な拡張と短文脈性能の回復を組み合わせて、既存LLMのコンテキスト長を2048kまで伸ばす技術です。長文RAGやAIエージェントにどう効くのかを日本語で解説します。
参照論文：LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens