タグ
#長文コンテキストの記事一覧
4件の記事があります。
LLM・基盤モデル
Titansとは？推論時に長期記憶を学習し、長文コンテキストの限界を超えるAIアーキテクチャ
Titansは、注意機構を短期記憶、推論時に更新されるニューラルメモリを長期記憶として組み合わせる新しい系列モデルです。なぜ長文に強いのか、どんな構造で動くのか、RAGやエージェントにどう応用できるのかを技術的に解説します。
参照論文：Titans: Learning to Memorize at Test Time
AIエージェント
MemGPTとは？LLMに仮想メモリを持たせて長文と長期対話を扱う技術
MemGPTは、LLMの限られたコンテキストをOSの仮想メモリのように扱い、必要な情報だけを出し入れしながら長文読解や長期対話を続ける技術です。固定長コンテキストの限界をどう越えるのか、仕組みと使い道を日本語で解説します。
参照論文：MemGPT: Towards LLMs as Operating Systems
推論最適化
Activation Beaconとは？長文コンテキストを圧縮してLLMの文脈長と推論効率を伸ばす技術
Activation Beaconは、長い入力を beacon token のKV表現に圧縮し、LLMの短いコンテキスト窓でもより長い文脈を扱えるようにする手法です。仕組み、実験結果、RAGや長文エージェントへの使い道を日本語で解説します。
参照論文：Long Context Compression with Activation Beacon
LLM・基盤モデル
LongRoPEとは？LLMのコンテキスト長を200万トークン超まで伸ばす仕組みと使い道を解説
LongRoPEは、RoPEの位置補間を次元ごと・位置ごとに最適化し、段階的な拡張と短文脈性能の回復を組み合わせて、既存LLMのコンテキスト長を2048kまで伸ばす技術です。長文RAGやAIエージェントにどう効くのかを日本語で解説します。
参照論文：LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens