カテゴリ

RAG・検索の記事一覧

26件の記事があります。

RAG・検索

RRFとは?検索結果を順位だけで統合し、RAGのハイブリッド検索に活かす技術

RRF(Reciprocal Rank Fusion)は、異なる検索器の結果を順位の逆数で統合する手法です。スコアの尺度をそろえずに併用できる仕組み、原論文の評価結果、RAGへの実装方法と候補数・重複の注意点を解説します。

参照論文:Reciprocal rank fusion outperforms condorcet and individual rank learning methods

RAG・検索

Sentence-BERTとは?文章を個別にベクトル化し、意味検索の比較コストを減らす技術

Sentence-BERT(SBERT)は、BERTを文ペアで学習し、個別に計算した文ベクトルで意味を比較する技術です。重み共有、プーリング、3種類の学習目的、類似度評価と速度の結果から、FAQ検索や重複検出への応用と限界を解説します。

参照論文:Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks

RAG・検索

RAGとは?検索と生成を共同学習し、外部知識から回答を作る技術

RAGの原論文をもとに、DPRとBARTを組み合わせる構造、RAG-SequenceとRAG-Tokenの違い、回答から検索器を学ぶ仕組みを解説します。質問応答の実験結果と、社内検索やAIアプリ開発へのヒントも整理します。

参照論文:Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

RAG・検索

SPLADEとは?検索語を学習で拡張し、転置インデックスで意味の近い文書を探す技術

SPLADEはBERTで検索語と文書を重み付きの疎な語彙ベクトルに変換する検索技術です。語彙拡張、対数による重みの調整、FLOPS正則化の仕組みと実験結果から、RAGや社内検索への応用を解説します。

参照論文:SPLADE: Sparse Lexical and Expansion Model for First Stage Ranking

RAG・検索

E5とは?弱教師あり学習で文章の意味をベクトル化し、検索やRAGに活かす技術

E5は、Web上の文章ペアを選別して対照学習するテキスト埋め込み技術です。学習データの品質管理、queryとpassageの役割、検索評価の結果、RAGや問い合わせ分類への応用と導入時の注意点を解説します。

参照論文:Text Embeddings by Weakly-Supervised Contrastive Pre-training

RAG・検索

DPRとは?RAGの検索精度を意味理解で高めるDense Passage Retrieval

DPR(Dense Passage Retrieval)は、質問と文書をベクトル化して意味的に近い根拠を探す検索技術です。デュアルエンコーダの仕組み、学習、実験結果、RAG開発への活かし方を解説します。

参照論文:Dense Passage Retrieval for Open-Domain Question Answering

RAG・検索

CacheBlendとは?RAGのKVキャッシュを融合して初回応答を高速化する技術

CacheBlendは、RAGで取得した複数チャンクのKVキャッシュを再利用しつつ、文脈間の関係に必要な一部だけを再計算するLLM推論技術です。仕組み、性能、RAG開発への活かし方を解説します。

参照論文:CacheBlend: Fast Large Language Model Serving for RAG with Cached Knowledge Fusion

RAG・検索

RankRAGとは?検索結果の再順位付けと回答生成を1つのLLMでつなぐRAG技術

RankRAGは、RAGで取得した文書をLLM自身が再順位付けし、そのまま根拠付き回答を生成する学習手法です。仕組み、実験結果、実務での導入ポイントを解説します。

参照論文:RankRAG: Unifying Context Ranking with Retrieval-Augmented Generation in LLMs

RAG・検索

REPLUGとは?ブラックボックスLLMに検索を後付けするRAG技術

REPLUGは、API経由でしか使えないLLMを再学習せず、検索器を後付けして知識アクセスを強化するRAG技術です。確率アンサンブル、LLMによる検索器教師、評価結果と実装のヒントを解説します。

参照論文:REPLUG: Retrieval-Augmented Black-Box Language Models

RAG・検索

M3-Embeddingとは?多言語RAGで密・疎・マルチベクトル検索を統合する埋め込み技術

M3-Embeddingは、1つのテキスト埋め込みモデルで密検索、疎検索、マルチベクトル検索を扱う技術です。自己知識蒸留、長文対応、多言語RAGでの使い方と評価結果を解説します。

参照論文:M3-Embedding: Multi-Linguality, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation

RAG・検索

RETROとは?巨大検索メモリを外付けして小さめのLLMを強くする技術

RETROは、巨大な外部テキストデータベースを検索しながら次トークンを予測する Retrieval-Enhanced Transformer です。仕組み、通常のRAGとの違い、実験結果、開発への使い道を日本語で整理します。

参照論文:Improving Language Models by Retrieving from Trillions of Tokens

RAG・検索

Adaptive-RAGとは?質問の複雑さに応じて検索回数を切り替えるRAG最適化技術

Adaptive-RAGは、質問の複雑さを小さな分類器で見極め、検索なし・1回検索・反復検索を切り替えるRAG手法です。なぜ一律RAGが非効率なのか、仕組み、実験結果、実務での使い道まで日本語で整理します。

参照論文:Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity

RAG・検索

Fusion-in-Decoderとは?複数文書を後段で統合して回答精度を上げるRAG設計

Fusion-in-Decoderは、検索で集めた複数パッセージをエンコーダでは個別に処理し、デコーダ側でまとめて統合する生成型QA手法です。RAGの原型とも言えるこの設計が、なぜ多文書質問応答に強いのかを論文ベースで日本語解説します。

参照論文:Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering

RAG・検索

LightRAGとは?グラフ索引と二段検索で複雑なRAGを速くする仕組み

LightRAGは、文書をグラフ構造で索引化し、低レベル検索と高レベル検索を切り替えながら必要な情報を拾うRAG手法です。GraphRAGより軽く、通常のRAGより複雑な質問に強い理由を日本語で解説します。

参照論文:LightRAG: Simple and Fast Retrieval-Augmented Generation

RAG・検索

Speculative RAGとは?RAGの精度と速度を両立する下書き生成・検証の仕組み

Speculative RAGは、小さな専用モデルで複数の回答候補を並列生成し、大きな汎用モデルがそれを検証することで、RAGの精度とレイテンシを同時に改善する技術です。仕組み、実験結果、実務での使い道を日本語で解説します。

参照論文:Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting

RAG・検索

Active Retrievalとは?生成の途中で検索して長文RAGの弱点を補う技術

Active Retrievalは、回答生成の途中で必要になったときだけ追加検索を行うRAGの考え方です。FLARE論文をもとに、仕組み、評価結果、実装やプロダクトへの応用可能性を日本語で解説します。

参照論文:Active Retrieval Augmented Generation

RAG・検索

SimCSEとは?ドロップアウトだけで文埋め込みを強化し、検索・類似度計算を改善する手法

SimCSEは、同じ文を2回エンコードし、ドロップアウトの揺らぎだけを使って対照学習する文埋め込み手法です。仕組み、実験結果、検索やRAGでの使い道を日本語で解説します。

参照論文:SimCSE: Simple Contrastive Learning of Sentence Embeddings

RAG・検索

ColPaliとは?PDFを画像のまま検索できる視覚RAGの仕組みと使い道

ColPaliは、PDFをOCRでテキスト化してから検索するのではなく、ページ画像をそのまま埋め込み検索する文書検索技術です。図表やレイアウトを含む文書検索でなぜ強いのか、仕組み、評価結果、RAGへの使い道まで日本語で解説します。

参照論文:ColPali: Efficient Document Retrieval with Vision Language Models

RAG・検索

Late Chunkingとは?RAGの文脈切れを減らす埋め込み分割の仕組みと使い道

Late Chunkingは、文書を先に小さく分割するのではなく、全文を一度エンコードしてからチャンク単位に埋め込みを作る手法です。RAGや検索で起きやすい文脈切れをなぜ減らせるのか、仕組み、評価結果、実務での使い道まで日本語で解説します。

参照論文:Late Chunking: Contextual Chunk Embeddings Using Long-Context Embedding Models

RAG・検索

Matryoshka Representation Learningとは?1つの埋め込みを用途ごとに縮めて使える多粒度表現学習の仕組みと使い道

Matryoshka Representation Learningは、1本の埋め込みベクトルの先頭側に重要情報を詰め込み、短い次元でも長い次元でも使えるようにする学習手法です。なぜ固定長埋め込みが非効率なのか、どうやって多粒度表現を作るのか、検索やRAGでどう活かせるのかを解説します。

参照論文:Matryoshka Representation Learning

RAG・検索

HyDEとは?関連ラベルなしで検索精度を上げる仮想文書ベース検索の仕組みと使い道

HyDEは、質問からまず“答えらしき文書”を生成し、その文書をベクトル化して検索することで、学習データなしでも密ベクトル検索を強くする技術です。ゼロショット検索がなぜ難しいのか、HyDEがどう解くのか、RAGや社内検索にどう応用できるのかを解説します。

参照論文:Precise Zero-Shot Dense Retrieval without Relevance Labels

RAG・検索

CRAGとは?検索ミスに強いRAGを実現する補正型検索拡張生成の仕組みと使い道

CRAGは、RAGで取得した文書の質を先に判定し、ダメならWeb検索で補い、使える部分だけを再構成して回答する技術です。検索失敗に弱い従来RAGをどう補正するのか、仕組みと実務での活かし方を解説します。

参照論文:Corrective Retrieval Augmented Generation

RAG・検索

GraphRAGとは?ナレッジグラフで複雑な全体質問に強いRAGの仕組みと使い道

GraphRAGは、文書群からエンティティと関係を抽出してナレッジグラフを作り、コミュニティ要約を使って全体傾向を答えるRAG手法です。通常のベクトル検索RAGが苦手な横断要約や複雑な質問にどう効くのかを技術的に整理します。

参照論文:From Local to Global: A Graph RAG Approach to Query-Focused Summarization

RAG・検索

ColBERTv2とは?RAG検索の精度を保ったままインデックスを軽量化する検索技術

ColBERTv2は、トークン単位で意味を照合するlate interaction検索の強みを保ちながら、残差圧縮と蒸留学習で実用性を高めた検索技術です。RAGや社内検索でなぜ効くのか、仕組み、実験結果、開発への応用まで日本語で整理します。

参照論文:ColBERTv2: Effective and Efficient Retrieval via Lightweight Late Interaction

RAG・検索

Self-RAGとは?必要なときだけ検索し根拠を自己点検するRAG手法を解説

Self-RAGは、LLMが必要なときだけ検索し、取り込んだ根拠と自分の出力を自己評価しながら生成するRAG手法です。固定検索型RAGとの違い、仕組み、実験結果、実装へのヒントを日本語で整理します。

参照論文:Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection

RAG・検索

RAPTORとは?長文RAGで要約ツリーを使い検索精度を高める手法を解説

RAPTORは、文書を要約付きツリーに変換して複数の粒度で検索するRAG手法です。長文ドキュメントでなぜ効くのか、仕組み、評価結果、実装へのヒントを技術的に解説します。

参照論文:RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval