カテゴリ
評価・ベンチマークの記事一覧
4件の記事があります。
評価・ベンチマーク
BERTScoreとは？文脈付きトークンの照合で、言い換えを含む生成文を評価する技術
BERTScoreは、生成文と参照文のトークンを文脈付き埋め込みで照合する評価指標です。適合率・再現率の計算、IDF重み付け、翻訳や画像説明の実験結果から、RAGの回帰評価やプロンプト圧縮の検証への応用と限界を解説します。
参照論文：BERTScore: Evaluating Text Generation with BERT
評価・ベンチマーク
Lost in the Middleとは？長文LLMが中央の情報を見落とす問題とRAGの評価方法
長い入力を受け付けるLLMでも、その中の情報を均等に使えるとは限りません。Lost in the Middleの位置を変える評価方法、実験結果、RAGや社内文書QAの改善に活かす考え方を解説します。
参照論文：Lost in the Middle: How Language Models Use Long Contexts
評価・ベンチマーク
RAGASとは？正解データなしでRAGの検索・根拠性・回答品質を評価する技術
RAGASは、正解ラベルが少ないRAGでも、検索コンテキストの適合性、回答の根拠性、質問への適合性をLLMで分解評価するフレームワークです。3つの指標の仕組み、実験、実装への活かし方を解説します。
参照論文：RAGAs: Automated Evaluation of Retrieval Augmented Generation
評価・ベンチマーク
ARESとは？RAGの検索精度・忠実性・回答関連性を自動評価する仕組みと使い道
ARESは、RAGシステムの評価を人手だけに頼らず、自動生成した評価データと小型判定モデルで回せる評価フレームワークです。何をどう評価するのか、仕組み、実験結果、実務での使い道まで日本語で解説します。
参照論文：ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems