タグ
#LLM-as-a-Judgeの記事一覧
2件の記事があります。
評価・ベンチマーク
RAGASとは？正解データなしでRAGの検索・根拠性・回答品質を評価する技術
RAGASは、正解ラベルが少ないRAGでも、検索コンテキストの適合性、回答の根拠性、質問への適合性をLLMで分解評価するフレームワークです。3つの指標の仕組み、実験、実装への活かし方を解説します。
参照論文：RAGAs: Automated Evaluation of Retrieval Augmented Generation
評価・ベンチマーク
ARESとは？RAGの検索精度・忠実性・回答関連性を自動評価する仕組みと使い道
ARESは、RAGシステムの評価を人手だけに頼らず、自動生成した評価データと小型判定モデルで回せる評価フレームワークです。何をどう評価するのか、仕組み、実験結果、実務での使い道まで日本語で解説します。
参照論文：ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems