データセット・データ処理の記事一覧

SemDeDupとは？学習データの意味的重複を削ってAI学習を速くする技術

SemDeDupは、埋め込み空間で意味的に似すぎたデータを見つけて除去し、モデル性能をほぼ維持したまま学習コストを下げる技術です。仕組み、実験結果、RAGやデータ基盤への応用を日本語で解説します。

参照論文：SemDeDup: Data-efficient learning at web-scale through semantic deduplication