カテゴリ
学習・ファインチューニングの記事一覧
25件の記事があります。
FixMatchとは？少量のラベルと未ラベル画像を組み合わせ、画像分類を学ぶ技術
FixMatchは、弱い画像変換で得た高信頼の疑似ラベルを、強い変換後にも予測させる半教師あり学習です。損失計算とデータの流れ、CIFAR-10の実験条件から、画像分類アプリへの応用、ラベル品質や学習コストの注意点を解説します。
参照論文：FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence
SAMとは？重みを少し動かしても損失が低いモデルを学び、汎化性能を改善する技術
Sharpness-Aware Minimization（SAM）は、重みの近傍で損失が増えにくい解を探す学習手法です。2回の勾配計算による更新、画像分類の実験条件と結果、専用モデル開発への応用、学習コストや分散実装の注意点を解説します。
参照論文：Sharpness-Aware Minimization for Efficiently Improving Generalization
VQ-VAEとは？画像や音声を離散コードに変え、生成モデルの予測単位を作る技術
VQ-VAEは、画像や音声の特徴をコードブックの番号へ変換する表現学習手法です。ベクトル量子化、勾配の近似、3つの損失と事前分布の学習を解説し、原論文の実験結果から生成モデル開発への応用と限界を整理します。
参照論文：Neural Discrete Representation Learning
Focal Lossとは？簡単な負例の影響を抑え、不均衡データの学習を改善する技術
Focal Lossは、正しく判定できる例の損失を小さくし、難しい例へ学習を集中させる損失関数です。RetinaNetの構造、係数と初期化の仕組み、COCOでの実験結果から、物体検出や業務分類への応用と注意点を解説します。
参照論文：Focal Loss for Dense Object Detection
TabPFNとは？小規模な表データを重み更新なしで分類する技術
TabPFNは、合成した分類問題で事前学習し、手元のラベル付き表データを入力として未知の行を分類する技術です。事前分布と文脈内学習、Attentionの仕組み、原論文の実験条件から、小規模な業務分類への応用と限界を解説します。
参照論文：TabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second
TS2Vecとは？時系列からラベルなしで特徴を学び、予測や異常検知に活かす技術
TS2Vecは、時点・区間・系列全体の特徴を階層的な対照学習で獲得する技術です。文脈を変えた正例の作り方、拡張畳み込み、分類・予測・異常検知の実験結果から、センサーや稼働ログへの応用と導入時の注意点を解説します。
参照論文：TS2Vec: Towards Universal Representation of Time Series
TIES-Mergingとは？学習済みモデルの重みの干渉を抑え、追加学習なしで統合する技術
TIES-Mergingは、同じ基盤モデルから学習した専門モデルの差分を選別し、更新方向の衝突を抑えて統合する手法です。3段階の仕組み、言語・画像の実験結果、モデル運用への応用と導入時の注意点を解説します。
参照論文：TIES-Merging: Resolving Interference When Merging Models
SetFitとは？少量の文章ラベルから学び、プロンプトなしで分類する技術
SetFitは、ラベル付き文章をペアにして文埋め込みを調整し、軽量な分類器を学習する技術です。2段階の学習、少数例での評価結果、日本語の実験から、問い合わせ分類やAI処理の振り分けへの応用と限界を解説します。
参照論文：Efficient Few-Shot Learning Without Prompts
DIFTとは？画像生成モデルの中間特徴で同じ部位を探し、編集や追跡に活かす技術
DIFTは、学習済み拡散モデルから位置ごとの特徴を抽出し、画像間の対応点を見つける技術です。ノイズ量と抽出層の選び方、特徴の平均化、実験結果から、画像編集や動画アノテーションへの応用と限界を解説します。
参照論文：Emergent Correspondence from Image Diffusion
DINOv2とは？ラベルなし画像から学び、画像検索や分類に転用できる視覚特徴の技術
DINOv2は、画像全体とパッチ単位の自己教師あり学習で汎用的な視覚特徴を獲得する技術です。教師・生徒モデル、データ選別、蒸留の仕組みと実験結果、画像検索や少量ラベル分類への応用を解説します。
参照論文：DINOv2: Learning Robust Visual Features without Supervision
Cut Cross-Entropyとは？大語彙LLM学習のGPUメモリを大幅に減らす損失計算
Cut Cross-Entropy（CCE）は、巨大なlogit行列をGPUメモリに保存せずに交差エントロピー損失を計算する手法です。仕組み、実験結果、LLMの事前学習・ファインチューニングへ生かす方法を解説します。
参照論文：Cut Your Losses in Large-Vocabulary Language Models
AdaLoRAとは？LoRAのランクを重要度に応じて再配分する省パラメータ学習
AdaLoRAは、LoRAの低ランク更新を全層へ均等に置かず、学習中の重要度に応じてランク予算を再配分するPEFT手法です。仕組み、実験結果、実装とプロダクトへの活かし方を解説します。
参照論文：Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning
MeZOとは？逆伝播なしでLLMを省メモリにファインチューニングする技術
MeZOは、損失を2回の順伝播で測るだけで更新方向を推定し、推論とほぼ同じメモリ使用量でLLMをファインチューニングする手法です。仕組み、実験結果、実装上の注意点を解説します。
参照論文：Fine-Tuning Language Models with Just Forward Passes
DeepSeek-R1とは？正解で検証できる報酬からLLMの推論能力を伸ばす強化学習技術
DeepSeek-R1は、人手で書かれた思考過程を大量に模倣するのではなく、数学・コード・論理のように正解を検証できるタスクの報酬でLLMの推論能力を伸ばす技術です。GRPO、ルールベース報酬、多段階学習、蒸留、実験結果、開発への応用を解説します。
参照論文：DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
GaLoreとは？全パラメータ学習を保ったままLLM学習メモリを大幅削減する手法
GaLoreは、勾配を低ランク空間へ射影することで、LoRAのように更新対象を絞らずに学習メモリを削減する手法です。仕組み、LoRAとの違い、実験結果、開発への使い道まで日本語で整理します。
参照論文：GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection
Multi-Token Predictionとは？LLMをより賢く速くする学習手法の仕組みと使いどころ
Multi-Token Predictionは、次の1トークンだけでなく複数の未来トークンを同時に予測する学習手法です。なぜ学習効率やコード生成性能が上がるのか、推論高速化にどうつながるのか、実装の考え方と活用先を日本語で解説します。
参照論文：Better & Faster Large Language Models via Multi-token Prediction
Masked Autoencoders（MAE）とは？画像の75%を隠して表現学習する自己教師あり技術
Masked Autoencoders（MAE）は、画像の大部分を隠して欠けた部分を復元することで、ラベルなしデータから強い視覚表現を学ぶ自己教師あり学習技術です。非対称エンコーダ・デコーダ構造、高マスク率の意味、実験結果、実務での使い道を日本語で解説します。
参照論文：Masked Autoencoders Are Scalable Vision Learners
GRPOとは？報酬比較だけでLLMを強化学習しやすくする省メモリ学習手法
GRPOは、PPOのような価値モデルを持たずに、同じ質問に対する複数回答の相対評価からLLMを強化学習する手法です。仕組み、実験結果、実務での使い道を日本語で解説します。
参照論文：DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models
ORPOとは？参照モデルなしで選好学習を一段で進めるLLMアラインメント技術
ORPOは、参照モデルや別段のDPO工程を使わず、教師あり学習と選好最適化を一体化するLLM向け学習手法です。仕組み、実験結果、実務での使い道を日本語で解説します。
参照論文：ORPO: Monolithic Preference Optimization without Reference Model
RAFTとは？RAG前提でLLMを学習し、検索ノイズに強くするドメイン適応手法
RAFTは、RAGで使う検索文書を学習時からLLMに見せ、正解文書とノイズ文書を見分けながら答える力を鍛える学習手法です。仕組み、実験結果、実務での使い道を日本語で解説します。
参照論文：RAFT: Adapting Language Model to Domain Specific RAG
Prefix-Tuningとは？仮想トークンで大規模モデルを軽量に適応する仕組みと使い道
Prefix-Tuningは、事前学習済みモデル本体を凍結したまま、連続ベクトルのプレフィックスだけを学習してタスク適応する手法です。仮想トークンの考え方、仕組み、実験結果、実務での使い道を日本語で解説します。
参照論文：Prefix-Tuning: Optimizing Continuous Prompts for Generation
DoRAとは？LoRAの精度差を埋める重み分解ファインチューニングの仕組みと使い道
DoRAは、LoRAの軽さを保ちながらフルファインチューニングに近い学習能力を目指すPEFT手法です。重みを大きさと向きに分ける考え方、仕組み、実験結果、開発への応用ポイントを日本語で解説します。
参照論文：DoRA: Weight-Decomposed Low-Rank Adaptation
QLoRAとは？4bit量子化で大規模モデルを省メモリにファインチューニングする技術
QLoRAは、事前学習済みLLMを4bit量子化したまま凍結し、LoRAだけを学習して大規模モデルを少ないGPUメモリで調整する技術です。NF4、Double Quantization、Paged Optimizerの仕組みと、実務での使い道を日本語で整理します。
参照論文：QLoRA: Efficient Finetuning of Quantized LLMs
DPOとは？RLHFを単純化して選好学習を直接最適化する仕組みと使い道
DPOは、報酬モデル学習とPPOを使わずに、好ましい応答と好ましくない応答の比較データからLLMを直接学習させる手法です。RLHFとの違い、数式の考え方、実験結果、実務での応用ポイントを日本語で整理します。
参照論文：Direct Preference Optimization: Your Language Model is Secretly a Reward Model
LoRAとは？少ない学習パラメータで大規模モデルを適応させる低ランクファインチューニングを解説
LoRAは、事前学習済みモデル本体を凍結したまま、低ランク行列だけを学習して新しいタスクに適応させる手法です。なぜ軽くて強いのか、仕組み、実験結果、実装へのヒントを日本語で整理します。
参照論文：LoRA: Low-Rank Adaptation of Large Language Models