#SGLangの記事一覧

SGLangとは？複数LLM呼び出しを高速化し、エージェントやRAGを実装しやすくする技術

SGLangは、複数のLLM呼び出しを含むAIアプリをPythonライクに記述しつつ、KVキャッシュ再利用や並列実行で高速化する技術です。RadixAttention、fork/join、構造化出力、長文処理への使い道まで日本語で解説します。

参照論文：SGLang: Efficient Execution of Structured Language Model Programs