企業内でローカル LLM は、どこまで実運用できるか

30 秒でわかる答え社内文書の検索と要約、下書き、分類といった定型の仕事なら、ローカル LLM は十分に実用の域です。最上位のクラウド AI に並ぶ推論や、大人数での同時利用には、GPU と運用の手間が要ります。扱うデータの重さで使い分けるのが現実的です。

ローカル LLM とは

自社のサーバーやパソコンの中で動かす大規模言語モデルです。入力した情報が社外に出ないため、顧客情報や設計情報のように、外に出せないデータを扱えるのが最大の利点です。

2025 年 8 月に OpenAI が公開した gpt-oss は、小さい版（20b）が 16GB のメモリで、大きい版（120b）が 80GB の GPU 1 枚で動くよう設計されています。その後も、各社から新しい公開モデルが続いています。

規模ごとの動かし方

出典：gpt-oss の公表値をもとに作成

成果が出やすいのは、社内規程やマニュアルを検索して答えるしくみ（RAG）、議事録や報告書の要約、問い合わせの分類、定型文の下書きです。

最新のクラウド AI と同じ水準の複雑な推論や、数百人が同時に使う環境を自社で用意するには、相応の GPU と、モデルを更新し続ける人手が要ります。

ローカル LLM とクラウドの AI

すべてをローカルにする必要も、すべてをクラウドにする必要もありません。外に出せないデータを扱う仕事はローカル LLM、それ以外の仕事はクラウドの AI、と使い分けるのが現実的です。

費用は、機器の代金だけでなく、運用する人の時間まで含めて比べます。1 つの用途から小さく始め、使われ方を見てから広げるのが確実です。