GPU を時間単位で借りるのは、トークン課金の API より安いですか？

何と比べるかによります。Llama 3.1 8B のような人気のオープンモデルなら、ホスティング型のトークン課金 API のほうが安く、DeepInfra では入力 100 万トークンあたり $0.02、出力 100 万トークンあたり $0.04 です。一方、gpt-5-mini（出力 100 万トークンあたり $2.00）や Claude Haiku 4.5（$5.00）と比べると、オープンな 7B〜8B モデルを動かす RTX 3060〜RTX 5090 のレンタルは、どれも GPU を休ませずに使えばトークンあたりのコストが安くなります。gpt-4o-mini（$0.60）に対してはっきり安くなるのは、RTX 3060 のような安価なカードだけです。

RTX 4090 で 8B モデルを動かすと、1 秒あたり何トークン生成できますか？

Hardware Corner の測定では、RTX 4090 で Qwen3 8B を 4 ビット量子化、16K コンテキスト、1 リクエストずつ処理した場合、毎秒 104 トークンでした。llama.cpp のスコアボードでは、より小さい Llama 2 7B を Q4_0、短いコンテキストで動かした場合に毎秒 186 トークンとなっています。

レンタルした RTX 4090 で出力 100 万トークンを生成すると、いくらかかりますか？

1 時間 $0.35、毎秒約 104 トークンなら、1 時間で約 376,000 トークンを生成できるので、出力 100 万トークンにかかる GPU 時間は約 $0.93 です。プロンプトの読み込みは回答の生成よりずっと速いため、入力トークンによる上乗せはわずかです。

API より GPU の時間貸しのほうが向いているのはどんなときですか？

必要なモデルがトークン課金で提供されていないとき（独自のファインチューニング済みモデル、コミュニティのモデル、特定の量子化など）、トークンの従量課金ではなく 1 時間あたりの固定費にしたいとき、そして出力 100 万トークンあたり $2 以上かかるクローズドモデルと比べるときです。

GPU の時間貸しか、トークン課金の API か：7B〜8B モデルの実際のコスト

Llama 3.1 8B や Qwen 2.5 7B のような小型のオープン AI モデルを使うとき、支払い方法は主に 2 つあります。

トークン単位： 企業がモデルをホスティングし、送受信したトークンの数に応じて課金します。
時間単位： モデルが動く GPU を借り、使ったトークンの数に関係なく時間の分だけ支払います。

一方は「100 万トークンあたり $0.04」、もう一方は「1 時間 $0.35」なので、価格を比べるのは無理に思えます。この記事では、両方を同じ単位に換算し、現実的な作業を 1 つ例に計算します。価格はすべて 2026 年 9 月に確認したもので、出典は最後にまとめています。

ステップ 1：コンシューマー向け GPU の生成速度は？

重要なのは、1 つのリクエストに対して GPU が 1 秒あたり何トークン生成するかです。ここでは Hardware Corner の測定値を使います。Ollama のベースにもなっているエンジン llama.cpp で、Qwen3 8B を 4 ビット量子化（Q4_K_XL）、16K コンテキストでテストしたものです。

GPU	毎秒トークン数（1 リクエスト）	1 時間あたりのトークン数
RTX 3060 12 GB	42	約 151,000
RTX 3090	87	約 315,000
RTX 4090	104	約 376,000
RTX 5090	145	約 523,000

プロンプトが短ければ、もっと速くなります。llama.cpp プロジェクトが公開しているスコアボードでは、より小さい Llama 2 7B を Q4_0、短いコンテキストで動かした場合、同じ 4 枚のカードで毎秒 76、158、186、290 トークンです。この記事では、低めで現実的なほうの数字を使います。

プロンプトの読み込みは、回答の生成よりずっと高速です。同じスコアボードによると、プロンプト処理の速度は RTX 3060 で毎秒約 2,100 トークン、RTX 4090 で約 12,000 トークンです。そのため時間貸しの GPU なら、プロンプトが長くても余分な時間はほとんどかかりません。

ステップ 2：時間単価を 100 万トークンあたりの価格に換算する

時間単価を 1 時間あたりのトークン数で割ります。価格は、2026 年 9 月の GPU レンタルサイトでの一般的なオンデマンド価格を使います。

GPU	1 時間あたりの価格	出力 100 万トークンあたりのコスト（GPU を休ませない場合）
RTX 3060 12 GB	$0.06	約 $0.40
RTX 3090	$0.20	約 $0.64
RTX 4090	$0.35	約 $0.93
RTX 5090	$0.55	約 $1.05

大事なのは「休ませない場合」という点です。この数字は、GPU が 1 時間ずっと生成し続けることを前提にしています。半分の時間アイドル状態なら、トークンあたりのコストは 2 倍になります。

ステップ 3：トークン課金 API の料金

100 万トークンあたりの価格（入力 / 出力）です。

モデル	提供元	入力	出力
Llama 3.1 8B Instruct Turbo	DeepInfra	$0.02	$0.04
Gemma 3 12B	DeepInfra	$0.05	$0.15
Qwen3.5 9B	DeepInfra	$0.10	$0.15
gpt-4o-mini	OpenAI	$0.15	$0.60
gpt-5-mini	OpenAI	$0.25	$2.00
Claude Haiku 4.5	Anthropic	$1.00	$5.00

注目すべき点は 2 つあります。1 つは、ホスティングされたオープンモデルが非常に安いこと。もう 1 つは、クローズドの小型モデルの出力トークン単価が、最も安いオープンな 8B モデルの 15〜125 倍にもなることです。

ステップ 4：1 つの作業をそれぞれの方法で計算する

1,000 件のリクエストを処理するとします。1 件あたり 1,500 トークン（指示と文書）を送り、500 トークンが返ってきます。合計で入力 150 万トークン、出力 50 万トークンです。

方法	作業全体のコスト	備考
DeepInfra の Llama 3.1 8B	約 $0.05	群を抜いて最安
gpt-4o-mini	約 $0.53
gpt-5-mini	約 $1.38
Claude Haiku 4.5	約 $4.00
RTX 3060 をレンタル（1 リクエストずつ）	約 $0.21	約 3.5 時間
RTX 3090 をレンタル	約 $0.33	約 1.7 時間
RTX 4090 をレンタル	約 $0.48	約 1.4 時間
RTX 5090 をレンタル	約 $0.54	約 1 時間

GPU の数字の計算方法：出力 50 万トークンをステップ 1 の速度で割り、入力 150 万トークンを llama.cpp のスコアボードのプロンプト処理速度で割って足し、時間単価を掛けました。

結果からわかること

使いたいオープンモデルをホスティング型の API が提供しているなら、それが最も安い方法です。 Llama 3.1 8B の場合、出力 100 万トークンあたり $0.04 に迫れるものは、時間貸しにはありません。

クローズドの小型モデルの多くと比べるなら、オープンモデルの性能で用が足りる限り、GPU の時間貸しのほうが安くなります。 休まず稼働している RTX 3060 は出力トークンあたりのコストが gpt-4o-mini より安く、RTX 3090 はほぼ同じです。上の例のように入力トークンも含めて計算すれば、どちらも安くなります。表のどのカードも gpt-5-mini や Claude Haiku より安くなります。7B〜8B のオープンモデルで十分な回答が得られるかは作業によります。分類、項目の抽出、要約、短い書き換えならたいてい問題ありませんが、長い推論は苦手です。

GPU の時間貸しが向いているのは次のような場合です。

必要なモデルがどのトークン課金 API にもない場合。独自のファインチューニング済みモデル、コミュニティのモデル、特定の量子化などです。
従量課金ではなく、1 時間あたりの固定費にしたい場合。たとえばテスト中や、バッチジョブを一晩実行するときです。
プロンプトが長い場合。時間貸しの GPU なら、入力トークンのコストはそれを読み込む数秒分だけです。
自分でカードを買う前に、実際のハードウェアでモデルを試したい場合。

トークン課金が向いているのは次のような場合です。

トラフィックが断続的で、長い空白がある場合。待っている間は料金がかかりません。
多数のリクエストを同時に処理する必要がある場合。コンシューマー向け GPU 1 台は、デフォルトでは 1 度に 1 リクエストしか処理しません。Ollama の OLLAMA_NUM_PARALLEL のデフォルト値は 1 です。
使いたいモデルがホスティングされていて、その価格に納得できる場合。

プライバシーはどちらにも関わる

トークン課金の API では、プロンプトは API 企業に送られます。GPU をレンタルした場合は、借りたマシンに送られます。たとえば GPUFlow では、モデルはプロバイダー自身のコンピューターで動いているので、プロンプトと回答はそこを通ります。当社のドキュメントにもはっきり書いているとおり、パスワードやカード番号など、知らない人に見せたくないものは送らないでください。本当に機密性の高いデータなら、どちらの方法も、自分のハードウェアでモデルを動かすことの代わりにはなりません。

GPUFlow で試す方法

GPUFlow では、GPU を時間数を指定して借り、OpenAI のキーと同じように使える API キーを受け取ります。課金は秒単位で、早めに終了すれば使わなかった時間分がクレジットに戻ります。自分の用途でのトークンあたりのコストを測るには、次のようにします。

使いたいモデルが動いている GPU を 1 時間借ります。
スクリプトの接続先を https://gpuflow.app/v1 にして、キーを設定します（方法）。
返ってきたトークン数を数え、支払った金額をそれで割ります。

実際のトラフィックを 10 分流すほうが、どんな表よりも多くのことがわかります。

出典

すべて 2026 年 9 月に確認しました。

GPU の速度（Qwen3 8B Q4_K_XL、16K コンテキスト）：Hardware Corner の GPU ランキング（2025 年 12 月 9 日更新）
llama.cpp CUDA スコアボード（Llama 2 7B Q4_0）：github.com/ggml-org/llama.cpp/discussions/15013
Ollama の並列リクエスト：docs.ollama.com/faq
DeepInfra の価格：deepinfra.com/pricing
OpenAI の価格：gpt-4o-mini、gpt-5-mini
Anthropic の価格：platform.claude.com の料金
GPU レンタルの価格帯：GPUFlow ドキュメント「GPU の価格の決め方」