GPU를 시간 단위로 대여하는 것이 토큰당 API보다 저렴한가요?

무엇과 비교하느냐에 따라 다릅니다. Llama 3.1 8B 같은 인기 오픈 모델은 호스팅된 토큰당 API가 더 저렴합니다. DeepInfra는 입력 토큰 100만 개당 $0.02, 출력 토큰 100만 개당 $0.04를 받습니다. gpt-5-mini(출력 토큰 100만 개당 $2.00)나 Claude Haiku 4.5($5.00)와 비교하면, 오픈 7B–8B 모델을 돌리는 RTX 3060~RTX 5090 대여는 어느 카드든 GPU를 쉬지 않고 쓸 경우 토큰당 비용이 더 낮습니다. gpt-4o-mini($0.60)와 비교하면 RTX 3060 같은 저렴한 카드만 확실히 앞섭니다.

RTX 4090은 8B 모델로 초당 몇 토큰을 생성하나요?

Hardware Corner는 RTX 4090에서 Qwen3 8B를 4비트 양자화, 16K 컨텍스트, 한 번에 요청 하나로 돌려 초당 104토큰을 측정했습니다. llama.cpp 스코어보드는 더 작은 Llama 2 7B를 Q4_0, 짧은 컨텍스트로 돌렸을 때 초당 186토큰을 보여 줍니다.

대여한 RTX 4090에서 출력 토큰 100만 개의 비용은 얼마인가요?

시간당 $0.35, 초당 약 104토큰이라면 1시간에 약 376,000토큰이 나오므로, 출력 토큰 100만 개에 드는 GPU 시간 비용은 약 $0.93입니다. 프롬프트를 읽는 속도는 답변을 쓰는 속도보다 훨씬 빠르기 때문에 입력 토큰으로 인한 추가 비용은 크지 않습니다.

API보다 시간당 GPU가 나은 경우는 언제인가요?

필요한 모델이 토큰당 요금으로 제공되지 않을 때(직접 파인튜닝한 모델, 커뮤니티 모델, 특정 양자화 버전), 토큰 사용량 과금 대신 시간당 고정 비용을 원할 때, 또는 출력 토큰 100만 개당 $2 이상을 받는 폐쇄형 모델과 비교할 때입니다.

시간당 GPU인가, 토큰당 API인가? 7B–8B 모델 운영의 실제 비용

Llama 3.1 8B나 Qwen 2.5 7B 같은 소형 오픈 AI 모델에 비용을 내는 방법은 크게 두 가지입니다.

토큰당: 회사가 모델을 호스팅하고, 보내고 받는 토큰마다 요금을 받습니다.
시간당: 모델이 돌아가는 GPU를 빌리고, 토큰을 얼마나 쓰든 시간만큼 냅니다.

가격만 보면 비교할 방법이 없어 보입니다. 한쪽은 “토큰 100만 개당 $0.04”, 다른 쪽은 “시간당 $0.35”입니다. 이 글에서는 둘을 같은 단위로 환산하고, 현실적인 작업 하나를 직접 계산해 봅니다. 모든 가격은 2026년 9월에 확인했으며, 출처는 글 끝에 있습니다.

1단계: 소비자용 GPU의 생성 속도

중요한 속도는 요청 하나에 대해 GPU가 초당 몇 토큰을 생성하느냐입니다. 여기서는 Hardware Corner의 측정값을 씁니다. Qwen3 8B를 4비트 양자화(Q4_K_XL), 16K 컨텍스트로 llama.cpp에서 테스트한 결과이며, llama.cpp는 Ollama의 기반 엔진이기도 합니다.

GPU	초당 토큰(요청 1건)	시간당 토큰
RTX 3060 12 GB	42	약 151,000
RTX 3090	87	약 315,000
RTX 4090	104	약 376,000
RTX 5090	145	약 523,000

프롬프트가 짧으면 더 빠릅니다. llama.cpp 프로젝트의 자체 스코어보드는 더 작은 Llama 2 7B를 Q4_0, 짧은 컨텍스트로 돌렸을 때 같은 네 카드에서 초당 76, 158, 186, 290토큰을 기록했습니다. 여기서는 더 낮고 현실적인 수치를 씁니다.

프롬프트를 읽는 속도는 답변을 쓰는 속도보다 훨씬 빠릅니다. 같은 스코어보드에서 프롬프트 처리 속도는 RTX 3060이 초당 약 2,100토큰, RTX 4090이 약 12,000토큰입니다. 그래서 시간당 GPU에서는 프롬프트가 길어도 추가 시간이 거의 들지 않습니다.

2단계: 시간당 가격을 토큰 100만 개당 가격으로 환산

시간당 가격을 시간당 토큰 수로 나눕니다. 2026년 9월 GPU 대여 사이트의 일반적인 온디맨드 가격을 사용했습니다.

GPU	시간당 가격	출력 토큰 100만 개당 비용(GPU를 쉬지 않고 사용)
RTX 3060 12 GB	$0.06	약 $0.40
RTX 3090	$0.20	약 $0.64
RTX 4090	$0.35	약 $0.93
RTX 5090	$0.55	약 $1.05

핵심은 “쉬지 않고 사용”입니다. 이 수치는 GPU가 한 시간 내내 토큰을 생성한다는 가정입니다. 절반을 놀리면 토큰당 비용은 두 배가 됩니다.

3단계: 토큰당 API의 가격

토큰 100만 개당 가격, 입력 / 출력:

모델	제공 업체	입력	출력
Llama 3.1 8B Instruct Turbo	DeepInfra	$0.02	$0.04
Gemma 3 12B	DeepInfra	$0.05	$0.15
Qwen3.5 9B	DeepInfra	$0.10	$0.15
gpt-4o-mini	OpenAI	$0.15	$0.60
gpt-5-mini	OpenAI	$0.25	$2.00
Claude Haiku 4.5	Anthropic	$1.00	$5.00

두 가지가 눈에 띕니다. 호스팅된 오픈 모델은 매우 저렴합니다. 그리고 폐쇄형 소형 모델은 출력 토큰당 가격이 가장 저렴한 오픈 8B 모델보다 15~125배 비쌉니다.

4단계: 실제 작업 하나를 모든 방식으로 계산

요청 1,000건을 처리한다고 가정합니다. 요청마다 1,500토큰(지시문과 문서)을 보내고 500토큰을 받습니다. 합치면 입력 토큰 150만 개, 출력 토큰 50만 개입니다.

방식	작업 비용	비고
DeepInfra의 Llama 3.1 8B	약 $0.05	압도적으로 저렴
gpt-4o-mini	약 $0.53
gpt-5-mini	약 $1.38
Claude Haiku 4.5	약 $4.00
RTX 3060 대여, 요청 1건씩 처리	약 $0.21	약 3.5시간
RTX 3090 대여	약 $0.33	약 1.7시간
RTX 4090 대여	약 $0.48	약 1.4시간
RTX 5090 대여	약 $0.54	약 1시간

GPU 수치는 이렇게 계산했습니다. 출력 토큰 500,000개를 1단계의 속도로 나누고, 프롬프트 토큰 150만 개를 llama.cpp 스코어보드의 프롬프트 처리 속도로 나눈 값을 더한 뒤, 시간당 가격을 곱했습니다.

결과 해석

원하는 오픈 모델을 호스팅 API가 제공한다면, 그것이 가장 저렴한 방법입니다. Llama 3.1 8B라면 시간 단위로 빌리는 어떤 GPU도 출력 토큰 100만 개당 $0.04에 근접하지 못합니다.

대부분의 폐쇄형 소형 모델과 비교하면, 오픈 모델로 작업이 충분히 된다는 전제에서 시간당 GPU가 더 저렴합니다. 쉬지 않고 돌리는 RTX 3060은 gpt-4o-mini보다 출력 토큰당 비용이 낮고, RTX 3090은 거의 같습니다. 위 작업처럼 입력 토큰까지 계산하면 둘 다 더 저렴합니다. 표의 모든 카드가 gpt-5-mini나 Claude Haiku보다 저렴합니다. 7B–8B 오픈 모델의 답변 품질이 충분한지는 작업에 따라 다릅니다. 분류, 필드 추출, 요약, 짧은 재작성에는 대체로 충분하지만, 긴 추론에는 약합니다.

시간당 GPU가 맞는 경우:

필요한 모델이 어떤 토큰당 API에도 없을 때. 직접 파인튜닝한 모델, 커뮤니티 모델, 특정 양자화 버전 등이 해당합니다.
사용량 과금 대신 시간당 고정 비용을 원할 때. 테스트 중이거나 밤새 배치 작업을 돌릴 때가 그렇습니다.
프롬프트가 길 때. 시간 단위로 빌린 GPU에서는 입력 토큰 비용이 그것을 읽는 몇 초뿐입니다.
카드를 직접 사기 전에 실제 하드웨어에서 모델을 써 보고 싶을 때.

토큰당 과금이 맞는 경우:

트래픽이 몰렸다가 한참 끊기는 식일 때. 기다리는 동안에는 한 푼도 내지 않습니다.
여러 요청을 동시에 처리해야 할 때. 소비자용 GPU 하나는 기본적으로 한 번에 요청 하나만 처리합니다. Ollama의 OLLAMA_NUM_PARALLEL 기본값은 1입니다.
원하는 모델이 호스팅되어 있고 그 가격에 만족할 때.

프라이버시는 양쪽 모두의 문제입니다

토큰당 API를 쓰면 프롬프트가 API 회사로 갑니다. GPU를 빌리면 빌린 머신으로 갑니다. 예를 들어 GPUFlow에서는 모델이 제공자 본인의 컴퓨터에서 돌아가므로 프롬프트와 답변이 그 컴퓨터를 거칩니다. 저희 문서에도 분명히 적어 두었습니다. 비밀번호, 카드 번호, 낯선 사람에게 보여 주지 않을 정보는 보내지 마세요. 정말 민감한 데이터라면 어느 쪽도 내 하드웨어에서 모델을 직접 돌리는 것을 대신할 수 없습니다.

GPUFlow에서 직접 확인하는 방법

GPUFlow에서는 GPU를 원하는 시간만큼 빌리고, OpenAI 키처럼 작동하는 API 키를 받습니다. 요금은 초 단위로 청구되며, 일찍 끝내면 쓰지 않은 시간은 크레딧으로 돌아옵니다. 내 작업의 토큰당 비용을 재려면 다음과 같이 하세요.

원하는 모델이 돌아가는 GPU를 1시간 대여합니다.
스크립트가 내 키로 https://gpuflow.app/v1을 호출하도록 설정합니다(방법).
받은 토큰 수를 세고, 낸 금액을 그 수로 나눕니다.

실제 트래픽으로 10분만 돌려 봐도 어떤 표보다 많은 것을 알 수 있습니다.

출처

모두 2026년 9월에 확인했습니다.

GPU 속도, Qwen3 8B Q4_K_XL, 16K 컨텍스트: Hardware Corner GPU 순위 (2025년 12월 9일 업데이트)
llama.cpp CUDA 스코어보드, Llama 2 7B Q4_0: github.com/ggml-org/llama.cpp/discussions/15013
Ollama 병렬 요청: docs.ollama.com/faq
DeepInfra 가격: deepinfra.com/pricing
OpenAI 가격: gpt-4o-mini, gpt-5-mini
Anthropic 가격: platform.claude.com 가격
GPU 대여 가격대: GPUFlow 문서, GPU 가격 정하는 법