2026년 9월 기준 H100 한 장은 AWS나 Azure에서 시간당 약 $6.90, Google Cloud에서 GPU당 $11.06, Lambda에서 $3.99, RunPod에서 $2.69~$3.49, Vast.ai에서 약 $1.50부터입니다. 소비자용 카드는 마켓플레이스에만 있습니다. RTX 4090은 싼 쪽이 시간당 $0.31~$0.34, RunPod 데이터센터 등급이 $0.74입니다. 같은 H100이라도 가장 비싼 온디맨드 1시간은 가장 싼 곳의 약 7.5배입니다.
이 글에서는 각 숫자의 출처, 시간당 가격에 포함된 것, 흔한 작업 세 가지의 전체 비용을 다룹니다. 별도 표시가 없으면 모두 온디맨드 가격이며, 미국 리전(AWS us-east-1, Azure East US, Google Cloud us-central1), Linux 기준으로 2026년 9월에 확인했습니다. 가격은 매달 바뀌므로 스냅숏으로 보고, 돈을 쓰기 전에 출처를 다시 확인하세요.
가격 한눈에 보기
데이터센터 GPU, GPU 1개당 시간당 달러:
| 업체 | L4 24 GB | A10G / A10 24 GB | A100 80 GB | H100 |
|---|---|---|---|---|
| AWS | $0.81 (g6.xlarge) | $1.01 (g5.xlarge, A10G) | $3.43 (8-GPU p4de만 가능) | $6.88 (p5.4xlarge) |
| Google Cloud | $0.71 (g2-standard-4) | 없음 | $5.07 (a2-ultragpu-1g) | $11.06 (8-GPU A3, ÷ 8) |
| Azure | 없음 | $3.20 (NV36ads A10 v5) | $3.67 (NC24ads A100 v4) | $6.98 (NC40ads H100 v5, NVL 94 GB) |
| Lambda | 없음 | 없음 | $2.79 | $3.99 |
| RunPod Community / Secure | 없음 / $0.49 | 없음 | $1.39 / $1.59 | $2.69 / $3.49 |
| Vast.ai | 약 $0.27부터 | 없음 | 약 $0.43부터 | 약 $1.47부터 |
“없음”은 해당 업체의 가격표에서 맞는 단일 GPU 옵션을 찾지 못했다는 뜻입니다. 소비자용 카드, 시간당 달러:
| GPU | Vast.ai(최저 리스팅) | RunPod Community / Secure | 대여 사이트 전반의 일반적인 범위 |
|---|---|---|---|
| RTX 3090 24 GB | $0.11 – $0.13 | $0.22 / $0.50 | $0.11 – $0.31 |
| RTX 4090 24 GB | $0.31 – $0.33 | $0.34 / $0.74 | $0.30 – $0.46 |
| RTX 5090 32 GB | $0.41 – $0.47 | $0.69 / $0.99 | $0.41 – $0.69 |
AWS, Google Cloud, Azure, Lambda는 소비자용 RTX 카드를 올려 두지 않습니다. Vast.ai 가격이 범위로 적힌 이유는 같은 날 getdeploying.com 스냅숏 두 개의 최저가가 조금씩 달랐기 때문인데, 마켓플레이스 가격이 어떤지 잘 보여 주는 대목입니다. 마지막 열은 GPUFlow 제공자 가격 가이드가 2026년 9월에 Vast.ai, RunPod, Salad, SimplePod, TensorDock, Hyperstack, Lambda에서 모은 범위입니다.
시간당 가격에 포함된 것
이 숫자들은 엄밀히 같은 상품이 아닙니다. 소수점 둘째 자리보다 이 점이 더 중요합니다.
하이퍼스케일러 인스턴스에는 GPU 말고도 많은 것이 묶여 있습니다. AWS p5.4xlarge에는 vCPU 16개, RAM 256 GiB, 로컬 NVMe 3.84 TB가 딸려 옵니다. Azure NC24ads A100 v4는 vCPU 24개와 RAM 220 GiB입니다. A10 한 장을 통째로 쓰는 Azure NV36ads A10 v5는 vCPU 36개, RAM 440 GiB에 가상 워크스테이션용 GRID 라이선스까지 포함하는데, 비슷한 카드인데도 AWS의 세 배 가격인 이유를 어느 정도 설명해 줍니다. GPU만 필요해도 이 모든 것에 돈을 냅니다.
어떤 GPU는 큰 상자로만 나옵니다. AWS에서 A100 80 GB는 p4de.24xlarge로 팝니다. GPU 8개, 시간당 $27.45이고 더 작은 크기는 없습니다. 표에 있는 Google Cloud의 A3 High H100 머신은 8-GPU a3-highgpu-8g로 시간당 $88.49입니다. Lambda 가격표는 GPU당 가격을 보여 주지만, H100 옆에 적힌 머신 사양(vCPU 208개, RAM 1,800 GiB)은 멀티 GPU 시스템입니다. $3.99를 기준으로 계획을 세우기 전에 실제로 어떤 크기를 빌릴 수 있는지 확인하세요.
마켓플레이스 가격은 머신 주인이 정합니다. Vast.ai에서는 호스트마다 요금을 따로 정하고, 스토리지와 대역폭도 리스팅마다 별도 가격이 붙습니다. RunPod Community Cloud는 독립 제공자를 연결하고, Secure Cloud는 Tier 3·Tier 4 데이터센터에서 운영됩니다. 같은 RTX 4090이 앞쪽에서는 $0.34, 뒤쪽에서는 $0.74입니다.
시간당 가격에 빠진 것(디스크, 데이터 전송, 준비 시간, 유휴 시간)은 GPU 대여의 실제 비용에서 다룹니다. 작은 작업에서는 이런 부가 비용이 GPU 시간보다 클 수 있습니다.
H100 가격 나란히 보기
차트는 축척대로 그렸습니다. 두 가지가 눈에 띕니다. 3대 클라우드는 GPU당 $7 근처에 몰려 있고, Google Cloud는 8-GPU A3 머신 때문에 그보다 훨씬 위에 있습니다. 그리고 똑같은 연산을 하는 카드인데 AWS와 가장 싼 Vast.ai 리스팅의 차이가 네 배가 넘습니다.
더 낸 돈으로 사는 것은 분명히 있습니다. SLA, 컴플라이언스 서류, 바로 옆에 있는 나머지 인프라, 지원 계약입니다. 마켓플레이스에서 포기하는 것도 분명합니다. 호스트가 소규모 운영자일 수 있고, 안정성은 리스팅마다 다르며, SLA가 없습니다. 주말 실험이라면 마켓플레이스가 쉽게 이깁니다. 규제를 받는 프로덕션 시스템이라면 아예 선택지가 아닌 경우가 많습니다.
스팟과 중단 가능 인스턴스 가격
이 비교에 나온 업체는 모두 남는 용량을 더 싸게 팝니다. 대신 언제든 회수될 수 있습니다.
| 인스턴스 | 온디맨드 | 스팟 | 절감률 |
|---|---|---|---|
| AWS g6.xlarge (1× L4) | $0.805 | $0.605 | 25% |
| AWS g5.xlarge (1× A10G) | $1.006 | $0.469 | 53% |
| AWS p5.4xlarge (1× H100) | $6.88 | $2.623 | 62% |
| Google Cloud g2-standard-4 (1× L4) | $0.707 | $0.403 | 43% |
| Google Cloud a3-highgpu-8g (8× H100) | $88.49 | $41.60 | 53% |
| Azure NC24ads A100 v4 (1× A100 80 GB) | $3.673 | $0.679 | 82% |
| Azure NC40ads H100 v5 (1× H100 NVL) | $6.98 | $1.29 | 82% |
Azure 스팟 가격은 소매 가격 API에서 가져왔으며, A100과 H100 스팟 요금은 2026년 7월과 8월부터 적용된 값입니다. H100 스팟 요금은 저희가 마켓플레이스에서 찾은 가장 싼 온디맨드 H100 리스팅보다도 낮았습니다. 스팟 가격은 자주 바뀌고 용량도 보장되지 않으니 스냅숏으로 보세요.
Vast.ai 문서에 따르면 중단 가능(interruptible) 인스턴스는 “온디맨드보다 50% 이상 저렴한 경우가 많습니다”. getdeploying.com에는 RTX 3090 중단 가능 인스턴스가 $0.08부터 나와 있었습니다. 스팟은 작업이 체크포인트를 저장하고 멈춘 지점부터 이어서 할 수 있을 때만 돈을 아껴 줍니다. 그렇지 않으면 한 번 중단될 때마다 같은 시간에 두 번 돈을 냅니다.
GPUFlow의 위치
GPUFlow도 마켓플레이스지만 빌려주는 것의 범위가 더 좁습니다. 제공자가 자기 Linux 머신에서 AI 모델을 돌리고(보통 Ollama로), 이용자는 그 GPU를 시간 단위로 빌려 OpenAI 호환 API 키를 받습니다(기본 URL https://gpuflow.app/v1, /v1/chat/completions와 /v1/models 제공). SSH, 셸, 파일 접근이 없으므로 학습, 파인튜닝, 자체 코드 실행은 할 수 없습니다. 스크립트나 앱에서 오픈 모델을 호출하는 용도라면 준비 과정이 통째로 사라집니다. 모델이 이미 제공자의 머신에 설치되어 있기 때문입니다.
GPUFlow는 가격을 정하지 않으므로 표에 넣을 GPUFlow 가격이 없습니다. 대신 가격이 매겨지는 방식은 다음과 같습니다.
- 각 제공자가 리스팅의 시간당 가격을 미국 달러로 정합니다. 가격을 입력할 때 리스팅 양식이 다른 대여 사이트의 가격 범위에서 어디쯤인지, 수수료를 뺀 수입이 얼마인지 보여 줍니다.
- 대여는 시간 단위로 예약합니다. 기본값은 1~168시간입니다. 예약한 금액 전체가 대여를 시작할 때 크레딧에서 확보됩니다.
- 요금은 초 단위로, 최소 1분, 다음 센트로 올림해 청구됩니다(계산은 초 단위 vs 시간 단위 과금에 있습니다). 일찍 끝내거나 시간이 다 되면 확보 금액 중 쓰지 않은 부분이 바로 크레딧으로 돌아옵니다.
- 제공자의 머신이 10분 동안 응답하지 않으면 대여가 끝나고, 머신의 마지막 하트비트 시점까지만 냅니다.
- 토큰은 집계만 하고 청구하지 않습니다. 파일을 저장할 머신을 받는 것이 아니므로 청구서에 디스크나 데이터 전송 항목도 없습니다.
- 크레딧은 Stripe를 통해 카드로 사며, 한 번에 $10~$500, 수수료는 없습니다. 1크레딧은 $0.01이고 크레딧은 만료되지 않습니다. 제공자가 청구액의 88%, GPUFlow가 12%를 가져갑니다.
API 키를 빌리는 것과 컨테이너를 빌리는 것을 더 자세히 비교한 글은 GPUFlow vs Vast.ai vs RunPod vs SaladCloud입니다. 시간당 GPU 가격과 토큰당 API를 비교하고 있다면 계산은 여기에 있습니다.
계산 예시 1: 24 GB 카드에서 3시간 배치 작업
7B~8B 오픈 모델로 문서 더미를 3시간쯤 처리한다고 해 봅시다. 24 GB 카드라면 아무것이나 됩니다.
| 선택지 | 계산 | GPU 비용 |
|---|---|---|
| Vast.ai RTX 4090 | 3 × $0.31 | $0.93 |
| RunPod Community RTX 4090 | 3 × $0.34 | $1.02 |
| Google Cloud L4 (g2-standard-4) | 3 × $0.707 | $2.12 |
| RunPod Secure RTX 4090 | 3 × $0.74 | $2.22 |
| AWS L4 (g6.xlarge) | 3 × $0.805 | $2.42 |
| AWS A10G (g5.xlarge) | 3 × $1.006 | $3.02 |
이 모든 선택지에서 준비 시간도 냅니다. 추론 서버를 설치하고 모델을 받는 동안에도 요금이 나갑니다. 그 시간이 20분이면 Vast.ai 카드에서 $0.10, AWS L4에서 $0.27이 더해집니다.
GPUFlow에서 시간당 $0.35짜리 리스팅을 예로 들어 봅시다(스크린숏에 나온 가격일 뿐 견적이 아닙니다). 3시간을 예약하면 $1.05가 확보됩니다. 작업이 2시간 10분(7,800초) 만에 끝나서 대여를 종료합니다. 청구액은 7,800 × 35 ÷ 3,600 = 75.8센트를 올림한 $0.76이고, $0.29는 크레딧으로 돌아옵니다. 단, 원하는 모델을 돌리는 제공자가 있어야 가능한 이야기입니다.
계산 예시 2: A100 80 GB에서 8시간 파인튜닝
파인튜닝에는 직접 제어할 수 있는 머신이 필요하므로 여기서 GPUFlow는 빠집니다.
| 선택지 | 계산 | 비용 |
|---|---|---|
| Vast.ai, 최저가 A100 리스팅 | 8 × $0.43 | $3.44 |
| RunPod Community A100 SXM | 8 × $1.39 | $11.12 |
| RunPod Secure A100 SXM | 8 × $1.59 | $12.72 |
| Lambda A100 SXM 80 GB | 8 × $2.79 | $22.32 |
| Azure NC24ads A100 v4 | 8 × $3.673 | $29.38 |
| Google Cloud a2-ultragpu-1g | 8 × $5.069 | $40.55 |
| AWS p4de.24xlarge (GPU 8개) | 8 × $27.45 | $219.60 |
Vast.ai 행은 getdeploying.com에 나온 가장 싼 A100 리스팅입니다(2-GPU 머신의 SXM 카드이며 메모리 크기는 표시되지 않았습니다). 그 가격을 믿고 계획하기 전에 리스팅을 확인하세요. AWS 행은 오타가 아닙니다. AWS에서 A100 80 GB 한 장이 필요하면 여덟 장을 빌려야 합니다. Lambda 행은 실제로 빌릴 수 있는 크기가 있다고 가정한 값입니다. 앞의 설명을 참고하세요.
학습 루프가 15~30분마다 체크포인트를 저장한다면 Azure 스팟 가격 시간당 $0.679로 이 작업을 $5.43에 끝낼 수 있습니다. 용량을 구할 수 있을 때의 이야기입니다.
계산 예시 3: 24시간 돌아가는 L4 서빙
720시간짜리 한 달 동안 켜 두는 작은 추론 엔드포인트입니다.
| 선택지 | 계산 | 월 비용 |
|---|---|---|
| Vast.ai L4, 최저가 리스팅 | 720 × $0.27 | $194.40 |
| RunPod Secure L4 | 720 × $0.49 | $352.80 |
| AWS g6.xlarge, 1년 예약 | 720 × $0.524 | $377.28 |
| Google Cloud g2-standard-4 | 720 × $0.707 | $509.04 |
| AWS g6.xlarge, 온디맨드 | 720 × $0.805 | $579.60 |
이 정도 기간이면 약정 할인이 의미를 갖기 시작합니다. 같은 인스턴스의 AWS 1년 예약 요금은 온디맨드보다 35% 낮습니다. 그래도 마켓플레이스가 가장 싸지만, 호스트 하나는 곧 단일 장애 지점입니다. 엔드포인트에 사용자가 있다면 머신이 두 대는 있어야 할 테고, 그러면 마켓플레이스 행이 두 배가 되어 격차는 보이는 것보다 작아집니다.
제가 고르는 방법
실험, 이미지 생성, LoRA 학습처럼 다시 시작할 수 있는 작업이라면 마켓플레이스의 RTX 3090이나 4090입니다. 싼 쪽은 시간당 $0.11~$0.34이고, 대형 클라우드에는 근처에 오는 것도 없습니다.
A100이나 H100이 필요한 큰 모델이고 규제 대상이 아니라면 RunPod나 Lambda를 먼저 보고, 호스트마다 안정성 점수를 확인할 의향이 있다면 Vast.ai를 봅니다. 결정하기 전에 Azure와 Google Cloud의 스팟 가격도 확인하세요. 2026년 9월에는 의외로 경쟁력이 있었습니다.
규제 대상 데이터, 이미 AWS·Azure·Google Cloud에서 돌아가는 회사, SLA가 필요한 작업이라면 쓰던 클라우드에 남아서 약정이나 스팟 용량으로 가격을 낮추세요. H100에 시간당 $7을 내는 편이 새 업체의 보안 심사를 받는 것보다 싼 경우가 많습니다.
서버를 운영하지 않고 코드에서 오픈 모델을 호출하려면 API입니다. 원하는 모델을 호스팅하는 토큰당 API가 있다면 그것을, 특정 제공자의 모델을 고정된 시간당 가격으로 쓰고 싶다면 GPUFlow의 시간 단위 대여를 쓰세요. 계정 쪽 준비는 GPU 대여에 필요한 것에서 다룹니다.
출처
- AWS: EC2 온디맨드 가격, P5 인스턴스, P4 인스턴스. 시간당 가격은 Vantage가 옮겨 둔 AWS 가격표에서 확인: g6.xlarge, g5.xlarge, p5.4xlarge, p5.48xlarge, p4de.24xlarge
- Google Cloud: 가속기 최적화 VM 가격, VM 인스턴스 가격
- Azure: Linux VM 가격, Azure 소매 가격 API, 크기: NC A100 v4, NCads H100 v5, NVads A10 v5
- Lambda: 가격
- RunPod: 가격, RTX 3090, RTX 4090, RTX 5090, A100 SXM, H100 SXM, 포드 개요
- Vast.ai: 가격 문서. getdeploying.com의 마켓플레이스 가격: Vast.ai, RTX 3090, RTX 4090, RTX 5090, A100, H100
- GPUFlow: GPU 가격 정하기, 결제, API 빠른 시작, 마켓플레이스
모두 2026년 9월에 확인했습니다.