क्या घंटे के हिसाब से GPU किराये पर लेना प्रति token API से सस्ता है?

यह इस पर निर्भर है कि आप तुलना किससे कर रहे हैं। Llama 3.1 8B जैसे लोकप्रिय open मॉडल के लिए hosted प्रति token API सस्ते हैं: DeepInfra प्रति मिलियन input token $0.02 और प्रति मिलियन output token $0.04 लेता है। gpt-5-mini ($2.00 प्रति मिलियन output token) या Claude Haiku 4.5 ($5.00) के मुक़ाबले, open 7B–8B मॉडल चलाने वाले किराये के RTX 3060 से RTX 5090 तक किसी भी GPU की प्रति token लागत कम पड़ती है, बशर्ते GPU लगातार काम में रहे। gpt-4o-mini ($0.60) के मुक़ाबले सिर्फ़ सस्ते कार्ड, जैसे RTX 3060, साफ़ तौर पर आगे रहते हैं।

8B मॉडल के साथ RTX 4090 प्रति सेकंड कितने token बनाता है?

Hardware Corner ने RTX 4090 पर Qwen3 8B को 4-bit quantization और 16K context के साथ, एक बार में एक अनुरोध चलाकर, 104 token प्रति सेकंड मापे। llama.cpp scoreboard छोटे Llama 2 7B के लिए Q4_0 और छोटे context के साथ 186 token प्रति सेकंड दिखाता है।

किराये के RTX 4090 पर दस लाख output token की लागत कितनी है?

$0.35 प्रति घंटे और लगभग 104 token प्रति सेकंड पर, एक घंटे में लगभग 3,76,000 token बनते हैं, इसलिए दस लाख output token पर GPU समय का लगभग $0.93 खर्च होता है। prompt पढ़ना जवाब लिखने से कहीं तेज़ होता है, इसलिए input token से खर्च बहुत कम बढ़ता है।

API की तुलना में घंटे वाला GPU कब ज़्यादा समझदारी है?

जब आपको जो मॉडल चाहिए वह प्रति token उपलब्ध न हो (आपका अपना fine-tune, कोई community मॉडल, कोई ख़ास quantization), जब आप मीटर वाले token की जगह प्रति घंटा तय लागत चाहते हों, या जब आप किसी ऐसे closed मॉडल से तुलना कर रहे हों जो प्रति मिलियन output token $2 या उससे ज़्यादा लेता है।

घंटे के हिसाब से GPU या प्रति token API? 7B–8B मॉडल चलाने की असली लागत

Llama 3.1 8B या Qwen 2.5 7B जैसे छोटे open AI मॉडल के लिए भुगतान के दो आम तरीके हैं:

प्रति token: कोई कंपनी मॉडल होस्ट करती है और आपके भेजे और पाए गए हर token का पैसा लेती है।
प्रति घंटा: आप मॉडल चलाने वाला GPU किराये पर लेते हैं और समय का भुगतान करते हैं, token चाहे जितने इस्तेमाल करें।

पहली नज़र में इन कीमतों की तुलना नामुमकिन लगती है: एक तरफ़ “$0.04 प्रति मिलियन token”, दूसरी तरफ़ “$0.35 प्रति घंटा”। यह लेख दोनों को एक ही इकाई में बदलता है और एक असल जैसे काम का पूरा हिसाब लगाता है। सभी कीमतें सितंबर 2026 में जाँची गईं; स्रोत आख़िर में दिए गए हैं।

कदम 1: कंज़्यूमर GPU कितनी तेज़ी से लिखता है?

असल मायने रखने वाली स्पीड यह है कि GPU एक अनुरोध के लिए प्रति सेकंड कितने token बनाता है। हम Hardware Corner के माप इस्तेमाल करते हैं, जिन्होंने Qwen3 8B को 4-bit quantization (Q4_K_XL) और 16K context के साथ llama.cpp में टेस्ट किया। Ollama भी इसी engine पर बना है।

GPU	प्रति सेकंड token (एक अनुरोध)	प्रति घंटा token
RTX 3060 12 GB	42	लगभग 1,51,000
RTX 3090	87	लगभग 3,15,000
RTX 4090	104	लगभग 3,76,000
RTX 5090	145	लगभग 5,23,000

छोटे prompt तेज़ चलते हैं। llama.cpp प्रोजेक्ट का अपना scoreboard, छोटे Llama 2 7B को Q4_0 और छोटे context के साथ, इन्हीं चार कार्ड के लिए 76, 158, 186 और 290 token प्रति सेकंड दिखाता है। हम कम वाले, ज़्यादा यथार्थवादी आँकड़े इस्तेमाल करते हैं।

आपका prompt पढ़ना जवाब लिखने से कहीं तेज़ होता है। यही scoreboard RTX 3060 पर prompt processing लगभग 2,100 token प्रति सेकंड और RTX 4090 पर लगभग 12,000 दिखाता है। इसलिए घंटे वाले GPU पर लंबे prompt में बहुत कम अतिरिक्त समय लगता है।

कदम 2: घंटे की कीमत को प्रति मिलियन token की कीमत में बदलें

घंटे की कीमत को प्रति घंटा token से भाग दें। हम सितंबर 2026 में GPU रेंटल साइटों की आम on-demand कीमतें इस्तेमाल करते हैं:

GPU	प्रति घंटा कीमत	10 लाख output token की लागत, GPU लगातार काम में
RTX 3060 12 GB	$0.06	लगभग $0.40
RTX 3090	$0.20	लगभग $0.64
RTX 4090	$0.35	लगभग $0.93
RTX 5090	$0.55	लगभग $1.05

“लगातार काम में” सबसे अहम बात है। ये आँकड़े मानकर चलते हैं कि GPU पूरे घंटे लिखता रहता है। अगर वह आधे समय खाली बैठा है, तो प्रति token लागत दोगुनी हो जाती है।

कदम 3: प्रति token API क्या लेते हैं

प्रति मिलियन token की कीमतें, input / output:

मॉडल	प्रदाता	Input	Output
Llama 3.1 8B Instruct Turbo	DeepInfra	$0.02	$0.04
Gemma 3 12B	DeepInfra	$0.05	$0.15
Qwen3.5 9B	DeepInfra	$0.10	$0.15
gpt-4o-mini	OpenAI	$0.15	$0.60
gpt-5-mini	OpenAI	$0.25	$2.00
Claude Haiku 4.5	Anthropic	$1.00	$5.00

दो बातें साफ़ दिखती हैं। hosted open मॉडल बहुत सस्ते हैं। और closed छोटे मॉडल सबसे सस्ते open 8B मॉडल से प्रति output token 15 से 125 गुना महँगे हैं।

कदम 4: एक असली काम, हर तरीके से कीमत

मान लीजिए आप 1,000 अनुरोध चलाते हैं। हर अनुरोध 1,500 token भेजता है (निर्देश और एक दस्तावेज़) और 500 token वापस पाता है। यानी 15 लाख input token और 5 लाख output token।

विकल्प	काम की लागत	टिप्पणी
DeepInfra पर Llama 3.1 8B	लगभग $0.05	सबसे सस्ता, बहुत बड़े अंतर से
gpt-4o-mini	लगभग $0.53
gpt-5-mini	लगभग $1.38
Claude Haiku 4.5	लगभग $4.00
किराये का RTX 3060, एक बार में एक अनुरोध	लगभग $0.21	लगभग 3.5 घंटे
किराये का RTX 3090	लगभग $0.33	लगभग 1.7 घंटे
किराये का RTX 4090	लगभग $0.48	लगभग 1.4 घंटे
किराये का RTX 5090	लगभग $0.54	लगभग 1 घंटा

GPU वाले आँकड़े हमने ऐसे निकाले: 5,00,000 output token को कदम 1 की स्पीड से भाग दिया, उसमें 15 लाख prompt token को llama.cpp scoreboard की prompt स्पीड से भाग देकर जोड़ा, और फिर घंटे की कीमत से गुणा किया।

इसका मतलब क्या है

अगर कोई hosted API आपका चाहा हुआ open मॉडल देता है, तो उसे चलाने का सबसे सस्ता तरीका वही है। Llama 3.1 8B के लिए घंटे के हिसाब से किराये पर ली गई कोई भी चीज़ $0.04 प्रति मिलियन output token के आस-पास भी नहीं आती।

ज़्यादातर closed छोटे मॉडल के मुक़ाबले घंटे वाला GPU सस्ता है, अगर open मॉडल आपके काम के लिए काफ़ी अच्छा है। लगातार काम में लगे RTX 3060 की प्रति output token लागत gpt-4o-mini से कम है, और RTX 3090 की लगभग बराबर; ऊपर वाले काम की तरह input token भी गिनें, तो दोनों सस्ते पड़ते हैं। टेबल का हर कार्ड gpt-5-mini या Claude Haiku से सस्ता है। 7B–8B open मॉडल काफ़ी अच्छे जवाब देगा या नहीं, यह काम पर निर्भर है: classification, fields निकालने, सारांश और छोटे rewrite के लिए यह आमतौर पर ठीक रहता है, लंबी reasoning में कमज़ोर पड़ता है।

घंटे वाला GPU तब समझदारी है जब:

आपको जो मॉडल चाहिए वह किसी प्रति token API पर नहीं है: आपका अपना fine-tune, कोई community मॉडल या कोई ख़ास quantization।
आप मीटर वाले बिल की जगह प्रति घंटा तय लागत चाहते हैं, जैसे टेस्टिंग के दौरान या रात भर batch जॉब चलाते समय।
आपके prompt लंबे हैं। घंटे के हिसाब से किराये के GPU पर input token की लागत बस उन्हें पढ़ने में लगे कुछ सेकंड होती है।
आप ख़ुद कार्ड ख़रीदने से पहले किसी मॉडल को असली हार्डवेयर पर आज़माना चाहते हैं।

प्रति token तब समझदारी है जब:

आपका ट्रैफ़िक रुक-रुककर आता है और बीच में लंबे अंतराल होते हैं। इंतज़ार के समय आप कुछ नहीं देते।
आपको एक साथ कई अनुरोध चाहिए। एक अकेला कंज़्यूमर GPU डिफ़ॉल्ट रूप से एक बार में एक अनुरोध चलाता है: Ollama का OLLAMA_NUM_PARALLEL डिफ़ॉल्ट रूप से 1 होता है।
आपका चाहा मॉडल hosted है और उसकी कीमत से आप संतुष्ट हैं।

प्राइवेसी दोनों तरफ़ मायने रखती है

प्रति token API में आपके prompt API कंपनी के पास जाते हैं। किराये के GPU में वे उस मशीन पर जाते हैं जिसे आपने किराये पर लिया है। उदाहरण के लिए GPUFlow पर मॉडल provider के अपने कंप्यूटर पर चलता है, इसलिए prompt और जवाब उसी से होकर गुज़रते हैं। हमारे docs यह साफ़ कहते हैं: पासवर्ड, कार्ड नंबर या ऐसी कोई भी चीज़ न भेजें जो आप किसी अजनबी से साझा न करें। जब डेटा सच में संवेदनशील हो, तो इनमें से कोई भी विकल्प अपने हार्डवेयर पर मॉडल चलाने की जगह नहीं ले सकता।

GPUFlow पर इसे कैसे टेस्ट करें

GPUFlow पर आप GPU को तय घंटों के लिए किराये पर लेते हैं और एक API key पाते हैं जो OpenAI key की तरह काम करती है। बिल सेकंड के हिसाब से बनता है, और अगर आप जल्दी ख़त्म करते हैं तो बचा हुआ समय आपके क्रेडिट में लौट आता है। अपनी प्रति token लागत मापने के लिए:

जो मॉडल आप चाहते हैं उसे चला रहा GPU एक घंटे के लिए किराये पर लें।
अपनी key के साथ अपनी स्क्रिप्ट को https://gpuflow.app/v1 पर पॉइंट करें (कैसे)।
वापस मिले token गिनें और आपने जितना भुगतान किया उसे उनसे भाग दें।

असली ट्रैफ़िक के दस मिनट किसी भी टेबल से ज़्यादा बता देते हैं।

स्रोत

सभी की जाँच सितंबर 2026 में की गई।

GPU स्पीड, Qwen3 8B Q4_K_XL, 16K context पर: Hardware Corner GPU ranking (9 दिसंबर 2025 को अपडेट)
llama.cpp CUDA scoreboard, Llama 2 7B Q4_0: github.com/ggml-org/llama.cpp/discussions/15013
Ollama के समानांतर अनुरोध: docs.ollama.com/faq
DeepInfra की कीमतें: deepinfra.com/pricing
OpenAI की कीमतें: gpt-4o-mini, gpt-5-mini
Anthropic की कीमतें: platform.claude.com pricing
GPU किराये की कीमतों की रेंज: GPUFlow docs, अपने GPU की कीमत कैसे तय करें