График с ровной линией почасовой оплаты и растущей линией оплаты за токены
Сравнения

Почасовой GPU или оплата за токены? Сколько на самом деле стоит запуск модели на 7B–8B

Простое сравнение стоимости: аренда потребительского GPU с почасовой оплатой против API с оплатой за токены. Актуальные цены, замеренная скорость и расчёт на примере 1000 запросов.

Платить за небольшую открытую модель ИИ вроде Llama 3.1 8B или Qwen 2.5 7B обычно можно двумя способами:

  • За токены: компания хостит модель и берёт плату за каждый отправленный и полученный токен.
  • За часы: вы арендуете GPU, на котором работает модель, и платите за время — сколько бы токенов ни потратили.

Цены выглядят несравнимыми: с одной стороны «$0,04 за миллион токенов», с другой — «$0,35 в час». В этой статье мы переводим оба варианта в одни единицы и разбираем одну реалистичную задачу. Все цены проверены в сентябре 2026 года, источники — в конце.

Шаг 1. Насколько быстро пишет потребительский GPU?

Важна скорость генерации: сколько токенов в секунду GPU выдаёт на один запрос. Мы берём замеры Hardware Corner: они тестировали Qwen3 8B в 4-битной квантизации (Q4_K_XL) с контекстом 16K в llama.cpp — том самом движке, на котором построена Ollama.

GPUТокенов в секунду (один запрос)Токенов в час
RTX 3060 12 ГБ42около 151 000
RTX 309087около 315 000
RTX 4090104около 376 000
RTX 5090145около 523 000

С короткими промптами скорость выше. Сводная таблица самого проекта llama.cpp для меньшей Llama 2 7B в Q4_0 с коротким контекстом показывает 76, 158, 186 и 290 токенов в секунду на тех же четырёх картах. Мы используем более низкие и более реалистичные цифры.

Чтение промпта идёт гораздо быстрее, чем генерация ответа. По той же таблице обработка промпта — около 2100 токенов в секунду на RTX 3060 и около 12 000 на RTX 4090. Поэтому на почасовом GPU длинные промпты почти не добавляют времени.

Шаг 2. Переводим цену часа в цену миллиона токенов

Делим цену часа на число токенов в час. Берём типичные цены по требованию на сайтах аренды GPU в сентябре 2026 года:

GPUЦена за часСтоимость 1 млн выходных токенов при постоянной загрузке GPU
RTX 3060 12 ГБ$0,06около $0,40
RTX 3090$0,20около $0,64
RTX 4090$0,35около $0,93
RTX 5090$0,55около $1,05

Ключевое здесь — «при постоянной загрузке». Эти цифры предполагают, что GPU генерирует текст весь час. Если он половину времени простаивает, стоимость токена удваивается.

Шаг 3. Сколько берут API с оплатой за токены

Цены за миллион токенов, вход / выход:

МодельПровайдерВходВыход
Llama 3.1 8B Instruct TurboDeepInfra$0,02$0,04
Gemma 3 12BDeepInfra$0,05$0,15
Qwen3.5 9BDeepInfra$0,10$0,15
gpt-4o-miniOpenAI$0,15$0,60
gpt-5-miniOpenAI$0,25$2,00
Claude Haiku 4.5Anthropic$1,00$5,00

Бросаются в глаза две вещи. Хостинговые открытые модели очень дешёвые. А закрытые небольшие модели стоят в 15–125 раз дороже за выходной токен, чем самая дешёвая открытая модель на 8B.

Шаг 4. Одна реальная задача, посчитанная всеми способами

Допустим, вы выполняете 1000 запросов. Каждый отправляет 1500 токенов (инструкции плюс документ) и получает 500 токенов в ответ. Итого 1,5 млн входных токенов и 0,5 млн выходных.

ВариантСтоимость задачиПримечание
Llama 3.1 8B на DeepInfraоколо $0,05Дешевле всех с большим отрывом
gpt-4o-miniоколо $0,53
gpt-5-miniоколо $1,38
Claude Haiku 4.5около $4,00
Арендованная RTX 3060, по одному запросу за разоколо $0,21Примерно 3,5 часа
Арендованная RTX 3090около $0,33Примерно 1,7 часа
Арендованная RTX 4090около $0,48Примерно 1,4 часа
Арендованная RTX 5090около $0,54Примерно 1 час

Как мы считали для GPU: 500 000 выходных токенов делим на скорость из шага 1, прибавляем 1,5 млн токенов промпта, делённые на скорость обработки промпта из таблицы llama.cpp, и умножаем на цену часа.

Что из этого следует

Если нужная открытая модель есть у хостингового API, это самый дешёвый способ её запускать. Для Llama 3.1 8B ничто из почасовой аренды и близко не подходит к $0,04 за миллион выходных токенов.

По сравнению с большинством закрытых небольших моделей почасовой GPU дешевле — если открытой модели хватает для вашей задачи. Загруженная RTX 3060 обходится за выходной токен дешевле gpt-4o-mini, а RTX 3090 — примерно так же; если учесть и входные токены, как в задаче выше, дешевле обе. Любая карта из таблицы дешевле gpt-5-mini или Claude Haiku. Достаточно ли хороши ответы открытой модели на 7B–8B, зависит от задачи: с классификацией, извлечением полей, суммаризацией и короткими переписываниями она обычно справляется, а в длинных рассуждениях заметно слабее.

Почасовой GPU имеет смысл, когда:

  • Нужной модели нет ни у одного API с оплатой за токены: ваш собственный файнтюн, модель от сообщества или конкретная квантизация.
  • Вам нужна фиксированная стоимость часа, а не оплату по счётчику — например, пока вы тестируете или гоняете пакетную задачу ночью.
  • У вас длинные промпты. На GPU с почасовой оплатой входные токены стоят лишь те несколько секунд, которые уходят на их чтение.
  • Вы хотите попробовать модель на реальном железе, прежде чем покупать карту.

Оплата за токены имеет смысл, когда:

  • Трафик приходит всплесками с долгими паузами. Пока вы ждёте, вы ничего не платите.
  • Нужно много запросов одновременно. Один потребительский GPU по умолчанию обрабатывает один запрос за раз: OLLAMA_NUM_PARALLEL в Ollama по умолчанию равен 1.
  • Нужная модель есть на хостинге, и её цена вас устраивает.

Приватность важна в обоих случаях

В случае API с оплатой за токены ваши промпты уходят компании, которой принадлежит API. В случае арендованного GPU — на машину, которую вы арендуете. На GPUFlow, например, модель работает на собственном компьютере провайдера, поэтому промпты и ответы проходят через него. В нашей документации это сказано прямо: не отправляйте пароли, номера карт и всё, чем не поделились бы с незнакомцем. Если данные действительно чувствительные, ни один из вариантов не заменит запуск модели на собственном железе.

Как проверить это на GPUFlow

На GPUFlow вы арендуете GPU на определённое число часов и получаете API-ключ, который работает как ключ OpenAI. Оплата посекундная, а если вы закончите раньше, неиспользованное время вернётся в кредиты. Чтобы посчитать собственную стоимость токена:

  1. Арендуйте на один час GPU с нужной моделью.
  2. Направьте свой скрипт на https://gpuflow.app/v1 со своим ключом (как это сделать).
  3. Посчитайте, сколько токенов вы получили, и разделите на них заплаченную сумму.

Десять минут реального трафика скажут больше любой таблицы.

Похожие статьи

Источники

Всё проверено в сентябре 2026 года.

Частые вопросы

Аренда GPU с почасовой оплатой дешевле, чем API с оплатой за токены?

Зависит от того, с чем сравнивать. Для популярных открытых моделей вроде Llama 3.1 8B хостинговые API с оплатой за токены дешевле: DeepInfra берёт $0,02 за миллион входных токенов и $0,04 за миллион выходных. А по сравнению с gpt-5-mini ($2,00 за миллион выходных токенов) или Claude Haiku 4.5 ($5,00) любая арендованная карта от RTX 3060 до RTX 5090 с открытой моделью на 7B–8B обходится дешевле в пересчёте на токен — если её постоянно загружать работой. По сравнению с gpt-4o-mini ($0,60) явно выигрывают только более дешёвые карты, например RTX 3060.

Сколько токенов в секунду выдаёт RTX 4090 на модели 8B?

По замерам Hardware Corner, RTX 4090 выдаёт 104 токена в секунду на Qwen3 8B в 4-битной квантизации и контекстом 16K, по одному запросу за раз. Сводная таблица llama.cpp показывает 186 токенов в секунду для меньшей Llama 2 7B в Q4_0 с коротким контекстом.

Сколько стоит миллион выходных токенов на арендованной RTX 4090?

При цене $0,35 в час и скорости около 104 токенов в секунду за час получается примерно 376 000 токенов, то есть миллион выходных токенов обходится примерно в $0,93 времени GPU. Чтение промпта идёт гораздо быстрее, чем генерация ответа, поэтому входные токены почти не добавляют к стоимости.

Когда почасовой GPU выгоднее API?

Когда нужной модели нет у API с оплатой за токены (ваш собственный файнтюн, модель от сообщества, конкретная квантизация), когда вы хотите фиксированную стоимость часа вместо счётчика токенов или когда сравниваете с закрытой моделью, которая берёт $2 и больше за миллион выходных токенов.