יש שתי דרכים נפוצות לשלם על מודל AI פתוח וקטן כמו Llama 3.1 8B או Qwen 2.5 7B:
- לפי טוקן: חברה מארחת את המודל וגובה על כל טוקן שאתם שולחים ומקבלים.
- לפי שעה: אתם שוכרים GPU שמריץ את המודל, ומשלמים על הזמן, לא משנה כמה טוקנים תשתמשו.
במבט ראשון נראה שאי אפשר להשוות בין המחירים: “$0.04 למיליון טוקנים” בצד אחד, “$0.35 לשעה” בצד השני. המאמר הזה ממיר את שניהם לאותה יחידה ומחשב משימה אחת מציאותית. כל המחירים נבדקו בספטמבר 2026; המקורות מופיעים בסוף.
שלב 1: כמה מהר כותב GPU ביתי?
המהירות שחשובה היא כמה טוקנים לשנייה ה-GPU מייצר עבור בקשה אחת. אנחנו משתמשים במדידות של Hardware Corner, שבדקו את Qwen3 8B בקוונטיזציה של 4 ביט (Q4_K_XL) עם context של 16K ב-llama.cpp, אותו מנוע ש-Ollama בנוי עליו.
| GPU | טוקנים לשנייה (בקשה אחת) | טוקנים לשעה |
|---|---|---|
| RTX 3060 12 GB | 42 | כ-151,000 |
| RTX 3090 | 87 | כ-315,000 |
| RTX 4090 | 104 | כ-376,000 |
| RTX 5090 | 145 | כ-523,000 |
פרומפטים קצרים רצים מהר יותר. טבלת התוצאות של פרויקט llama.cpp עצמו, עם Llama 2 7B הקטן יותר ב-Q4_0 ו-context קצר, מראה 76, 158, 186 ו-290 טוקנים לשנייה לאותם ארבעה כרטיסים. אנחנו משתמשים במספרים הנמוכים והמציאותיים יותר.
קריאת הפרומפט מהירה בהרבה מכתיבת התשובה. אותה טבלה מראה עיבוד פרומפט של כ-2,100 טוקנים לשנייה על RTX 3060 וכ-12,000 על RTX 4090. כלומר, ב-GPU לפי שעה, פרומפטים ארוכים מוסיפים מעט מאוד זמן.
שלב 2: הופכים את המחיר לשעה למחיר למיליון טוקנים
מחלקים את המחיר לשעה במספר הטוקנים לשעה. אנחנו משתמשים במחירים טיפוסיים לפי דרישה מאתרי השכרת GPU בספטמבר 2026:
| GPU | מחיר לשעה | עלות למיליון טוקני פלט, כשה-GPU עסוק כל הזמן |
|---|---|---|
| RTX 3060 12 GB | $0.06 | כ-$0.40 |
| RTX 3090 | $0.20 | כ-$0.64 |
| RTX 4090 | $0.35 | כ-$0.93 |
| RTX 5090 | $0.55 | כ-$1.05 |
“עסוק כל הזמן” הוא החלק החשוב. המספרים האלה מניחים שה-GPU כותב לאורך כל השעה. אם הוא לא פעיל חצי מהזמן, העלות לטוקן מוכפלת.
שלב 3: כמה גובים ממשקי API לפי טוקן
מחירים למיליון טוקנים, קלט / פלט:
| מודל | ספק | קלט | פלט |
|---|---|---|---|
| Llama 3.1 8B Instruct Turbo | DeepInfra | $0.02 | $0.04 |
| Gemma 3 12B | DeepInfra | $0.05 | $0.15 |
| Qwen3.5 9B | DeepInfra | $0.10 | $0.15 |
| gpt-4o-mini | OpenAI | $0.15 | $0.60 |
| gpt-5-mini | OpenAI | $0.25 | $2.00 |
| Claude Haiku 4.5 | Anthropic | $1.00 | $5.00 |
שני דברים בולטים. מודלים פתוחים שמוצעים כשירות API זולים מאוד. ומודלים סגורים קטנים עולים פי 15 עד פי 125 לטוקן פלט לעומת מודל ה-8B הפתוח הזול ביותר.
שלב 4: משימה אמיתית אחת, ומה היא עולה בכל אפשרות
נניח שאתם מריצים 1,000 בקשות. כל אחת שולחת 1,500 טוקנים (הוראות ועוד מסמך) ומקבלת 500 טוקנים בחזרה. בסך הכול 1.5 מיליון טוקני קלט ו-0.5 מיליון טוקני פלט.
| אפשרות | עלות המשימה | הערות |
|---|---|---|
| Llama 3.1 8B ב-DeepInfra | כ-$0.05 | הזול ביותר בפער גדול |
| gpt-4o-mini | כ-$0.53 | |
| gpt-5-mini | כ-$1.38 | |
| Claude Haiku 4.5 | כ-$4.00 | |
| RTX 3060 מושכר, בקשה אחת בכל פעם | כ-$0.21 | כ-3.5 שעות |
| RTX 3090 מושכר | כ-$0.33 | כ-1.7 שעות |
| RTX 4090 מושכר | כ-$0.48 | כ-1.4 שעות |
| RTX 5090 מושכר | כ-$0.54 | כשעה |
איך חישבנו את מספרי ה-GPU: 500,000 טוקני פלט חלקי המהירות משלב 1, ועוד 1.5 מיליון טוקני פרומפט חלקי מהירות עיבוד הפרומפט מטבלת התוצאות של llama.cpp, כפול המחיר לשעה.
מה זה אומר
אם יש שירות API שמציע את המודל הפתוח שאתם רוצים, זו הדרך הזולה ביותר להריץ אותו. ב-Llama 3.1 8B, שום דבר ששוכרים לפי שעה לא מתקרב ל-$0.04 למיליון טוקני פלט.
מול רוב המודלים הסגורים הקטנים, GPU לפי שעה זול יותר, בתנאי שהמודל הפתוח מספיק טוב למשימה. RTX 3060 עסוק עולה פחות לטוקן פלט מ-gpt-4o-mini, ו-RTX 3090 עולה בערך אותו דבר; כשמביאים בחשבון גם את טוקני הקלט, כמו במשימה שלמעלה, שניהם זולים יותר. כל כרטיס בטבלה עולה פחות מ-gpt-5-mini או מ-Claude Haiku. האם מודל פתוח בגודל 7B–8B נותן תשובות טובות מספיק תלוי במשימה: בדרך כלל הוא מסתדר היטב עם סיווג, חילוץ שדות, סיכום וניסוח מחדש של טקסטים קצרים, ופחות טוב בהסקה ארוכה.
GPU לפי שעה הגיוני כש:
- המודל שאתם צריכים לא זמין באף API לפי טוקן: fine-tune משלכם, מודל של הקהילה או קוונטיזציה מסוימת.
- אתם רוצים עלות קבועה לשעה במקום חשבון מדוד, למשל בזמן בדיקות או כשמריצים משימת batch במשך הלילה.
- הפרומפטים שלכם ארוכים. ב-GPU ששוכרים לפי שעה, טוקני קלט עולים רק את השניות הספורות שלוקח לקרוא אותם.
- אתם רוצים לנסות מודל על חומרה אמיתית לפני שאתם קונים כרטיס בעצמכם.
לפי טוקן הגיוני כש:
- התעבורה שלכם מגיעה בפרצים עם הפסקות ארוכות. בזמן ההמתנה לא משלמים כלום.
- אתם צריכים הרבה בקשות במקביל. GPU ביתי יחיד מריץ כברירת מחדל בקשה אחת בכל פעם: ערך ברירת המחדל של
OLLAMA_NUM_PARALLELב-Ollama הוא 1. - המודל שאתם רוצים זמין כשירות API והמחיר שלו מתאים לכם.
פרטיות היא שיקול בשני הצדדים
ב-API לפי טוקן, הפרומפטים שלכם עוברים לחברת ה-API. ב-GPU מושכר, הם עוברים למכונה ששכרתם. ב-GPUFlow, למשל, המודל רץ על המחשב של הספק עצמו, כך שהפרומפטים והתשובות עוברים דרכו. התיעוד שלנו אומר את זה במפורש: אל תשלחו סיסמאות, מספרי כרטיסים או כל דבר שלא הייתם משתפים עם אדם זר. אף אחת מהאפשרויות לא מחליפה הרצה של המודל על החומרה שלכם כשהמידע באמת רגיש.
איך לבדוק את זה ב-GPUFlow
ב-GPUFlow שוכרים GPU למספר שעות ומקבלים מפתח API שעובד כמו מפתח של OpenAI. החיוב הוא לפי שנייה, ואם מסיימים מוקדם, הזמן שלא נוצל חוזר לקרדיטים שלכם. כדי למדוד את העלות שלכם לטוקן:
- שכרו לשעה אחת GPU שמריץ את המודל שאתם רוצים.
- הפנו את הסקריפט שלכם ל-
https://gpuflow.app/v1עם המפתח שלכם (איך). - ספרו את הטוקנים שקיבלתם בחזרה וחלקו בהם את מה ששילמתם.
עשר דקות של תעבורה אמיתית יגידו לכם יותר מכל טבלה.
מאמרים קשורים
- העלות האמיתית של השכרת GPU: מה המחיר לשעה לא כולל
- איך להשתמש במפתח API תואם OpenAI ב-Open WebUI, ב-Continue, ב-LangChain ועוד
- Ollama מול vLLM מול TGI: בנצ’מרק הסקה על RTX 4090
מקורות
כולם נבדקו בספטמבר 2026.
- מהירויות GPU, Qwen3 8B Q4_K_XL עם context של 16K: דירוג ה-GPU של Hardware Corner (עודכן ב-9 בדצמבר 2025)
- טבלת התוצאות של llama.cpp ל-CUDA, Llama 2 7B Q4_0: github.com/ggml-org/llama.cpp/discussions/15013
- בקשות מקבילות ב-Ollama: docs.ollama.com/faq
- מחירי DeepInfra: deepinfra.com/pricing
- מחירי OpenAI: gpt-4o-mini, gpt-5-mini
- מחירי Anthropic: תמחור ב-platform.claude.com
- טווחי מחירים להשכרת GPU: תיעוד GPUFlow, איך לתמחר את ה-GPU שלכם