Community recipes for serving LLMs on RTX 3090/4090/5090 CUDA gpus. Multi-engine (vLLM, llama.cpp, ik_llama) and model-agnostic. Currently shipping Qwen3.6-27B Qwen3.6 35B Gemma 4 26B Gemma 4 31B configs for 1× and 2× cards.
Деньги в теме есть: GPUaaS и AI inference рынки растут, а локальный inference продаётся через privacy, cost control, latency и offline use.
ЗАХВАТ34
Главное слабое место: recipes, YAML, shell scripts и benchmark tables легко копируются, а distribution сильнее у Ollama/Open WebUI/LM Studio/LocalAI и cloud-платформ.
ДОСТУП72
Apache-2.0 разрешает коммерческое использование, repo активный и с 17 контрибьюторами; мешают молодость проекта, bus-factor, отсутствие packaging и зависимость от upstream engines/model licenses.
«Заработать можно, но upside топит слабый capture: ценность легко скопировать и встроить в более крупные платформы.»
Рыночный анализ · Обзор
club-3090 — набор проверенных рецептов и инструментов для запуска современных LLM локально на RTX 3090/4090/5090.
local LLM serving / consumer-GPU inference ops / self-hosted AI infrastructureЗРЕЛОСТЬ · РАСТЁТ
ЯЗЫК
Python
ЛИЦЕНЗИЯ
Apache-2.0
РЕЕСТР
none
РЕЛИЗ
v0.10.2
КОНТРИБЬЮТОРЫ
17
Что делает
Проект даёт Docker Compose-конфиги, патчи, launch-скрипты, TUI и бенчмарки для vLLM, llama.cpp и ik_llama. Пользователь выбирает модель и GPU, а repo поднимает OpenAI-compatible API на localhost. Дополнительно есть проверки запуска, benchmark flow и подсказки, влезет ли модель в 1×/2× RTX 3090.
Какую боль решает
Локальный LLM-serving на consumer GPU часто ломается на VRAM, CUDA, quantization, KV-cache, engine-specific флагах и несовместимых моделях; club-3090 превращает это в воспроизводимый путь “выбери модель → выбери GPU → запусти API”.
Сценарии использования
+Homelab: поднять Qwen/Gemma локально на 1–2 RTX 3090.
+Dev backend: заменить OpenAI API локальным `localhost:8020/v1/chat/completions`.
+Privacy-sensitive inference: держать prompts и документы на своей машине.
+Cost optimization: понять, когда локальная 3090 дешевле облачного GPU/API.
+Benchmark lab: сравнить vLLM vs llama.cpp vs ik_llama на конкретной карте.
Целевой пользователь
ML/AI-инженер, local-LLM power user, indie developer, small team с 3090/4090/5090, homelab-энтузиаст.
High-performance serving framework для production/RL; club-3090 упоминает его как evaluated/blocked route.
Позиционирование
club-3090 не лидер в local LLM serving как категории. Это нишевый underdog-лидер в узкой поднише проверенных 24GB consumer GPU recipes, бенчмарков и fit decisions; ценность в curated hardware knowledge, а не в новом engine.
Local Ollama + hosted cloud models when local GPU is insufficient.
8.9M monthly developers, 85% Fortune 500, $88M raised — по TechCrunch, не audited.
Free$0
Pro$20/mo or $200/yr
Max$100/mo
Текущая монетизация проекта
Подтверждённой монетизации самого проекта не найдено в собранных данных. Homepage нет, registry install нет, owner — User, verified=False; нет данных о cloud, sponsors, paid support или company page. Текущий статус — community/hobby OSS, не open-core business.
Коммерческий потенциал
ПОТЕНЦИАЛ · СРЕДНИЙ
Заработать можно не на библиотеке как таковой, а на productized local inference appliance для 24–32GB consumer GPU и paid support для small teams.
Спрос и рынок
Спрос высокий: GPUaaS и inference рынки крупные и растущие, а локальный inference выигрывает там, где важны privacy, fixed cost, latency и offline режим. При этом платёжеспособный спрос сильнее у SMB/dev teams, чем у homelab-аудитории.
Ров / защищённость
Сейчас ров слабый: код, YAML и docs легко копируются. Потенциальный ров — verified benchmark corpus, community hardware matrix и trusted known-good recipes для consumer GPUs; это data/community moat, не code moat.
Модели монетизации
+Paid support / setup package: $199–$999 one-time или $99–$499/mo за помощь с 1–2 GPU rigs, CUDA, WSL2, models, exposed API и monitoring.
+Club-3090 Pro / local appliance: signed installer, auto-detect GPU/driver/VRAM, model fit planner, rollback, config marketplace, GUI/TUI polish.
+SMB privacy AI stack: локальный OpenAI-compatible backend на существующих GPU для юристов, врачей, dev agencies и finance analysts.
+Benchmark/certification database: paid access к verified TPS/VRAM/context results by GPU/model/engine/driver.
+Enterprise docs: model license matrix, data retention, auditability.
+SLA/support channel.
+Reproducible benchmark registry.
+Windows-native story или polished WSL2 automation.
+Clear pricing and paid offer.
⚖ ЛИЦЕНЗИЯ · МОЖНО ЛИ КОММЕРЦИАЛИЗИРОВАТЬ
Apache-2.0 — коммерчески дружелюбная лицензия: можно использовать, модифицировать, продавать продукт и закрытые деривативы при соблюдении notice/license условий. Copyleft-риска уровня GPL/AGPL нет. Но нужен отдельный аудит upstream images, vendored patches, engine licenses и лицензий model weights; кодовая лицензия не даёт права коммерчески использовать любые модели.
Риски и подводные камни
ВЫСОКИЙСЛАБЫЙ РОВ
YAML/scripts/docs легко форкнуть или встроить в Ollama/Open WebUI/LocalAI; удержание ценности слабое.
ВЫСОКИЙПРОЧЕЕ
vLLM, llama.cpp, ik_llama, CUDA, drivers и model architectures меняются быстро; support burden высокий.
СРЕДНИЙМАЛЫЙ РЫНОК
3090/4090/5090 users растут, но enterprise buying чаще уходит в managed GPU/API.
СРЕДНИЙКОНКУРЕНЦИЯ
Homelab users price-sensitive и любят free OSS; платить будут в основном SMB/dev teams с реальной болью.
СРЕДНИЙЮР. СЕРАЯ ЗОНА
Код Apache-2.0, но веса Qwen/Gemma/других моделей имеют отдельные лицензии и usage terms.
СРЕДНИЙПРОЧЕЕ
One-command scripts, Docker, HF tokens и локальный OpenAI API требуют hardening перед B2B.
СРЕДНИЙЗАВИСИМОСТЬ ОТ АВТОРА
Owner — individual user, проект моложе 3 месяцев; 17 contributors помогают, но governance ещё не зрелый.
СРЕДНИЙПРОЧЕЕ
Consumer rigs отличаются BIOS, PCIe, NVLink, PSU, cooling, WSL2 и driver versions.
+Коммерческие цены и масштабы не перепроверялись заново; структурированы только из предоставленного разбора.
+Не все коммерческие цифры подтверждены двумя независимыми источниками; часть взята с pricing pages самих провайдеров.
+Масштаб Ollama Cloud взят из TechCrunch и не является audited метрикой.
+Вывод об отсутствии монетизации club-3090 основан на предоставленных фактах и собранном разборе; отдельные private support/sponsors могли не попасть в данные.
+Оценки demand/capture/access являются аналитическим суждением, а не измеренной метрикой.
+Утверждения про moat, GTM, price sensitivity и SMB willingness-to-pay основаны на общих рыночных выводах из разбора.
+Лицензионный вердикт касается Apache-2.0 кода; upstream images, vendored patches, engine licenses и model weights не аудитились детально.
+Звёзды OSS-аналогов взяты из предоставленного разбора и могли измениться.
+Данные README, GitHub enrichment и funnel facts приняты как данность и не перепроверялись.
noonghunna/club-3090 собрал 50 звёзд за окно, тогда как у автора всего 44 подписчиков — эффективная аудитория ≈ 233. Это даёт surprise-индекс 0.0262 (звёзды относительно охвата автора, а не в абсолюте). Удержание форков 0.0% и 0 внешних контрибьюторов отделяют реальный инструмент от разовой вспышки. Акселерация положительная — рост ещё не выдохся.