Mesečno $20 za ChatGPT Plus, $20 za Claude Pro, $20 za Gemini Advanced… brzo postaje $100+ za alate koje ne poseduješ. Alternativa: pokreni modele lokalno. Nula mesecne pretplate, podaci ne napuštaju mrežu, radi offline.
\n\n\n\nHardver — šta ti treba
\n\n\n\n- \n
- GPU VRAM je ključan. 8GB = 7B modele (q4), 12GB = 7B/13B, 24GB = 30B+. Nema GPU? CPU inference radi (sporo), Apple Silicon (M1/M2/M3) je najbolje po €/perf. \n\n
- RAM: 16GB minimum, 32GB+ preporučeno za veće modele \n\n
- Disk: SSD, modeli zauzimaju 4-40GB po modelu \n
Ollama — terminal-first, najjednostavniji
\n\n\n\ncurl -fsSL https://ollama.com/install.sh | sh → ollama run llama3.1:8b → radi. API na http://localhost:11434, kompatibilan sa OpenAI SDK-om.
- \n
- Modeli:
llama3.1:8b(generalni),codellama:7b(kod),nomic-embed-text(embeddings),llava:7b(vision) \n\n ollama pull model— skida,ollama list— prikazuje,ollama rm model— briše \n\n- Quantizacija: q4_K_M (balans), q8_0 (kvalitet), q2_K (brzina/malo VRAM) \n
LM Studio — GUI, chat, model management
\n\n\n\nPreuzmi sa lmstudio.ai. Vizuelno pregledaš modele (HuggingFace integracija), čatuješ, poređuješ modele side-by-side, eksportuješ u GGUF/MLX. Ima lokalni server mode (OpenAI-kompatibilan API).
\n\n\n\n- \n
- Odličan za testiranje: “Koji model bolje piše Python?” — pokreneš 3 modela istovremeno \n\n
- Podržava GPU offloading (Metal/CUDA/ROCm/Vulkan) \n\n
- Preset-i za sistem promptove, temperature, top-p, context length \n
Moj stack
\n\n\n\n- \n
- Server (Hetzner CX41): CPU-only, Ollama sa
llama3.1:8bza embeddings/RAG,codellama:7bza kod \n\n - Laptop (MacBook M2): LM Studio za testiranje,
llama3.1:8biqwen2.5-coder:7b\n\n - Cloud fallback: OmniRoute proxy → OpenRouter (besplatni modeli: deepseek-v4-flash-free, nemotron-3-super-free, gemini-3.5-flash) kada lokalni ne stigne \n
Kada koristim šta
\n\n\n\n| Zadatak | Model | Gde |
|---|---|---|
| RAG embeddings | nomic-embed-text | Ollama (server) |
| Code generation | qwen2.5-coder:7b / codellama:7b | LM Studio / Ollama |
| General chat | llama3.1:8b | Ollama / LM Studio |
| Complex reasoning | deepseek-v4-flash-free | OmniRoute (cloud) |
| Long context (100k+) | gemini-3.5-flash | OmniRoute (cloud) |
Performanse (moje merenje)
\n\n\n\n- \n
llama3.1:8bq4_K_M na CPU (AMD EPYC): ~8 tok/s \n\nqwen2.5-coder:7bq4 na M2 Pro: ~35 tok/s \n\n- Cloud (Gemini 3.5 Flash): ~1000+ tok/s, 1M kontekst \n
Vredi li?
\n\n\n\nAko radiš sa osetljivim podacima (kod, finansije, zdravlje, pravni dokamenti) — da, apsolutno.
\nAko samo pitaš “koja je prestonica Francuske” — cloud je brže i lakše.
\nHybrid pristup (lokalno za privatno, cloud za teško) = najbolje od dva sveta.
Koji model pokrećeš lokalno? Deli specove i iskustvo.
\n