Moj LLM kod kuće: Ollama, LM Studio i zašto ne plaćam API pretplate

\n

Mesečno $20 za ChatGPT Plus, $20 za Claude Pro, $20 za Gemini Advanced… brzo postaje $100+ za alate koje ne poseduješ. Alternativa: pokreni modele lokalno. Nula mesecne pretplate, podaci ne napuštaju mrežu, radi offline.

\n\n\n\n

Hardver — šta ti treba

\n\n\n\n
    \n
  • GPU VRAM je ključan. 8GB = 7B modele (q4), 12GB = 7B/13B, 24GB = 30B+. Nema GPU? CPU inference radi (sporo), Apple Silicon (M1/M2/M3) je najbolje po €/perf.
  • \n\n
  • RAM: 16GB minimum, 32GB+ preporučeno za veće modele
  • \n\n
  • Disk: SSD, modeli zauzimaju 4-40GB po modelu
  • \n
\n\n\n\n

Ollama — terminal-first, najjednostavniji

\n\n\n\n

curl -fsSL https://ollama.com/install.sh | sh → ollama run llama3.1:8b → radi. API na http://localhost:11434, kompatibilan sa OpenAI SDK-om.

\n\n\n\n
    \n
  • Modeli: llama3.1:8b (generalni), codellama:7b (kod), nomic-embed-text (embeddings), llava:7b (vision)
  • \n\n
  • ollama pull model — skida, ollama list — prikazuje, ollama rm model — briše
  • \n\n
  • Quantizacija: q4_K_M (balans), q8_0 (kvalitet), q2_K (brzina/malo VRAM)
  • \n
\n\n\n\n

LM Studio — GUI, chat, model management

\n\n\n\n

Preuzmi sa lmstudio.ai. Vizuelno pregledaš modele (HuggingFace integracija), čatuješ, poređuješ modele side-by-side, eksportuješ u GGUF/MLX. Ima lokalni server mode (OpenAI-kompatibilan API).

\n\n\n\n
    \n
  • Odličan za testiranje: “Koji model bolje piše Python?” — pokreneš 3 modela istovremeno
  • \n\n
  • Podržava GPU offloading (Metal/CUDA/ROCm/Vulkan)
  • \n\n
  • Preset-i za sistem promptove, temperature, top-p, context length
  • \n
\n\n\n\n

Moj stack

\n\n\n\n
    \n
  • Server (Hetzner CX41): CPU-only, Ollama sa llama3.1:8b za embeddings/RAG, codellama:7b za kod
  • \n\n
  • Laptop (MacBook M2): LM Studio za testiranje, llama3.1:8b i qwen2.5-coder:7b
  • \n\n
  • Cloud fallback: OmniRoute proxy → OpenRouter (besplatni modeli: deepseek-v4-flash-free, nemotron-3-super-free, gemini-3.5-flash) kada lokalni ne stigne
  • \n
\n\n\n\n

Kada koristim šta

\n\n\n\n
ZadatakModelGde
RAG embeddingsnomic-embed-textOllama (server)
Code generationqwen2.5-coder:7b / codellama:7bLM Studio / Ollama
General chatllama3.1:8bOllama / LM Studio
Complex reasoningdeepseek-v4-flash-freeOmniRoute (cloud)
Long context (100k+)gemini-3.5-flashOmniRoute (cloud)
\n\n\n\n

Performanse (moje merenje)

\n\n\n\n
    \n
  • llama3.1:8b q4_K_M na CPU (AMD EPYC): ~8 tok/s
  • \n\n
  • qwen2.5-coder:7b q4 na M2 Pro: ~35 tok/s
  • \n\n
  • Cloud (Gemini 3.5 Flash): ~1000+ tok/s, 1M kontekst
  • \n
\n\n\n\n

Vredi li?

\n\n\n\n

Ako radiš sa osetljivim podacima (kod, finansije, zdravlje, pravni dokamenti) — da, apsolutno.
\nAko samo pitaš “koja je prestonica Francuske” — cloud je brže i lakše.
\nHybrid pristup (lokalno za privatno, cloud za teško) = najbolje od dva sveta.

\n\n\n\n

Koji model pokrećeš lokalno? Deli specove i iskustvo.

\n
Scroll to top