LLM modeli (Large Language Models) su temelj na kojem počivaju svi moderni AI asistenti – od ChatGPT do Claude i Llama. Ali šta zapravo znači „veliki jezički model” i kako on može da razume i generiše tekst na desetine jezika? U ovom vodiću objasnićemo osnave LLM-a na način koji razume i početnik.
Šta je LLM?
LLM je neuronska mreža obučena na ogromnim količinama teksta – knjigama, člancima, web stranicama i dokumentima. Cilj joj je jednostavan: da predvidi sledeću reč u nizu reči. Zvuči prosto, ali kada model ima stotine milijardi parametara, ta sposobnost se pretvara u razumevanje konteksta, logike, pa čak i kreativnosti.
Kako LLM radi – korak po korak
- Tokenizacija: Tekst se deli na tokene (delovi reči, reči, znakovi)
- Ugrađivanje (embedding): Svaki token se pretvara u vektor – niz brojeva
- Pažnja (attention): Model određuje koji tokeni su važni za kontekst
- Predikcija: Model predviđa verovatnoću za svaki sledeći token
- Generisanje: Bira najverovatniji token i ponavlja proces
Šta su tokeni?
Token je osnovna jedinica koju LLM obrađuje. Jedan token može biti cela reč, deo reči ili čak jedan znak. Na primer, reč „računar” može biti jedan token, dok „nepravilnost” može biti podeljena na „ne” + „pravil” + „nost”. Prosečno važi: 1 token ≈ 0.75 reči na engleskom, a na bosanskom/hrvatskom/srpskom je odnos nepovoljniji (više tokena po reči zbog morfologije).
Najpopularniji LLM modeli
Zatvoreni (komercijalni) modeli
- GPT-4o – OpenAI-ov najnapredniji model, brz i sposoban
- Claude 3.5 Sonnet – Anthropic-ov model poznat po sigurnosti i dugačkom kontekstu
- Gemini 1.5 Pro – Google-ov model sa ogromnim kontekstnim prozorom
Otvoreni (open-source) modeli
- Llama 3.1 – Meta-ov model, besplatan za preuzimanje
- Mistral – Evropski model, efikasan i brz
- Qwen 2.5 – Alibaba-ov model sa odličnom višejezičnom podrškom
Kontekstni prozor – koliko LLM može da zapamti?
Kontekstni prozor određuje koliko tokena model može obraditi odjednom. Veći prozor = više teksta odjednom. Tipične vrednosti:
- GPT-4o: 128K tokena (~96.000 reči)
- Claude 3.5: 200K tokena (~150.000 reči)
- Gemini 1.5: 1M tokena (~750.000 reči)
- Llama 3.1: 128K tokena
Zaključak
LLM modeli su moćni alati koji transformišu način na koji komuniciramo sa računarima. Razumevanje osnova – tokena, kontekstnog prozora, razlike između otvorenih i zatvorenih modela – pomaže vam da donesete bolje odluke o tome koji model koristiti i kako da dobijete najbolje rezultate. Bilo da koristite ChatGPT za svakodnevne zadatke ili Llama za lokalne projekte, znanje o LLM-ima je ključno za budućnost rada sa veštačkom inteligencijom.