Ollama ile Yerel LLM Kurulumu

Neden Yerel LLM

Bulut tabanli AI servisleri gizlilik endisesi yaratir. Ollama modelleri kendi makinenizde calistirir.

Kurulum

curl -fsSL https://ollama.com/install.sh | sh

Model Indirme

ollama pull llama3.1
ollama pull deepseek-coder-v2
ollama run llama3.1

REST API

curl http://localhost:11434/api/generate   -H "Content-Type: application/json"   -d "{"model":"llama3.1","prompt":"PHP nedir?","stream":false}"

Python Entegrasyonu

import ollama

def sor(soru: str) -> str:
    r = ollama.chat(
        model="llama3.1",
        messages=[
            {"role": "system", "content": "Yazilim uzmanisin."},
            {"role": "user",   "content": soru}
        ]
    )
    return r["message"]["content"]

print(sor("Docker nedir?"))

Ozel Model

FROM llama3.1
SYSTEM "Sen Turkce yazilim asistanisin."
PARAMETER temperature 0.7

ollama create asistan -f Modelfile
ollama run asistan