Ollama ile Lokal LLM: Kendi Bilgisayarınızda GPT-4 Kalitesinde Model
Ollama kullanarak Llama 3.1, Mistral ve Qwen2.5 modellerini internet bağlantısı olmadan çalıştırın.
Neden Lokal LLM?
- Gizlilik: Verileriniz dışarı çıkmaz
- Maliyet: API ücreti yok
- Hız: Ağ gecikmesi yok
- Offline: İnternet bağlantısı gerekmez
Kurulum
macOS ve Linux için tek satır kurulum komutu mevcuttur. Windows için resmi siteden indirici kullanılır.
Popüler Modeller
ollama pull komutuyla modeller indirilebilir.
- llama3.1: Genel amaçlı, 4.7GB disk alanı
- mistral: Hızlı ve verimli, 4.1GB
- qwen2.5-coder: Kod yazma odaklı, 4.7GB
- deepseek-r1:7b: Akıl yürütme odaklı
REST API
Ollama localhost 11434 portunda REST API sunar. JSON formatında model adı ve prompt gönderilir, yanıt response alanında döner.
PHP Entegrasyonu
OllamaClient sınıfı oluşturulur. generate metodu filegetcontents ve streamcontextcreate kullanarak POST isteği atar. json_decode ile yanıt parse edilir.
Benchmark: Apple Silicon M3
| Model | Hız (tok/s) | VRAM | Kalite | |-------|------------|------|--------| | Llama 3.1 8B | 78 | 5GB | Yüksek | | Mistral 7B | 92 | 4GB | Yüksek | | Qwen2.5 Coder 7B | 85 | 4GB | Çok Yüksek | | DeepSeek R1 7B | 71 | 5GB | Çok Yüksek |
M3 Pro ile Qwen2.5 Coder, kod yazma görevlerinde GPT-4o ya yakın kalite sunuyor.
İlgili yazılar