Kanıtlarla boyutlandırılmış yerel çıkarım.

Tüm ayak izini tahmin edin

Ağırlıklar, niceleme, bağlam uzunluğu, önbellek ve eşzamanlı istekler belleği etkiler. İşletim sistemi ve çalışma zamanı için pay bırakın. CPU çıkarımı ve GPU çıkarımı farklı maliyet ve verim profillerine sahiptir; standart bir VPS GPU erişimi anlamına gelmez.

API modelini özel tutun

Ollama gibi bir çalışma zamanı, uygun bir güvenlik katmanı olmadan internete açılmamalıdır. Mümkün olduğunda loopback veya özel bir arayüze bağlayın ve herhangi bir uzak rotanın önüne kimlik doğrulamalı TLS erişimi koyun.

Kaynağı doğrulanmış indirme

Model lisansını, kaynağını, varsa sağlanan sağlama toplamını ve amaçlanan kullanımı gözden geçirin. Güvenilmeyen model biçimleri veya çevresindeki yükleyici kodu saldırı yüzeyini genişletebilir. Çalışma zamanını ve bağımlılıkları bakımlı tutun.

Gerçek bir isteği kıyaslayın

Uygulamanızın kullandığı bağlam boyutuyla ilk belirteç gecikmesini, saniyedeki belirteç sayısını, bellek baskısını ve eşzamanlı davranışı ölçün. İstek boyutu sınırları, kuyruklama ve zaman aşımları ekleyin; böylece tek bir büyük istem makineyi tüketemez.

API öğesinin herkese açık olmadığını kanıtlayın

Yerel Ollama API erişimi kimlik doğrulama gerektirmez. Yalnızca kendi uygulamanız çağırıyorsa, dinleyiciyi loopback üzerinde tutun. Uzak kullanım için, istek ve eşzamanlılık sınırları olan kimlik doğrulamalı bir TLS ağ geçidi veya özel bir tünel ekleyin. Bir bulut API kimlik bilgisi yerel dinleyiciyi otomatik olarak korumaz. Erişimi olmayan bir cihazdan test edin ve reddedilmesini talep edin.

• Dinleme adresini inceleyin
• İzin verilen ağın dışından kimliği doğrulanmamış bir istek deneyin
• Bağlam boyutuna ve eşzamanlı üretimlere sınırlar uygulayın

ss -lntp
curl --fail http://127.0.0.1:11434/api/tags

Resmi belgeler: Ollama kimlik doğrulama modeli

Küçük bir kıyaslama defteri tutun

Tam model varyantını, niceleme, bağlam uzunluğu, istem ve paralel istek sayısını kaydedin. Model indirme boyutuna eşit olduğunu varsaymak yerine çalışma zamanı belleğini ölçün. Yapılandırma değişikliklerinden sonra aynı isteği tekrarlayın ve hız ölçümlerinin yanı sıra kalite kontrollerini de saklayın. Bir iş yoğun biçimde takas yapıyorsa veya ana uygulamayı dışarı itiyorsa eşzamanlılığı azaltın ya da daha uygun bir makine kullanın.

Bağlamı artırmadan önce model belleğini bütçeleyin

Kaba bir yalnızca ağırlık bayt tahmini için parametre sayısını niceleme bitleriyle çarpıp sekize bölün, ardından çalışma zamanı, bağlam/KV önbelleği, eşzamanlılık ve işletim sistemi payını ekleyin. Bu bir kapasite garantisi değildir. Ollama'da paralel istekler ve daha büyük bağlam bellek kullanımını artırırken kuyruktaki işler görünüşte sağlıklı bir hizmeti yavaşlatabilir. Tek bir model ve tek bir istekle başlayın, en yüksek bellek kullanımını kaydedin ve eşzamanlılığı yalnızca iş yükü gecikme hedefini geçtikten sonra artırın.

• Her kıyaslamada model etiketini, çalışma zamanı sürümünü, niceleştirmeyi, istem uzunluğunu ve çıktı limitini kaydedin.
• Soğuk başlatma yüklemesini sıcak istek performansından ayırın; farklı boyutlandırma sorularını yanıtlarlar.
• Ana makine takas yapıyorsa veya bir süreç sonlandırılıyorsa, CPU çekirdek satın almadan önce eşzamanlılığı/bağlamı düşürün ve bellek olaylarını inceleyin.
• İlk istek hızlı ancak sonraki istekler takılıyorsa yüklenen modelleri ve önbellek büyümesini inceleyin.

# Inspect the model runner and host without changing its configuration.
ollama ps
free -h
df -h

Resmi belgeler: Ollama: bellek, eşzamanlılık ve ağ yapılandırması

Gömme vektörlerini kendi iş yükü olarak test edin

Bir gömme modeli, girdi metnini erişim için vektörlere dönüştürür; uzun bir üretilmiş yanıtla aynı kaynak profili değildir. Dizin oluşturma ve sorgulama sırasında tek bir model ve ön işleme stratejisini tutarlı biçimde kullanın. Ollama'nın embed uç noktası metin veya toplu girdi kabul eder ve truncate false olduğunda aşırı uzun girdiyi reddedebilir. Belgelerin uygunsuz bir sınırda sessizce kesilmemesi için bilinçli bir parçalama politikası seçin.

• Bir dizinleme toplu işlemini ve etkileşimli bir sorguyu, depolama ve vektör veritabanı maliyeti dahil olmak üzere ayrı ayrı ölçün.
• Model adını ve gömme boyutlarını dizinle birlikte tutun. Bunları değiştirmek genellikle kasıtlı bir yeniden dizinleme planı gerektirir.
• Küçük bir erişim değerlendirme seti kullanın: bilinen sorular, beklenen belgeler ve ilgili sonuç döndürmemesi gereken durumlar.
• İstemleri, dizinlenmiş belgeleri ve erişim günlüklerini kendi erişim ve silme kurallarına sahip ayrı veri depoları olarak değerlendirin.

Resmi belgeler: Ollama: gömme API