Inferență locală, dimensionată cu dovezi.

Estimați întreaga amprentă

Ponderile, cuantizarea, lungimea contextului, cache-ul și cererile concurente afectează toate memoria. Lăsați o marjă pentru sistemul de operare și runtime. Inferența CPU și inferența pe GPU au profiluri diferite de cost și debit; un VPS standard nu implică acces la GPU.

Păstrați modelul API privat

Un runtime precum Ollama nu ar trebui expus la internet fără o strat de securitate adecvat. Leagă-l la loopback sau la o interfață privată acolo unde este practic, și pune acces autentificat TLS în fața oricărei rute la distanță.

Descărcați cu proveniență

Revizuiește licența modelului, sursa, suma de control acolo unde este furnizată și utilizarea prevăzută. Formatele de model nesigure sau codul de încărcare din jur pot extinde suprafața de atac. Menține mediul de execuție și dependențele actualizate.

Testează performanța unei cereri reale

Măsoară latența primului token, tokenii pe secundă, presiunea pe memorie și comportamentul concurent cu dimensiunea contextului pe care o folosește aplicația ta. Adaugă limite de dimensiune a cererilor, cozi și expirări de timp, astfel încât un singur prompt mare să nu epuizeze mașina.

Dovediți că API nu este public

Accesul local la Ollama API nu necesită autentificare. Dacă doar propria aplicație îl apelează, menține listenerul pe loopback. Pentru utilizare la distanță, adaugă un gateway TLS autentificat sau un tunel privat cu limite de cereri și de concurență. O acreditare API în cloud nu protejează automat listenerul local. Testează de pe un dispozitiv fără acces și impune respingerea.

• Inspectează adresa de ascultare
• Încearcă o cerere neautentificată din afara rețelei permise
• Aplicați limite la dimensiunea contextului și la generările concurente

ss -lntp
curl --fail http://127.0.0.1:11434/api/tags

Documentație oficială: Model de autentificare Ollama

Păstrați un mic caiet de benchmark

Înregistrați varianta exactă a modelului, cuantizarea, lungimea contextului, promptul și numărul de cereri paralele. Măsurați memoria de rulare în loc să presupuneți că este egală cu dimensiunea descărcării modelului. Repetați aceeași cerere după modificările de configurare și păstrați verificările de calitate, precum și măsurătorile de viteză. Dacă un job face swap intens sau elimină aplicația principală, reduceți concurența sau utilizați o mașină mai potrivită.

Estimați memoria modelului înainte de a crește contextul

Folosiți numărul de parametri înmulțit cu biții de cuantizare împărțit la opt ca estimare aproximativă a octeților doar pentru ponderi, apoi adăugați runtime-ul, cache-ul de context/KV, concurența și rezerva pentru sistemul de operare. Nu este o garanție de capacitate. În Ollama, cererile paralele și un context mai mare cresc utilizarea memoriei, iar munca în coadă poate face un serviciu aparent sănătos să fie lent. Începeți cu un singur model și o singură cerere, înregistrați memoria de vârf și creșteți concurența doar după ce sarcina de lucru își atinge ținta de latență.

• Înregistrează eticheta modelului, versiunea runtime, cuantizarea, lungimea promptului și limita de ieșire la fiecare benchmark.
• Separați încărcarea la pornirea la rece de performanța cererilor calde; ele răspund la întrebări diferite de dimensionare.
• Dacă gazda face swap sau un proces este omorât, reduce concurența/contextul și inspectează evenimentele de memorie înainte de a cumpăra nuclee CPU.
• Verificați modelele încărcate și creșterea cache-ului atunci când prima cerere este rapidă, dar cererile ulterioare se blochează.

# Inspect the model runner and host without changing its configuration.
ollama ps
free -h
df -h

Documentație oficială: Ollama: memorie, concurență și configurare de rețea

Testează embeddings ca sarcină de lucru separată

Un model de embedding transformă textul de intrare în vectori pentru regăsire; nu este același profil de resurse ca un răspuns generat lung. Folosiți un singur model și o singură strategie de preprocesare în mod consecvent la indexare și interogare. Endpoint-ul embed al Ollama acceptă text sau loturi și poate respinge intrarea prea lungă când truncate este false. Alegeți o politică de segmentare intenționată, astfel încât documentele să nu fie tăiate silențios la o limită incomodă.

• Benchmarkuiți separat un lot de indexare și o interogare interactivă, inclusiv costul stocării și al bazei de date vectoriale.
• Păstrați numele modelului și dimensiunile de încorporare împreună cu indexul. Schimbarea lor necesită de obicei un plan deliberat de reindexare.
• Folosiți un set mic de evaluare a recuperării: întrebări cunoscute, documente așteptate și cazuri care ar trebui să nu returneze niciun rezultat relevant.
• Tratează prompturile, documentele indexate și jurnalele de acces ca depozite de date separate, cu propriile reguli de acces și ștergere.

Documentație oficială: Ollama: embeddings API