Lokal inferens, dimensionerad med belägg.

Uppskatta hela fotavtrycket

Vikter, kvantisering, kontextlängd, cache och samtidiga förfrågningar påverkar alla minnet. Lämna utrymme för operativsystemet och körtiden. CPU-inferens och GPU-inferens har olika kostnads- och genomströmningsprofiler; en standard VPS innebär inte GPU-åtkomst.

Håll modellen API privat

En körtid som Ollama bör inte exponeras mot internet utan ett lämpligt säkerhetslager. Bind till loopback eller ett privat gränssnitt där det är praktiskt möjligt, och sätt autentiserad TLS åtkomst framför alla fjärrvägar.

Ladda ner med spårbarhet

Granska modelllicensen, källan, kontrollsumman där sådan anges och det avsedda användningsområdet. Obetroget modellformat eller omgivande inläsningskod kan utöka attackytan. Håll körtiden och beroendena underhållna.

Benchmarka en verklig begäran

Mät latens för första token, token per sekund, minnestryck och samtidigt beteende med den kontextstorlek din applikation använder. Lägg till gränser för begäransstorlek, köning och tidsgränser så att en stor prompt inte kan uttömma maskinen.

Bevisa att API inte är offentlig

Lokal Ollama-API-åtkomst kräver ingen autentisering. Om bara din egen applikation anropar den, håll lyssnaren på loopback. För fjärranvändning, lägg till en autentiserad TLS-gateway eller en privat tunnel med begränsningar för förfrågningar och samtidighet. En molnuppgift för API skyddar inte automatiskt den lokala lyssnaren. Testa från en enhet utan åtkomst och kräv avvisande.

• Inspektera lyssnaradressen
• Prova en oautentiserad begäran från utanför det tillåtna nätverket
• Tillämpa gränser för kontextstorlek och samtidiga genereringar

ss -lntp
curl --fail http://127.0.0.1:11434/api/tags

Officiell dokumentation: Ollamas autentiseringsmodell

Håll en liten prestandadagbok

Registrera den exakta modellvarianten, kvantiseringen, kontextlängden, prompten och antalet parallella förfrågningar. Mät minnesanvändningen under körning i stället för att anta att den motsvarar modellens nedladdningsstorlek. Upprepa samma förfrågan efter konfigurationsändringar och behåll kvalitetskontroller såväl som hastighetsmätningar. Om ett jobb växlar kraftigt eller tränger undan huvudapplikationen, minska samtidigheten eller använd en mer lämplig maskin.

Budgetera modellminne innan du ökar kontexten

Använd parameterantal multiplicerat med kvantiseringsbitar delat med åtta som en grov uppskattning av byte enbart för vikter, och lägg sedan till körtid, kontext/KV-cache, samtidighet och utrymme för operativsystemet. Det är ingen kapacitetsgaranti. I Ollama ökar parallella förfrågningar och större kontext minnesanvändningen, medan köat arbete kan göra en till synes frisk tjänst långsam. Börja med en modell och en förfrågan, registrera högsta minnesanvändning och öka samtidigheten först när arbetsbelastningen klarar sitt latensmål.

• Registrera modelltagg, körtidsversion, kvantisering, promptlängd och utdatagräns vid varje benchmark.
• Skilj på kallstartsladdning och prestanda för varma förfrågningar; de besvarar olika dimensioneringsfrågor.
• Om värden växlar eller en process dödas, sänk samtidighet/kontext och granska minneshändelser innan du köper CPU kärnor.
• Granska inlästa modeller och cachetillväxt när den första begäran är snabb men senare begäranden stannar.

# Inspect the model runner and host without changing its configuration.
ollama ps
free -h
df -h

Officiell dokumentation: Ollama: minne, samtidighet och nätverkskonfiguration

Testa embeddings som en egen arbetsbelastning

En inbäddningsmodell omvandlar inmatad text till vektorer för hämtning; det är inte samma resursprofil som ett långt genererat svar. Använd en modell och en förbearbetningsstrategi konsekvent vid indexering och frågor. Ollamas embed-endpoint accepterar text eller batchar och kan avvisa för lång inmatning när truncate är false. Välj en medveten chunkningspolicy så att dokument inte tyst klipps vid en olämplig gräns.

• Benchmarka en indexeringsbatch och en interaktiv fråga separat, inklusive lagrings- och vektordatabaskostnad.
• Behåll modellnamn och inbäddningsdimensioner tillsammans med indexet. Att ändra dem kräver vanligtvis en medveten plan för omindexering.
• Använd en liten utvärderingsuppsättning för hämtning: kända frågor, förväntade dokument och fall som inte bör returnera något relevant resultat.
• Behandla prompter, indexerade dokument och åtkomstloggar som separata datalager med egna åtkomst- och raderingsregler.

Officiell dokumentation: Ollama: inbäddningar API