Lokal inferens, dimensioneret med evidens.

Anslå det samlede fodaftryk

Vægte, kvantisering, kontekstlængde, cache og samtidige anmodninger påvirker alle hukommelsen. Levn plads til operativsystemet og runtime. CPU-inferens og GPU-inferens har forskellige omkostnings- og gennemstrømningsprofiler; en standard VPS indebærer ikke GPU-adgang.

Hold modellen API privat

En runtime som Ollama bør ikke eksponeres mod internettet uden et passende sikkerhedslag. Bind til loopback eller en privat grænseflade, hvor det er praktisk, og sæt autentificeret TLS-adgang foran enhver fjernrute.

Download med oprindelse

Gennemgå modellicensen, kilden, kontrolsummen hvor den er angivet, og det tilsigtede formål. Ubetroede modelformater eller omkringliggende loader-kode kan udvide angrebsfladen. Hold runtime og afhængigheder vedligeholdt.

Benchmark en reel anmodning

Mål latenstid for første token, tokens pr. sekund, hukommelsespres og samtidig adfærd med den kontekststørrelse, din applikation bruger. Tilføj grænser for anmodningsstørrelse, kødannelse og timeouts, så en enkelt stor prompt ikke kan udmatte maskinen.

Bevis, at API ikke er offentlig

Lokal Ollama API-adgang kræver ikke godkendelse. Hvis kun din egen applikation kalder den, skal du holde listeneren på loopback. Til fjernbrug skal du tilføje en godkendt TLS-gateway eller en privat tunnel med grænser for forespørgsler og samtidighed. En cloud-API-legitimationsoplysning beskytter ikke automatisk den lokale listener. Test fra en enhed uden adgang, og kræv afvisning.

• Undersøg lytteadressen
• Prøv en uautentificeret anmodning fra uden for det tilladte netværk
• Anvend grænser for kontekststørrelse og samtidige genereringer

ss -lntp
curl --fail http://127.0.0.1:11434/api/tags

Officiel dokumentation: Ollama-godkendelsesmodel

Hold en lille benchmark-notebook

Registrér den præcise modelvariant, kvantisering, kontekstlængde, prompt og antal parallelle forespørgsler. Mål runtime-hukommelse i stedet for at antage, at den svarer til modellens downloadstørrelse. Gentag den samme forespørgsel efter konfigurationsændringer, og bevar kvalitetskontroller såvel som hastighedsmålinger. Hvis et job swapper kraftigt eller fortrænger hovedapplikationen, skal du reducere samtidigheden eller bruge en mere passende maskine.

Budgetlæg modelhukommelse, før du øger konteksten

Brug parameterantal ganget med kvantiseringsbits divideret med otte som et groft byte-estimat for vægte alene, og tilføj derefter runtime, kontekst/KV-cache, samtidighed og headroom til operativsystemet. Det er ikke en kapacitetsgaranti. I Ollama øger parallelle anmodninger og større kontekst hukommelsesforbruget, mens kølagt arbejde kan gøre en tilsyneladende sund tjeneste langsom. Start med én model og én anmodning, registrér maksimal hukommelse, og øg kun samtidigheden, efter at arbejdsbelastningen opfylder sit latenstidsmål.

• Registrér modeltag, runtime-version, kvantisering, promptlængde og outputgrænse ved hver benchmark.
• Adskil cold-start-indlæsning fra warm-request-ydeevne; de besvarer forskellige dimensioneringsspørgsmål.
• Hvis værten swapper, eller en proces dræbes, skal du sænke samtidighed/kontekst og undersøge hukommelseshændelser, før du køber CPU kerner.
• Gennemgå indlæste modeller og cachevækst, når den første anmodning er hurtig, men senere anmodninger går i stå.

# Inspect the model runner and host without changing its configuration.
ollama ps
free -h
df -h

Officiel dokumentation: Ollama: hukommelse, samtidighed og netværkskonfiguration

Test embeddings som deres egen arbejdsbelastning

En embedding-model omdanner inputtekst til vektorer til retrieval; det er ikke samme ressourceprofil som et langt genereret svar. Brug én model og én forbehandlingsstrategi konsekvent ved indeksering og forespørgsler. Ollamas embed-endpoint accepterer tekst eller batches og kan afvise for langt input, når truncate er false. Vælg en bevidst chunking-politik, så dokumenter ikke lydløst skæres ved en uhensigtsmæssig grænse.

• Benchmark en indekseringsbatch og en interaktiv forespørgsel separat, inklusive omkostninger til lagring og vektordatabase.
• Behold modelnavn og indlejringsdimensioner sammen med indekset. Ændring af dem kræver normalt en bevidst genindekseringsplan.
• Brug et lille evalueringssæt til søgning: kendte spørgsmål, forventede dokumenter og tilfælde, der bør returnere intet relevant resultat.
• Behandl prompts, indekserede dokumenter og adgangslogs som separate datalagre med deres egne adgangs- og sletningsregler.

Officiel dokumentation: Ollama: embeddings API