Lokale inferentie, onderbouwd gedimensioneerd.

Schat de volledige voetafdruk

Gewichten, kwantisatie, contextlengte, cache en gelijktijdige verzoeken beïnvloeden allemaal het geheugen. Laat ruimte over voor het besturingssysteem en de runtime. CPU-inferentie en GPU-inferentie hebben verschillende kosten- en doorvoerprofielen; een standaard VPS impliceert geen GPU-toegang.

Houd het model API privé

Een runtime zoals Ollama mag niet zonder een passende beveiligingslaag aan het internet worden blootgesteld. Bind waar mogelijk aan loopback of een privé-interface en plaats geauthenticeerde TLS toegang vóór elke externe route.

Downloaden met herkomst

Controleer de modellicentie, bron, checksum indien geleverd en beoogd gebruik. Niet-vertrouwde modelformaten of omringende loader-code kunnen het aanvalsoppervlak vergroten. Houd de runtime en afhankelijkheden onderhouden.

Benchmark een echt verzoek

Meet de latentie van het eerste token, tokens per seconde, geheugendruk en gelijktijdig gedrag met de contextgrootte die uw toepassing gebruikt. Voeg limieten voor verzoekgrootte, wachtrijen en time-outs toe zodat één grote prompt de machine niet kan uitputten.

Bewijs dat de API niet openbaar is

Lokale Ollama API-toegang vereist geen authenticatie. Als alleen uw eigen applicatie deze aanroept, houd de listener dan op loopback. Voeg voor extern gebruik een geauthenticeerde TLS-gateway of een privétunnel met limieten voor verzoeken en gelijktijdigheid toe. Een cloud-API-referentie beschermt de lokale listener niet automatisch. Test vanaf een apparaat zonder toegang en eis weigering.

• Inspecteer het luisteradres
• Probeer een niet-geauthenticeerd verzoek van buiten het toegestane netwerk
• Pas limieten toe op contextgrootte en gelijktijdige generaties

ss -lntp
curl --fail http://127.0.0.1:11434/api/tags

Officiële documentatie: Ollama-authenticatiemodel

Houd een klein benchmarknotitieboek bij

Leg de exacte modelvariant, kwantisatie, contextlengte, prompt en het aantal parallelle verzoeken vast. Meet het runtime-geheugen in plaats van aan te nemen dat het gelijk is aan de downloadgrootte van het model. Herhaal hetzelfde verzoek na configuratiewijzigingen en behoud zowel kwaliteitscontroles als snelheidsmetingen. Als een taak zwaar wisselt of de hoofdapplicatie verdringt, verlaag de gelijktijdigheid of gebruik een geschiktere machine.

Begroot modelgeheugen voordat je de context vergroot

Gebruik het aantal parameters vermenigvuldigd met quantisatiebits gedeeld door acht als een ruwe schatting van alleen het gewicht in bytes, en voeg daarna runtime, context/KV-cache, gelijktijdigheid en ruimte voor het besturingssysteem toe. Het is geen capaciteitsgarantie. In Ollama verhogen parallelle verzoeken en een grotere context het geheugengebruik, terwijl in de wachtrij geplaatst werk een ogenschijnlijk gezonde service traag kan maken. Begin met één model en één verzoek, registreer het piekgeheugen en verhoog de gelijktijdigheid pas nadat de workload zijn latentiedoel haalt.

• Leg modeltag, runtime-versie, kwantisatie, promptlengte en uitvoerlimiet vast bij elke benchmark.
• Scheid het laden bij een koude start van de prestaties bij warme verzoeken; ze beantwoorden verschillende dimensioneringsvragen.
• Als de host swapt of een proces wordt beëindigd, verlaag dan gelijktijdigheid/context en inspecteer geheugengebeurtenissen voordat u CPU cores koopt.
• Controleer geladen modellen en cachegroei wanneer het eerste verzoek snel is maar latere verzoeken vastlopen.

# Inspect the model runner and host without changing its configuration.
ollama ps
free -h
df -h

Officiële documentatie: Ollama: geheugen, gelijktijdigheid en netwerkconfiguratie

Test embeddings als een eigen workload

Een embeddingmodel zet invoertekst om in vectoren voor retrieval; het is niet hetzelfde resourceprofiel als een lang gegenereerd antwoord. Gebruik één model en voorbewerkingsstrategie consistent bij indexering en querying. Het embed-endpoint van Ollama accepteert tekst of batches en kan te lange invoer weigeren wanneer truncate false is. Kies een bewust chunkingbeleid zodat documenten niet stilzwijgend op een onhandige grens worden afgekapt.

• Benchmark een indexeringsbatch en een interactieve query afzonderlijk, inclusief de kosten voor opslag en vectordatabase.
• Bewaar de modelnaam en embeddingdimensies bij de index. Het wijzigen ervan vereist meestal een bewust herindexeringsplan.
• Gebruik een kleine evaluatieset voor het ophalen: bekende vragen, verwachte documenten en gevallen die geen relevant resultaat zouden moeten opleveren.
• Behandel prompts, geïndexeerde documenten en toegangslogboeken als afzonderlijke gegevensopslagen met hun eigen toegangs- en verwijderingsregels.

Officiële documentatie: Ollama: embeddings API