--- canonical: https://koalavps.com/nl/guides-self-host-an-llm-on-a-vps/ language: nl generated: 2026-10-21T13:33:15.204Z --- [Home](https://koalavps.com/nl/) / [Verkennen](https://koalavps.com/nl/resources/) / De KoalaVPS-veldnotities De KoalaVPS-veldnotities # Lokale inferentie, onderbouwd gedimensioneerd. Een model dat op schijf past, kan tijdens runtime nog veel meer geheugen nodig hebben. Begin met een representatieve benchmark. [Vind uw VPS](https://koalavps.com/nl/vps/) ## IN DIT DOCUMENT [Schat de volledige voetafdruk](https://koalavps.com/nl/guides-self-host-an-llm-on-a-vps/#section-1)[Houd het model API privé](https://koalavps.com/nl/guides-self-host-an-llm-on-a-vps/#section-2)[Downloaden met herkomst](https://koalavps.com/nl/guides-self-host-an-llm-on-a-vps/#section-3)[Benchmark een echt verzoek](https://koalavps.com/nl/guides-self-host-an-llm-on-a-vps/#section-4)[Bewijs dat de API niet openbaar is](https://koalavps.com/nl/guides-self-host-an-llm-on-a-vps/#section-5)[Houd een klein benchmarknotitieboek bij](https://koalavps.com/nl/guides-self-host-an-llm-on-a-vps/#section-6)[Begroot modelgeheugen voordat je de context vergroot](https://koalavps.com/nl/guides-self-host-an-llm-on-a-vps/#section-7)[Test embeddings als een eigen workload](https://koalavps.com/nl/guides-self-host-an-llm-on-a-vps/#section-8)[Kennisbank](https://koalavps.com/nl/resources/) ## Schat de volledige voetafdruk Gewichten, kwantisatie, contextlengte, cache en gelijktijdige verzoeken beïnvloeden allemaal het geheugen. Laat ruimte over voor het besturingssysteem en de runtime. CPU-inferentie en GPU-inferentie hebben verschillende kosten- en doorvoerprofielen; een standaard VPS impliceert geen GPU-toegang. ## Houd het model API privé Een runtime zoals Ollama mag niet zonder een passende beveiligingslaag aan het internet worden blootgesteld. Bind waar mogelijk aan loopback of een privé-interface en plaats geauthenticeerde TLS toegang vóór elke externe route. ## Downloaden met herkomst Controleer de modellicentie, bron, checksum indien geleverd en beoogd gebruik. Niet-vertrouwde modelformaten of omringende loader-code kunnen het aanvalsoppervlak vergroten. Houd de runtime en afhankelijkheden onderhouden. ## Benchmark een echt verzoek Meet de latentie van het eerste token, tokens per seconde, geheugendruk en gelijktijdig gedrag met de contextgrootte die uw toepassing gebruikt. Voeg limieten voor verzoekgrootte, wachtrijen en time-outs toe zodat één grote prompt de machine niet kan uitputten. ## Bewijs dat de API niet openbaar is Lokale Ollama API-toegang vereist geen authenticatie. Als alleen uw eigen applicatie deze aanroept, houd de listener dan op loopback. Voeg voor extern gebruik een geauthenticeerde TLS-gateway of een privétunnel met limieten voor verzoeken en gelijktijdigheid toe. Een cloud-API-referentie beschermt de lokale listener niet automatisch. Test vanaf een apparaat zonder toegang en eis weigering. - Inspecteer het luisteradres - Probeer een niet-geauthenticeerd verzoek van buiten het toegestane netwerk - Pas limieten toe op contextgrootte en gelijktijdige generaties ``` ss -lntp curl --fail http://127.0.0.1:11434/api/tags ``` Officiële documentatie: [Ollama-authenticatiemodel](https://docs.ollama.com/api/authentication) ## Houd een klein benchmarknotitieboek bij Leg de exacte modelvariant, kwantisatie, contextlengte, prompt en het aantal parallelle verzoeken vast. Meet het runtime-geheugen in plaats van aan te nemen dat het gelijk is aan de downloadgrootte van het model. Herhaal hetzelfde verzoek na configuratiewijzigingen en behoud zowel kwaliteitscontroles als snelheidsmetingen. Als een taak zwaar wisselt of de hoofdapplicatie verdringt, verlaag de gelijktijdigheid of gebruik een geschiktere machine. ## Begroot modelgeheugen voordat je de context vergroot Gebruik het aantal parameters vermenigvuldigd met quantisatiebits gedeeld door acht als een ruwe schatting van alleen het gewicht in bytes, en voeg daarna runtime, context/KV-cache, gelijktijdigheid en ruimte voor het besturingssysteem toe. Het is geen capaciteitsgarantie. In Ollama verhogen parallelle verzoeken en een grotere context het geheugengebruik, terwijl in de wachtrij geplaatst werk een ogenschijnlijk gezonde service traag kan maken. Begin met één model en één verzoek, registreer het piekgeheugen en verhoog de gelijktijdigheid pas nadat de workload zijn latentiedoel haalt. - Leg modeltag, runtime-versie, kwantisatie, promptlengte en uitvoerlimiet vast bij elke benchmark. - Scheid het laden bij een koude start van de prestaties bij warme verzoeken; ze beantwoorden verschillende dimensioneringsvragen. - Als de host swapt of een proces wordt beëindigd, verlaag dan gelijktijdigheid/context en inspecteer geheugengebeurtenissen voordat u CPU cores koopt. - Controleer geladen modellen en cachegroei wanneer het eerste verzoek snel is maar latere verzoeken vastlopen. ``` # Inspect the model runner and host without changing its configuration. ollama ps free -h df -h ``` Officiële documentatie: [Ollama: geheugen, gelijktijdigheid en netwerkconfiguratie](https://docs.ollama.com/faq) ## Test embeddings als een eigen workload Een embeddingmodel zet invoertekst om in vectoren voor retrieval; het is niet hetzelfde resourceprofiel als een lang gegenereerd antwoord. Gebruik één model en voorbewerkingsstrategie consistent bij indexering en querying. Het embed-endpoint van Ollama accepteert tekst of batches en kan te lange invoer weigeren wanneer truncate false is. Kies een bewust chunkingbeleid zodat documenten niet stilzwijgend op een onhandige grens worden afgekapt. - Benchmark een indexeringsbatch en een interactieve query afzonderlijk, inclusief de kosten voor opslag en vectordatabase. - Bewaar de modelnaam en embeddingdimensies bij de index. Het wijzigen ervan vereist meestal een bewust herindexeringsplan. - Gebruik een kleine evaluatieset voor het ophalen: bekende vragen, verwachte documenten en gevallen die geen relevant resultaat zouden moeten opleveren. - Behandel prompts, geïndexeerde documenten en toegangslogboeken als afzonderlijke gegevensopslagen met hun eigen toegangs- en verwijderingsregels. Officiële documentatie: [Ollama: embeddings API](https://docs.ollama.com/api/embed) BLIJF ONTDEKKEN ## Lees verder. [Producten ### Behoud de intelligentie. Bezit de runtime. Host de services rond uw AI-workflow: retrieval, documentverwerking, tooluitvoering, webhooks en observability. Bouw een systeem d…](https://koalavps.com/nl/ai-agent-hosting/)[Gidsen ### Koop voor de werklast die je hebt. Kies een eerste configuratie op basis van bewijs en laat daarna een afgewogen groeipad open. Een realistische schatting is nuttige…](https://koalavps.com/nl/choose-vps/)[Gidsen ### Houd de machine van uzelf. Beveiliging is een doorlopende routine: beperk blootgestelde oppervlakken, beperk privileges, patch bewust en maak herstel mogelij…](https://koalavps.com/nl/server-security/) CONFIGUREER JE INFRASTRUCTUUR ## Neem de controle. Deploy op jouw voorwaarden. Geen identiteitspapieren. Volledige beheerderstoegang. Crypto-native facturering. [Selecteer een configuratie](https://koalavps.com/nl/vps/)