--- canonical: https://koalavps.com/sv/guides-self-host-an-llm-on-a-vps/ language: sv generated: 2026-10-21T13:34:10.102Z --- [Hem](https://koalavps.com/sv/) / [Utforska](https://koalavps.com/sv/resources/) / Fältanteckningarna för KoalaVPS Fältanteckningarna för KoalaVPS # Lokal inferens, dimensionerad med belägg. En modell som får plats på disken kan ändå behöva mycket mer minne vid körning. Börja med ett representativt riktmärke. [Hitta din VPS](https://koalavps.com/sv/vps/) ## I DETTA DOKUMENT [Uppskatta hela fotavtrycket](https://koalavps.com/sv/guides-self-host-an-llm-on-a-vps/#section-1)[Håll modellen API privat](https://koalavps.com/sv/guides-self-host-an-llm-on-a-vps/#section-2)[Ladda ner med spårbarhet](https://koalavps.com/sv/guides-self-host-an-llm-on-a-vps/#section-3)[Benchmarka en verklig begäran](https://koalavps.com/sv/guides-self-host-an-llm-on-a-vps/#section-4)[Bevisa att API inte är offentlig](https://koalavps.com/sv/guides-self-host-an-llm-on-a-vps/#section-5)[Håll en liten prestandadagbok](https://koalavps.com/sv/guides-self-host-an-llm-on-a-vps/#section-6)[Budgetera modellminne innan du ökar kontexten](https://koalavps.com/sv/guides-self-host-an-llm-on-a-vps/#section-7)[Testa embeddings som en egen arbetsbelastning](https://koalavps.com/sv/guides-self-host-an-llm-on-a-vps/#section-8)[Kunskapsbas](https://koalavps.com/sv/resources/) ## Uppskatta hela fotavtrycket Vikter, kvantisering, kontextlängd, cache och samtidiga förfrågningar påverkar alla minnet. Lämna utrymme för operativsystemet och körtiden. CPU-inferens och GPU-inferens har olika kostnads- och genomströmningsprofiler; en standard VPS innebär inte GPU-åtkomst. ## Håll modellen API privat En körtid som Ollama bör inte exponeras mot internet utan ett lämpligt säkerhetslager. Bind till loopback eller ett privat gränssnitt där det är praktiskt möjligt, och sätt autentiserad TLS åtkomst framför alla fjärrvägar. ## Ladda ner med spårbarhet Granska modelllicensen, källan, kontrollsumman där sådan anges och det avsedda användningsområdet. Obetroget modellformat eller omgivande inläsningskod kan utöka attackytan. Håll körtiden och beroendena underhållna. ## Benchmarka en verklig begäran Mät latens för första token, token per sekund, minnestryck och samtidigt beteende med den kontextstorlek din applikation använder. Lägg till gränser för begäransstorlek, köning och tidsgränser så att en stor prompt inte kan uttömma maskinen. ## Bevisa att API inte är offentlig Lokal Ollama-API-åtkomst kräver ingen autentisering. Om bara din egen applikation anropar den, håll lyssnaren på loopback. För fjärranvändning, lägg till en autentiserad TLS-gateway eller en privat tunnel med begränsningar för förfrågningar och samtidighet. En molnuppgift för API skyddar inte automatiskt den lokala lyssnaren. Testa från en enhet utan åtkomst och kräv avvisande. - Inspektera lyssnaradressen - Prova en oautentiserad begäran från utanför det tillåtna nätverket - Tillämpa gränser för kontextstorlek och samtidiga genereringar ``` ss -lntp curl --fail http://127.0.0.1:11434/api/tags ``` Officiell dokumentation: [Ollamas autentiseringsmodell](https://docs.ollama.com/api/authentication) ## Håll en liten prestandadagbok Registrera den exakta modellvarianten, kvantiseringen, kontextlängden, prompten och antalet parallella förfrågningar. Mät minnesanvändningen under körning i stället för att anta att den motsvarar modellens nedladdningsstorlek. Upprepa samma förfrågan efter konfigurationsändringar och behåll kvalitetskontroller såväl som hastighetsmätningar. Om ett jobb växlar kraftigt eller tränger undan huvudapplikationen, minska samtidigheten eller använd en mer lämplig maskin. ## Budgetera modellminne innan du ökar kontexten Använd parameterantal multiplicerat med kvantiseringsbitar delat med åtta som en grov uppskattning av byte enbart för vikter, och lägg sedan till körtid, kontext/KV-cache, samtidighet och utrymme för operativsystemet. Det är ingen kapacitetsgaranti. I Ollama ökar parallella förfrågningar och större kontext minnesanvändningen, medan köat arbete kan göra en till synes frisk tjänst långsam. Börja med en modell och en förfrågan, registrera högsta minnesanvändning och öka samtidigheten först när arbetsbelastningen klarar sitt latensmål. - Registrera modelltagg, körtidsversion, kvantisering, promptlängd och utdatagräns vid varje benchmark. - Skilj på kallstartsladdning och prestanda för varma förfrågningar; de besvarar olika dimensioneringsfrågor. - Om värden växlar eller en process dödas, sänk samtidighet/kontext och granska minneshändelser innan du köper CPU kärnor. - Granska inlästa modeller och cachetillväxt när den första begäran är snabb men senare begäranden stannar. ``` # Inspect the model runner and host without changing its configuration. ollama ps free -h df -h ``` Officiell dokumentation: [Ollama: minne, samtidighet och nätverkskonfiguration](https://docs.ollama.com/faq) ## Testa embeddings som en egen arbetsbelastning En inbäddningsmodell omvandlar inmatad text till vektorer för hämtning; det är inte samma resursprofil som ett långt genererat svar. Använd en modell och en förbearbetningsstrategi konsekvent vid indexering och frågor. Ollamas embed-endpoint accepterar text eller batchar och kan avvisa för lång inmatning när truncate är false. Välj en medveten chunkningspolicy så att dokument inte tyst klipps vid en olämplig gräns. - Benchmarka en indexeringsbatch och en interaktiv fråga separat, inklusive lagrings- och vektordatabaskostnad. - Behåll modellnamn och inbäddningsdimensioner tillsammans med indexet. Att ändra dem kräver vanligtvis en medveten plan för omindexering. - Använd en liten utvärderingsuppsättning för hämtning: kända frågor, förväntade dokument och fall som inte bör returnera något relevant resultat. - Behandla prompter, indexerade dokument och åtkomstloggar som separata datalager med egna åtkomst- och raderingsregler. Officiell dokumentation: [Ollama: inbäddningar API](https://docs.ollama.com/api/embed) FORTSÄTT UTFORSKA ## Fortsätt läsa. [Produkter ### Behåll intelligensen. Äg körmiljön. Hosta tjänsterna runt ditt AI-arbetsflöde: hämtning, dokumentbehandling, verktygskörning, webhooks och observerbarhet. Bygg ett sy…](https://koalavps.com/sv/ai-agent-hosting/)[Guider ### Köp för den arbetsbelastning du har. Välj en initial konfiguration utifrån underlag och lämna sedan en avvägd väg för att växa. En realistisk uppskattning är mer använ…](https://koalavps.com/sv/choose-vps/)[Guider ### Behåll maskinen som din. Säkerhet är en pågående rutin: minska exponerade ytor, begränsa privilegier, patcha medvetet och möjliggör återställning.…](https://koalavps.com/sv/server-security/) KONFIGURERA DIN INFRASTRUKTUR ## Ta kontroll. Distribuera på dina villkor. Inga identitetshandlingar. Full administratörsåtkomst. Kryptonativ fakturering. [Välj en konfiguration](https://koalavps.com/sv/vps/)