Lokal na inference, may sukat na batay sa ebidensya.

Tantiyahin ang buong footprint

Ang weights, quantisation, context length, cache at concurrent request ay nakakaapekto sa memory. Mag-iwan ng headroom para sa operating system at runtime. Ang CPU inference at GPU inference ay may magkaibang cost at throughput profile; ang standard na VPS ay hindi nangangahulugang may GPU access.

Panatilihing pribado ang modelong API

Ang runtime tulad ng Ollama ay hindi dapat ilantad sa internet nang walang angkop na security layer. I-bind sa loopback o pribadong interface kung praktikal, at maglagay ng authenticated na TLS access sa harap ng anumang remote route.

I-download nang may pinagmulan

Suriin ang model licence, source, checksum kung ibinigay at nilalayong gamit. Ang hindi pinagkakatiwalaang model format o nakapaligid na loader code ay maaaring magpalawak ng attack surface. Panatilihing maintained ang runtime at mga dependency.

I-benchmark ang isang tunay na request

Sukatin ang first-token latency, tokens per second, memory pressure at concurrent na pag-uugali gamit ang context size na ginagamit ng iyong application. Magdagdag ng request size limits, queueing at timeouts para hindi maubos ng isang malaking prompt ang makina.

Patunayan na hindi pampubliko ang API

Ang lokal na access ng Ollama API ay hindi nangangailangan ng authentication. Kung ang sarili mong application lang ang tumatawag dito, panatilihin ang listener sa loopback. Para sa remote na paggamit, magdagdag ng authenticated na TLS gateway o pribadong tunnel na may mga limitasyon sa request at concurrency. Ang cloud API credential ay hindi awtomatikong nagpoprotekta sa lokal na listener. Subukan mula sa isang device na walang access at hilingin ang pagtanggi.

• Suriin ang listening address
• Subukan ang isang unauthenticated na kahilingan mula sa labas ng pinapayagang network
• Maglapat ng mga limitasyon sa laki ng context at sabay-sabay na generation

ss -lntp
curl --fail http://127.0.0.1:11434/api/tags

Opisyal na dokumentasyon: Modelo ng pagpapatunay ng Ollama

Magtago ng maliit na benchmark notebook

Itala ang eksaktong variant ng modelo, quantisation, haba ng context, prompt at bilang ng magkakasabay na request. Sukatin ang runtime memory sa halip na ipagpalagay na katumbas ito ng laki ng download ng modelo. Ulitin ang parehong request pagkatapos ng mga pagbabago sa configuration at panatilihin ang mga quality check pati na ang mga pagsukat ng bilis. Kung madalas mag-swap ang isang job o sinasapawan nito ang pangunahing application, bawasan ang concurrency o gumamit ng mas angkop na makina.

I-budget ang memorya ng modelo bago dagdagan ang konteksto

Gamitin ang parameter count na pinarami ng quantisation bits na hinati sa walo bilang magaspang na weight-only byte estimate, pagkatapos idagdag ang runtime, context/KV cache, concurrency at operating-system headroom. Hindi ito garantiya ng kapasidad. Sa Ollama, pinapataas ng parallel requests at mas malaking context ang paggamit ng memory, habang ang naka-queue na trabaho ay maaaring magpabagal sa serbisyong mukhang malusog. Magsimula sa isang modelo at isang request, itala ang peak memory, at taasan lamang ang concurrency kapag naabot na ng workload ang latency target nito.

• Itala ang model tag, bersyon ng runtime, quantisation, haba ng prompt at limitasyon ng output sa bawat benchmark.
• Ihiwalay ang cold-start loading sa warm-request performance; sumasagot sila sa magkaibang tanong sa sizing.
• Kung nag-swap ang host o may prosesong napatay, bawasan ang concurrency/context at suriin ang memory events bago bumili ng CPU cores.
• Suriin ang mga na-load na modelo at paglaki ng cache kapag mabilis ang unang request ngunit natigil ang mga sumunod na request.

# Inspect the model runner and host without changing its configuration.
ollama ps
free -h
df -h

Opisyal na dokumentasyon: Ollama: memory, concurrency at network configuration

Subukan ang embeddings bilang sariling workload

Ang embedding model ay ginagawang vector ang input text para sa retrieval; hindi ito kaparehong resource profile ng mahabang generated na sagot. Gumamit ng isang modelo at pare-parehong diskarte sa preprocessing kapag nag-index at nag-query. Ang embed endpoint ng Ollama ay tumatanggap ng text o batch at maaaring tanggihan ang sobrang habang input kapag false ang truncate. Pumili ng sinadyang chunking policy upang hindi tahimik na maputol ang mga dokumento sa hindi magandang hangganan.

• I-benchmark nang hiwalay ang isang indexing batch at isang interactive query, kasama ang gastos sa storage at vector-database.
• Panatilihin ang model name at embedding dimensions kasama ng index. Ang pagbabago sa mga ito ay karaniwang nangangailangan ng sadyang reindexing plan.
• Gumamit ng maliit na retrieval evaluation set: mga kilalang tanong, inaasahang dokumento at mga kaso na dapat magbalik ng walang kaugnay na resulta.
• Ituring ang mga prompt, indexed na dokumento at access log bilang hiwalay na data store na may sariling panuntunan sa access at pagtanggal.

Opisyal na dokumentasyon: Ollama: embeddings API