--- canonical: https://koalavps.com/id/guides-self-host-an-llm-on-a-vps/ language: id generated: 2026-10-21T13:32:38.539Z --- [Beranda](https://koalavps.com/id/) / [Jelajahi](https://koalavps.com/id/resources/) / Catatan lapangan KoalaVPS Catatan lapangan KoalaVPS # Inferensi lokal, dengan ukuran berbasis bukti. Model yang muat di disk mungkin masih membutuhkan memori jauh lebih besar saat runtime. Mulai dengan tolok ukur yang representatif. [Temukan VPS Anda](https://koalavps.com/id/vps/) ## DALAM DOKUMEN INI [Perkirakan seluruh jejak](https://koalavps.com/id/guides-self-host-an-llm-on-a-vps/#section-1)[Jaga model API tetap privat](https://koalavps.com/id/guides-self-host-an-llm-on-a-vps/#section-2)[Unduh dengan asal-usul](https://koalavps.com/id/guides-self-host-an-llm-on-a-vps/#section-3)[Benchmark permintaan nyata](https://koalavps.com/id/guides-self-host-an-llm-on-a-vps/#section-4)[Buktikan API tidak publik](https://koalavps.com/id/guides-self-host-an-llm-on-a-vps/#section-5)[Simpan buku catatan benchmark kecil](https://koalavps.com/id/guides-self-host-an-llm-on-a-vps/#section-6)[Anggarkan memori model sebelum menambah konteks](https://koalavps.com/id/guides-self-host-an-llm-on-a-vps/#section-7)[Uji embeddings sebagai beban kerja tersendiri](https://koalavps.com/id/guides-self-host-an-llm-on-a-vps/#section-8)[Basis pengetahuan](https://koalavps.com/id/resources/) ## Perkirakan seluruh jejak Bobot, kuantisasi, panjang konteks, cache, dan permintaan bersamaan semuanya memengaruhi memori. Sisakan ruang untuk sistem operasi dan runtime. Inferensi CPU dan inferensi GPU memiliki profil biaya dan throughput yang berbeda; VPS standar tidak menyiratkan akses GPU. ## Jaga model API tetap privat Runtime seperti Ollama tidak boleh diekspos ke internet tanpa lapisan keamanan yang sesuai. Ikat ke loopback atau antarmuka privat jika memungkinkan, dan letakkan akses TLS terautentikasi di depan rute jarak jauh mana pun. ## Unduh dengan asal-usul Tinjau lisensi model, sumber, checksum jika disediakan, dan penggunaan yang dimaksudkan. Format model yang tidak tepercaya atau kode loader di sekitarnya dapat memperluas permukaan serangan. Jaga runtime dan dependensi tetap terpelihara. ## Benchmark permintaan nyata Ukur latensi token pertama, token per detik, tekanan memori, dan perilaku konkuren dengan ukuran konteks yang digunakan aplikasi Anda. Tambahkan batas ukuran permintaan, antrean, dan timeout agar satu prompt besar tidak menghabiskan mesin. ## Buktikan API tidak publik Akses API Ollama lokal tidak memerlukan autentikasi. Jika hanya aplikasi Anda sendiri yang memanggilnya, pertahankan listener pada loopback. Untuk penggunaan jarak jauh, tambahkan gateway TLS yang terautentikasi atau terowongan privat dengan batas permintaan dan konkurensi. Kredensial API cloud tidak otomatis melindungi listener lokal. Uji dari perangkat tanpa akses dan pastikan permintaan ditolak. - Periksa alamat pendengar - Coba permintaan tanpa autentikasi dari luar jaringan yang diizinkan - Terapkan batas pada ukuran konteks dan generasi bersamaan ``` ss -lntp curl --fail http://127.0.0.1:11434/api/tags ``` Dokumentasi resmi: [Model autentikasi Ollama](https://docs.ollama.com/api/authentication) ## Simpan buku catatan benchmark kecil Catat varian model yang tepat, kuantisasi, panjang konteks, prompt, dan jumlah permintaan paralel. Ukur memori runtime alih-alih mengasumsikan sama dengan ukuran unduhan model. Ulangi permintaan yang sama setelah perubahan konfigurasi dan pertahankan pemeriksaan kualitas serta pengukuran kecepatan. Jika suatu pekerjaan banyak melakukan swap atau menggeser aplikasi utama, kurangi konkurensi atau gunakan mesin yang lebih sesuai. ## Anggarkan memori model sebelum menambah konteks Gunakan jumlah parameter dikalikan bit kuantisasi dibagi delapan sebagai perkiraan kasar byte khusus bobot, lalu tambahkan runtime, cache konteks/KV, konkurensi, dan ruang cadangan sistem operasi. Ini bukan jaminan kapasitas. Di Ollama, permintaan paralel dan konteks yang lebih besar meningkatkan penggunaan memori, sementara pekerjaan yang mengantre dapat membuat layanan yang tampak sehat menjadi lambat. Mulai dengan satu model dan satu permintaan, catat memori puncak, dan naikkan konkurensi hanya setelah beban kerja memenuhi target latensinya. - Catat tag model, versi runtime, kuantisasi, panjang prompt, dan batas keluaran pada setiap benchmark. - Pisahkan pemuatan cold-start dari kinerja permintaan hangat; keduanya menjawab pertanyaan sizing yang berbeda. - Jika host melakukan swap atau proses dihentikan, turunkan konkurensi/konteks dan periksa peristiwa memori sebelum membeli CPU inti. - Tinjau model yang dimuat dan pertumbuhan cache saat permintaan pertama cepat tetapi permintaan berikutnya macet. ``` # Inspect the model runner and host without changing its configuration. ollama ps free -h df -h ``` Dokumentasi resmi: [Ollama: memori, konkurensi, dan konfigurasi jaringan](https://docs.ollama.com/faq) ## Uji embeddings sebagai beban kerja tersendiri Model embedding mengubah teks masukan menjadi vektor untuk pengambilan; ini bukan profil sumber daya yang sama dengan jawaban tergenerasi yang panjang. Gunakan satu model dan strategi prapemrosesan secara konsisten saat mengindeks dan membuat kueri. Endpoint embed Ollama menerima teks atau batch dan dapat menolak masukan yang terlalu panjang saat truncate bernilai false. Pilih kebijakan pemotongan yang disengaja agar dokumen tidak terpotong diam-diam pada batas yang tidak nyaman. - Benchmark batch pengindeksan dan kueri interaktif secara terpisah, termasuk biaya penyimpanan dan basis data vektor. - Simpan nama model dan dimensi embedding bersama indeks. Mengubahnya biasanya memerlukan rencana pengindeksan ulang yang disengaja. - Gunakan set evaluasi pengambilan yang kecil: pertanyaan yang diketahui, dokumen yang diharapkan, dan kasus yang seharusnya tidak mengembalikan hasil relevan. - Perlakukan prompt, dokumen terindeks, dan log akses sebagai penyimpanan data terpisah dengan aturan akses dan penghapusan masing-masing. Dokumentasi resmi: [Ollama: embedding API](https://docs.ollama.com/api/embed) TERUS JELAJAHI ## Lanjutkan membaca. [Produk ### Pertahankan kecerdasan. Miliki runtime. Hosting layanan di sekitar alur kerja AI Anda: pengambilan, pemrosesan dokumen, eksekusi alat, webhook, dan observabilitas. Bangun…](https://koalavps.com/id/ai-agent-hosting/)[Panduan ### Beli sesuai beban kerja yang Anda miliki. Pilih konfigurasi awal berdasarkan bukti, lalu sisakan jalur pertumbuhan yang terukur. Perkiraan yang realistis lebih berguna dari…](https://koalavps.com/id/choose-vps/)[Panduan ### Jaga mesin tetap milik Anda. Keamanan adalah rutinitas berkelanjutan: kurangi permukaan yang terekspos, batasi hak istimewa, tambal secara sengaja, dan buat pe…](https://koalavps.com/id/server-security/) KONFIGURASIKAN INFRASTRUKTUR ANDA ## Ambil kendali. Deploy sesuai ketentuan Anda. Tanpa dokumen identitas. Akses administrator penuh. Penagihan berbasis kripto. [Pilih konfigurasi](https://koalavps.com/id/vps/)