Inferensi lokal, dengan ukuran berbasis bukti.

Perkirakan seluruh jejak

Bobot, kuantisasi, panjang konteks, cache, dan permintaan bersamaan semuanya memengaruhi memori. Sisakan ruang untuk sistem operasi dan runtime. Inferensi CPU dan inferensi GPU memiliki profil biaya dan throughput yang berbeda; VPS standar tidak menyiratkan akses GPU.

Jaga model API tetap privat

Runtime seperti Ollama tidak boleh diekspos ke internet tanpa lapisan keamanan yang sesuai. Ikat ke loopback atau antarmuka privat jika memungkinkan, dan letakkan akses TLS terautentikasi di depan rute jarak jauh mana pun.

Unduh dengan asal-usul

Tinjau lisensi model, sumber, checksum jika disediakan, dan penggunaan yang dimaksudkan. Format model yang tidak tepercaya atau kode loader di sekitarnya dapat memperluas permukaan serangan. Jaga runtime dan dependensi tetap terpelihara.

Benchmark permintaan nyata

Ukur latensi token pertama, token per detik, tekanan memori, dan perilaku konkuren dengan ukuran konteks yang digunakan aplikasi Anda. Tambahkan batas ukuran permintaan, antrean, dan timeout agar satu prompt besar tidak menghabiskan mesin.

Buktikan API tidak publik

Akses API Ollama lokal tidak memerlukan autentikasi. Jika hanya aplikasi Anda sendiri yang memanggilnya, pertahankan listener pada loopback. Untuk penggunaan jarak jauh, tambahkan gateway TLS yang terautentikasi atau terowongan privat dengan batas permintaan dan konkurensi. Kredensial API cloud tidak otomatis melindungi listener lokal. Uji dari perangkat tanpa akses dan pastikan permintaan ditolak.

• Periksa alamat pendengar
• Coba permintaan tanpa autentikasi dari luar jaringan yang diizinkan
• Terapkan batas pada ukuran konteks dan generasi bersamaan

ss -lntp
curl --fail http://127.0.0.1:11434/api/tags

Dokumentasi resmi: Model autentikasi Ollama

Simpan buku catatan benchmark kecil

Catat varian model yang tepat, kuantisasi, panjang konteks, prompt, dan jumlah permintaan paralel. Ukur memori runtime alih-alih mengasumsikan sama dengan ukuran unduhan model. Ulangi permintaan yang sama setelah perubahan konfigurasi dan pertahankan pemeriksaan kualitas serta pengukuran kecepatan. Jika suatu pekerjaan banyak melakukan swap atau menggeser aplikasi utama, kurangi konkurensi atau gunakan mesin yang lebih sesuai.

Anggarkan memori model sebelum menambah konteks

Gunakan jumlah parameter dikalikan bit kuantisasi dibagi delapan sebagai perkiraan kasar byte khusus bobot, lalu tambahkan runtime, cache konteks/KV, konkurensi, dan ruang cadangan sistem operasi. Ini bukan jaminan kapasitas. Di Ollama, permintaan paralel dan konteks yang lebih besar meningkatkan penggunaan memori, sementara pekerjaan yang mengantre dapat membuat layanan yang tampak sehat menjadi lambat. Mulai dengan satu model dan satu permintaan, catat memori puncak, dan naikkan konkurensi hanya setelah beban kerja memenuhi target latensinya.

• Catat tag model, versi runtime, kuantisasi, panjang prompt, dan batas keluaran pada setiap benchmark.
• Pisahkan pemuatan cold-start dari kinerja permintaan hangat; keduanya menjawab pertanyaan sizing yang berbeda.
• Jika host melakukan swap atau proses dihentikan, turunkan konkurensi/konteks dan periksa peristiwa memori sebelum membeli CPU inti.
• Tinjau model yang dimuat dan pertumbuhan cache saat permintaan pertama cepat tetapi permintaan berikutnya macet.

# Inspect the model runner and host without changing its configuration.
ollama ps
free -h
df -h

Dokumentasi resmi: Ollama: memori, konkurensi, dan konfigurasi jaringan

Uji embeddings sebagai beban kerja tersendiri

Model embedding mengubah teks masukan menjadi vektor untuk pengambilan; ini bukan profil sumber daya yang sama dengan jawaban tergenerasi yang panjang. Gunakan satu model dan strategi prapemrosesan secara konsisten saat mengindeks dan membuat kueri. Endpoint embed Ollama menerima teks atau batch dan dapat menolak masukan yang terlalu panjang saat truncate bernilai false. Pilih kebijakan pemotongan yang disengaja agar dokumen tidak terpotong diam-diam pada batas yang tidak nyaman.

• Benchmark batch pengindeksan dan kueri interaktif secara terpisah, termasuk biaya penyimpanan dan basis data vektor.
• Simpan nama model dan dimensi embedding bersama indeks. Mengubahnya biasanya memerlukan rencana pengindeksan ulang yang disengaja.
• Gunakan set evaluasi pengambilan yang kecil: pertanyaan yang diketahui, dokumen yang diharapkan, dan kasus yang seharusnya tidak mengembalikan hasil relevan.
• Perlakukan prompt, dokumen terindeks, dan log akses sebagai penyimpanan data terpisah dengan aturan akses dan penghapusan masing-masing.

Dokumentasi resmi: Ollama: embedding API