Suy luận cục bộ, được định cỡ dựa trên bằng chứng.

Ước tính toàn bộ dấu chân

Trọng số, lượng tử hóa, độ dài ngữ cảnh, bộ nhớ đệm và yêu cầu đồng thời đều ảnh hưởng đến bộ nhớ. Hãy để dư dung lượng cho hệ điều hành và môi trường chạy. Suy luận CPU và suy luận GPU có đặc điểm chi phí và thông lượng khác nhau; một VPS tiêu chuẩn không ngụ ý có quyền truy cập GPU.

Giữ mô hình API ở chế độ riêng tư

Một môi trường chạy như Ollama không nên được mở ra internet mà không có lớp bảo mật phù hợp. Hãy gắn vào loopback hoặc một giao diện riêng khi thực tế, và đặt truy cập TLS có xác thực phía trước mọi tuyến từ xa.

Tải xuống kèm nguồn gốc

Xem xét giấy phép mô hình, nguồn, tổng kiểm tra nếu có và mục đích sử dụng. Các định dạng mô hình không đáng tin cậy hoặc mã trình tải xung quanh có thể mở rộng bề mặt tấn công. Duy trì môi trường chạy và các phụ thuộc.

Đo chuẩn một yêu cầu thực tế

Đo độ trễ token đầu tiên, token mỗi giây, áp lực bộ nhớ và hành vi đồng thời với kích thước ngữ cảnh mà ứng dụng của bạn sử dụng. Thêm giới hạn kích thước yêu cầu, xếp hàng và thời gian chờ để một lời nhắc lớn không thể làm cạn kiệt máy.

Chứng minh API không công khai

Truy cập API cục bộ của Ollama không yêu cầu xác thực. Nếu chỉ ứng dụng của bạn gọi nó, hãy giữ trình lắng nghe trên loopback. Để sử dụng từ xa, hãy thêm cổng TLS có xác thực hoặc đường hầm riêng với giới hạn yêu cầu và đồng thời. Thông tin đăng nhập API trên đám mây không tự động bảo vệ trình lắng nghe cục bộ. Hãy kiểm tra từ một thiết bị không có quyền truy cập và yêu cầu bị từ chối.

• Kiểm tra địa chỉ lắng nghe
• Thử một yêu cầu chưa xác thực từ bên ngoài mạng được phép
• Áp dụng giới hạn cho kích thước ngữ cảnh và số lần tạo đồng thời

ss -lntp
curl --fail http://127.0.0.1:11434/api/tags

Tài liệu chính thức: Mô hình xác thực Ollama

Giữ một sổ tay đánh giá hiệu năng nhỏ

Ghi lại chính xác biến thể mô hình, lượng tử hóa, độ dài ngữ cảnh, lời nhắc và số lượng yêu cầu song song. Đo bộ nhớ khi chạy thay vì giả định nó bằng kích thước tải xuống của mô hình. Lặp lại cùng một yêu cầu sau khi thay đổi cấu hình và giữ cả kiểm tra chất lượng lẫn đo tốc độ. Nếu một tác vụ hoán đổi nhiều hoặc lấn át ứng dụng chính, hãy giảm đồng thời hoặc dùng máy phù hợp hơn.

Dự trù bộ nhớ mô hình trước khi tăng ngữ cảnh

Dùng số tham số nhân với số bit lượng tử hóa chia cho tám làm ước tính byte chỉ cho trọng số, sau đó cộng thêm runtime, bộ nhớ đệm ngữ cảnh/KV, đồng thời và dư địa hệ điều hành. Đây không phải bảo đảm dung lượng. Trong Ollama, các yêu cầu song song và ngữ cảnh lớn hơn làm tăng mức dùng bộ nhớ, trong khi công việc trong hàng đợi có thể khiến dịch vụ trông khỏe mạnh nhưng chậm. Bắt đầu với một mô hình và một yêu cầu, ghi lại bộ nhớ đỉnh, và chỉ tăng đồng thời sau khi khối lượng công việc đạt mục tiêu độ trễ.

• Ghi lại thẻ mô hình, phiên bản runtime, lượng tử hoá, độ dài prompt và giới hạn đầu ra với mọi benchmark.
• Tách việc tải khởi động nguội khỏi hiệu năng yêu cầu ấm; chúng trả lời các câu hỏi định cỡ khác nhau.
• Nếu máy chủ bị hoán đổi hoặc một tiến trình bị giết, hãy giảm đồng thời/ngữ cảnh và kiểm tra các sự kiện bộ nhớ trước khi mua thêm lõi CPU.
• Xem lại các mô hình đã tải và mức tăng bộ nhớ đệm khi yêu cầu đầu tiên nhanh nhưng các yêu cầu sau bị treo.

# Inspect the model runner and host without changing its configuration.
ollama ps
free -h
df -h

Tài liệu chính thức: Ollama: bộ nhớ, đồng thời và cấu hình mạng

Kiểm thử embeddings như một khối lượng công việc riêng

Mô hình embedding chuyển văn bản đầu vào thành vector để truy xuất; nó không phải cùng cấu hình tài nguyên như một câu trả lời được tạo dài. Sử dụng một mô hình và chiến lược tiền xử lý nhất quán khi lập chỉ mục và truy vấn. Điểm cuối embed của Ollama chấp nhận văn bản hoặc lô và có thể từ chối đầu vào quá dài khi truncate là false. Chọn chính sách chia khối có chủ đích để tài liệu không bị cắt âm thầm tại ranh giới bất tiện.

• Đo điểm chuẩn riêng biệt cho một lô lập chỉ mục và một truy vấn tương tác, bao gồm chi phí lưu trữ và cơ sở dữ liệu vector.
• Giữ tên mô hình và số chiều nhúng cùng với chỉ mục. Thay đổi chúng thường đòi hỏi một kế hoạch đánh chỉ mục lại có chủ đích.
• Sử dụng một bộ đánh giá truy xuất nhỏ: các câu hỏi đã biết, tài liệu mong đợi và các trường hợp không nên trả về kết quả liên quan.
• Coi lời nhắc, tài liệu được lập chỉ mục và nhật ký truy cập là các kho dữ liệu riêng biệt với quy tắc truy cập và xóa riêng.

Tài liệu chính thức: Ollama: embeddings API