Wnioskowanie lokalne, dobrane na podstawie dowodów.

Oszacuj cały ślad

Wagi, kwantyzacja, długość kontekstu, pamięć podręczna i równoczesne żądania wpływają na pamięć. Zostaw zapas dla systemu operacyjnego i środowiska uruchomieniowego. Wnioskowanie CPU i wnioskowanie GPU mają różne profile kosztów i przepustowości; standardowy VPS nie oznacza dostępu do GPU.

Zachowaj model API jako prywatny

Środowisko uruchomieniowe, takie jak Ollama, nie powinno być wystawione do internetu bez odpowiedniej warstwy bezpieczeństwa. W miarę możliwości powiąż je z interfejsem loopback lub prywatnym, a przed każdą trasą zdalną umieść uwierzytelniony dostęp TLS.

Pobieranie z zachowaniem pochodzenia

Sprawdź licencję modelu, źródło, sumę kontrolną, jeśli jest dostarczona, oraz zamierzone użycie. Niezaufane formaty modeli lub otaczający kod loadera mogą zwiększyć powierzchnię ataku. Utrzymuj środowisko uruchomieniowe i zależności w stanie aktualnym.

Zmierz wydajność na rzeczywistym żądaniu

Zmierz opóźnienie pierwszego tokenu, tokeny na sekundę, presję na pamięć i zachowanie przy współbieżności z rozmiarem kontekstu używanym przez Twoją aplikację. Dodaj limity rozmiaru żądań, kolejkowanie i limity czasu, aby jeden duży prompt nie wyczerpał maszyny.

Udowodnij, że API nie jest publiczny

Lokalny dostęp do Ollama API nie wymaga uwierzytelniania. Jeśli wywołuje go tylko Twoja własna aplikacja, pozostaw nasłuch na interfejsie loopback. Do użytku zdalnego dodaj uwierzytelnioną bramę TLS lub prywatny tunel z limitami żądań i współbieżności. Poświadczenie chmurowe API nie chroni automatycznie lokalnego nasłuchu. Przetestuj z urządzenia bez dostępu i wymagaj odrzucenia.

• Sprawdź adres nasłuchu
• Wypróbuj nieuwierzytelnione żądanie spoza dozwolonej sieci
• Ustaw limity rozmiaru kontekstu i równoczesnych generacji

ss -lntp
curl --fail http://127.0.0.1:11434/api/tags

Oficjalna dokumentacja: Model uwierzytelniania Ollama

Prowadź mały notatnik benchmarków

Zapisz dokładny wariant modelu, kwantyzację, długość kontekstu, prompt i liczbę równoległych żądań. Mierz pamięć w czasie działania, zamiast zakładać, że równa się rozmiarowi pobranego modelu. Powtórz to samo żądanie po zmianach konfiguracji i zachowaj kontrole jakości oraz pomiary szybkości. Jeśli zadanie mocno korzysta z pamięci wymiany lub wypiera główną aplikację, zmniejsz współbieżność lub użyj odpowiedniejszej maszyny.

Zaplanuj pamięć modelu przed zwiększeniem kontekstu

Użyj liczby parametrów pomnożonej przez bity kwantyzacji podzielonej przez osiem jako przybliżonego szacunku bajtów wyłącznie dla wag, a następnie dodaj narzut środowiska uruchomieniowego, kontekstu/pamięci podręcznej KV, współbieżności i systemu operacyjnego. To nie jest gwarancja pojemności. W Ollama równoległe żądania i większy kontekst zwiększają użycie pamięci, a praca w kolejce może spowolnić pozornie zdrową usługę. Zacznij od jednego modelu i jednego żądania, zapisz szczytowe zużycie pamięci i zwiększaj współbieżność dopiero, gdy obciążenie osiągnie docelowe opóźnienie.

• Zapisuj tag modelu, wersję środowiska uruchomieniowego, kwantyzację, długość promptu i limit wyjścia przy każdym benchmarku.
• Oddziel ładowanie zimnego startu od wydajności ciepłych żądań; odpowiadają one na różne pytania dotyczące doboru rozmiaru.
• Jeśli host zaczyna korzystać z pamięci wymiany lub proces zostaje zabity, obniż współbieżność/kontekst i sprawdź zdarzenia pamięci, zanim kupisz rdzenie CPU.
• Sprawdź załadowane modele i wzrost pamięci podręcznej, gdy pierwsze żądanie jest szybkie, ale kolejne się zatrzymują.

# Inspect the model runner and host without changing its configuration.
ollama ps
free -h
df -h

Oficjalna dokumentacja: Ollama: pamięć, współbieżność i konfiguracja sieci

Testuj osadzenia jako osobne obciążenie

Model osadzania zamienia tekst wejściowy na wektory do wyszukiwania; to nie ten sam profil zasobów co długo generowana odpowiedź. Używaj jednego modelu i jednej strategii wstępnego przetwarzania konsekwentnie podczas indeksowania i zapytań. Punkt końcowy osadzania Ollama przyjmuje tekst lub partie i może odrzucić zbyt długie dane wejściowe, gdy truncate ma wartość false. Wybierz świadomą politykę dzielenia na fragmenty, aby dokumenty nie były po cichu cięte w niedogodnej granicy.

• Osobno zmierz partię indeksowania i zapytanie interaktywne, uwzględniając koszt pamięci masowej i bazy wektorowej.
• Zachowaj nazwę modelu i wymiary osadzania razem z indeksem. Ich zmiana zwykle wymaga zaplanowanego ponownego indeksowania.
• Użyj małego zestawu ewaluacyjnego wyszukiwania: znanych pytań, oczekiwanych dokumentów i przypadków, które powinny zwrócić brak istotnego wyniku.
• Traktuj prompty, zindeksowane dokumenty i logi dostępu jako osobne magazyny danych z własnymi zasadami dostępu i usuwania.

Oficjalna dokumentacja: Ollama: osadzenia API