Lokale Inferenz, mit Belegen dimensioniert.

Schätzen Sie den gesamten Fußabdruck

Gewichte, Quantisierung, Kontextlänge, Cache und gleichzeitige Anfragen beeinflussen alle den Arbeitsspeicher. Lassen Sie Reserve für das Betriebssystem und die Laufzeit. CPU-Inferenz und GPU-Inferenz haben unterschiedliche Kosten- und Durchsatzprofile; ein Standard-VPS impliziert keinen GPU-Zugriff.

Halten Sie das Modell API privat

Eine Laufzeitumgebung wie Ollama sollte nicht ohne geeignete Sicherheitsschicht dem Internet ausgesetzt werden. Binden Sie sie nach Möglichkeit an Loopback oder eine private Schnittstelle und setzen Sie authentifizierten TLS-Zugriff vor jede Remote-Route.

Mit Herkunftsnachweis herunterladen

Prüfen Sie die Modelllizenz, die Quelle, die Prüfsumme, sofern angegeben, und den vorgesehenen Verwendungszweck. Nicht vertrauenswürdige Modellformate oder umgebender Loader-Code können die Angriffsfläche vergrößern. Halten Sie die Laufzeitumgebung und Abhängigkeiten gepflegt.

Eine echte Anfrage benchmarken

Messen Sie die Latenz bis zum ersten Token, Token pro Sekunde, Speicherdruck und Parallelverhalten mit der Kontextgröße, die Ihre Anwendung verwendet. Fügen Sie Anfragegrößenlimits, Warteschlangen und Timeouts hinzu, damit ein großer Prompt nicht die Maschine erschöpfen kann.

Nachweisen, dass API nicht öffentlich ist

Der lokale Zugriff auf Ollama API erfordert keine Authentifizierung. Wenn nur Ihre eigene Anwendung darauf zugreift, halten Sie den Listener auf Loopback. Für die Fernnutzung fügen Sie ein authentifiziertes TLS-Gateway oder einen privaten Tunnel mit Anfrage- und Parallelitätslimits hinzu. Ein Cloud-Zugangsdatum für API schützt den lokalen Listener nicht automatisch. Testen Sie von einem Gerät ohne Zugriff und verlangen Sie eine Ablehnung.

• Prüfen Sie die lauschende Adresse
• Versuchen Sie eine nicht authentifizierte Anfrage von außerhalb des zulässigen Netzwerks
• Begrenzen Sie Kontextgröße und gleichzeitige Generierungen

ss -lntp
curl --fail http://127.0.0.1:11434/api/tags

Offizielle Dokumentation: Ollama-Authentifizierungsmodell

Führen Sie ein kleines Benchmark-Notizbuch

Erfassen Sie die genaue Modellvariante, Quantisierung, Kontextlänge, den Prompt und die Anzahl paralleler Anfragen. Messen Sie den Laufzeitspeicher, statt anzunehmen, er entspreche der Downloadgröße des Modells. Wiederholen Sie dieselbe Anfrage nach Konfigurationsänderungen und behalten Sie Qualitätsprüfungen sowie Geschwindigkeitsmessungen bei. Wenn ein Job stark auslagert oder die Hauptanwendung verdrängt, reduzieren Sie die Parallelität oder nutzen Sie eine besser geeignete Maschine.

Modellspeicher budgetieren, bevor der Kontext erhöht wird

Verwenden Sie Parameteranzahl multipliziert mit Quantisierungsbits geteilt durch acht als grobe Byte-Schätzung nur für die Gewichte und addieren Sie dann Laufzeit, Kontext-/KV-Cache, Parallelität und Betriebssystem-Reserve hinzu. Dies ist keine Kapazitätsgarantie. In Ollama erhöhen parallele Anfragen und ein größerer Kontext den Speicherverbrauch, während eingereihte Arbeit einen scheinbar gesunden Dienst langsam machen kann. Beginnen Sie mit einem Modell und einer Anfrage, erfassen Sie den Spitzenspeicher und erhöhen Sie die Parallelität erst, wenn die Arbeitslast ihr Latenzziel erreicht.

• Erfassen Sie bei jedem Benchmark Modell-Tag, Laufzeitversion, Quantisierung, Prompt-Länge und Ausgabelimit.
• Trennen Sie das Laden beim Kaltstart von der Leistung bei warmen Anfragen; sie beantworten unterschiedliche Dimensionierungsfragen.
• Wenn der Host auslagert oder ein Prozess beendet wird, senken Sie Parallelität/Kontext und prüfen Sie Speicherereignisse, bevor Sie CPU Kerne kaufen.
• Prüfen Sie geladene Modelle und das Cache-Wachstum, wenn die erste Anfrage schnell ist, spätere Anfragen jedoch stocken.

# Inspect the model runner and host without changing its configuration.
ollama ps
free -h
df -h

Offizielle Dokumentation: Ollama: Speicher, Parallelität und Netzwerkkonfiguration

Embeddings als eigene Workload testen

Ein Embedding-Modell wandelt Eingabetext in Vektoren für die Suche um; es ist nicht dasselbe Ressourcenprofil wie eine lange generierte Antwort. Verwenden Sie beim Indexieren und Abfragen konsistent ein Modell und eine Vorverarbeitungsstrategie. Der Embed-Endpunkt von Ollama akzeptiert Text oder Batches und kann überlange Eingaben ablehnen, wenn truncate false ist. Wählen Sie eine bewusste Chunking-Richtlinie, damit Dokumente nicht stillschweigend an einer ungünstigen Grenze abgeschnitten werden.

• Benchmarken Sie einen Indexierungsstapel und eine interaktive Abfrage getrennt, einschließlich Speicher- und Vektordatenbankkosten.
• Behalten Sie Modellname und Einbettungsdimensionen beim Index. Eine Änderung erfordert in der Regel einen bewussten Reindexierungsplan.
• Verwenden Sie ein kleines Retrieval-Evaluierungsset: bekannte Fragen, erwartete Dokumente und Fälle, die kein relevantes Ergebnis liefern sollten.
• Behandeln Sie Prompts, indexierte Dokumente und Zugriffsprotokolle als separate Datenspeicher mit eigenen Zugriffs- und Löschregeln.

Offizielle Dokumentation: Ollama: Embeddings API