Inférence locale, dimensionnée avec des preuves.

Estimez l'empreinte globale

Les poids, la quantification, la longueur de contexte, le cache et les requêtes simultanées influent tous sur la mémoire. Laissez une marge pour le système d'exploitation et l'environnement d'exécution. L'inférence CPU et l'inférence GPU présentent des profils de coût et de débit différents ; un VPS standard n'implique pas un accès GPU.

Gardez le modèle API privé

Un environnement d'exécution tel qu'Ollama ne doit pas être exposé à internet sans une couche de sécurité appropriée. Liez-le à l'interface de bouclage ou à une interface privée lorsque c'est possible, et placez un accès TLS authentifié devant toute route distante.

Télécharger avec provenance

Examinez la licence du modèle, sa source, sa somme de contrôle lorsqu'elle est fournie et l'usage prévu. Les formats de modèles non fiables ou le code de chargement environnant peuvent élargir la surface d'attaque. Maintenez le runtime et les dépendances à jour.

Évaluez les performances d'une requête réelle

Mesurez d'abord la latence du premier jeton, les jetons par seconde, la pression mémoire et le comportement en concurrence avec la taille de contexte utilisée par votre application. Ajoutez des limites de taille de requête, une mise en file d'attente et des délais d'expiration afin qu'une seule invite volumineuse ne puisse pas épuiser la machine.

Prouvez que le API n’est pas public

L'accès local à Ollama API ne nécessite pas d'authentification. Si seule votre propre application l'appelle, maintenez l'écouteur sur la boucle locale. Pour un usage distant, ajoutez une passerelle TLS authentifiée ou un tunnel privé avec des limites de requêtes et de concurrence. Un identifiant cloud API ne protège pas automatiquement l'écouteur local. Testez depuis un appareil sans accès et exigez un rejet.

• Inspectez l'adresse d'écoute
• Essayez une requête non authentifiée depuis l'extérieur du réseau autorisé
• Limitez la taille du contexte et les générations simultanées

ss -lntp
curl --fail http://127.0.0.1:11434/api/tags

Documentation officielle : Modèle d'authentification Ollama

Conserver un petit carnet de référence

Notez la variante exacte du modèle, la quantification, la longueur de contexte, le prompt et le nombre de requêtes parallèles. Mesurez la mémoire d'exécution plutôt que de supposer qu'elle équivaut à la taille de téléchargement du modèle. Répétez la même requête après les changements de configuration et conservez les contrôles de qualité ainsi que les mesures de vitesse. Si une tâche swappe fortement ou évince l'application principale, réduisez la concurrence ou utilisez une machine plus adaptée.

Dimensionnez la mémoire du modèle avant d'augmenter le contexte

Utilisez le nombre de paramètres multiplié par les bits de quantification divisé par huit comme estimation approximative des octets pour les poids uniquement, puis ajoutez la marge pour le runtime, le cache de contexte/KV, la concurrence et le système d'exploitation. Ce n'est pas une garantie de capacité. Dans Ollama, les requêtes parallèles et un contexte plus large augmentent l'utilisation de la mémoire, tandis que le travail en file d'attente peut ralentir un service apparemment sain. Commencez avec un modèle et une requête, enregistrez la mémoire maximale et n'augmentez la concurrence qu'après que la charge de travail atteint son objectif de latence.

• Consignez le tag du modèle, la version de l'environnement d'exécution, la quantification, la longueur du prompt et la limite de sortie avec chaque benchmark.
• Distinguez le chargement à froid des performances en requête à chaud ; ils répondent à des questions de dimensionnement différentes.
• Si l'hôte échange ou qu'un processus est tué, réduisez la concurrence/le contexte et inspectez les événements mémoire avant d'acheter CPU cœurs.
• Examinez les modèles chargés et la croissance du cache lorsque la première requête est rapide mais que les suivantes bloquent.

# Inspect the model runner and host without changing its configuration.
ollama ps
free -h
df -h

Documentation officielle : Ollama : mémoire, concurrence et configuration réseau

Testez les embeddings comme une charge de travail à part entière

Un modèle d’embedding transforme le texte d’entrée en vecteurs pour la recherche ; son profil de ressources diffère de celui d’une longue réponse générée. Utilisez un seul modèle et une stratégie de prétraitement cohérente lors de l’indexation et de l’interrogation. Le point de terminaison embed d’Ollama accepte du texte ou des lots et peut rejeter une entrée trop longue lorsque truncate est false. Choisissez une politique de découpage intentionnelle afin que les documents ne soient pas silencieusement coupés à une frontière inopportune.

• Évaluez séparément un lot d'indexation et une requête interactive, y compris le coût du stockage et de la base de données vectorielle.
• Conservez le nom du modèle et les dimensions d'embedding avec l'index. Les modifier nécessite généralement un plan de réindexation délibéré.
• Utilisez un petit jeu d'évaluation de récupération : questions connues, documents attendus et cas qui ne devraient renvoyer aucun résultat pertinent.
• Traitez les invites, les documents indexés et les journaux d'accès comme des magasins de données distincts avec leurs propres règles d'accès et de suppression.

Documentation officielle : Ollama : embeddings API