Inferencia local, dimensionada con evidencia.

Estima la huella completa

Los pesos, la cuantización, la longitud de contexto, la caché y las solicitudes concurrentes afectan a la memoria. Deja margen para el sistema operativo y el entorno de ejecución. La inferencia CPU y la inferencia por GPU tienen perfiles de coste y rendimiento distintos; un VPS estándar no implica acceso a GPU.

Mantenga el modelo API privado

Un entorno de ejecución como Ollama no debería exponerse a internet sin una capa de seguridad adecuada. Vincúlalo a loopback o a una interfaz privada cuando sea posible, y coloca acceso autenticado por TLS delante de cualquier ruta remota.

Descarga con procedencia

Revisa la licencia del modelo, el origen, la suma de verificación cuando se proporcione y el uso previsto. Los formatos de modelo no confiables o el código del cargador que los rodea pueden ampliar la superficie de ataque. Mantén el entorno de ejecución y las dependencias actualizados.

Mide el rendimiento de una solicitud real

Mide la latencia del primer token, los tokens por segundo, la presión de memoria y el comportamiento concurrente con el tamaño de contexto que usa tu aplicación. Añade límites de tamaño de solicitud, colas y tiempos de espera para que un prompt grande no pueda agotar la máquina.

Demuestra que API no es público

El acceso local a Ollama API no requiere autenticación. Si solo tu propia aplicación lo llama, mantén el listener en loopback. Para uso remoto, añade una puerta de enlace TLS autenticada o un túnel privado con límites de solicitudes y concurrencia. Una credencial API en la nube no protege automáticamente el listener local. Prueba desde un dispositivo sin acceso y exige el rechazo.

• Inspecciona la dirección de escucha
• Prueba una solicitud no autenticada desde fuera de la red permitida
• Aplique límites al tamaño del contexto y a las generaciones concurrentes

ss -lntp
curl --fail http://127.0.0.1:11434/api/tags

Documentación oficial: Modelo de autenticación de Ollama

Mantén un pequeño cuaderno de referencia

Registra la variante exacta del modelo, la cuantización, la longitud de contexto, el prompt y el número de solicitudes en paralelo. Mide la memoria en tiempo de ejecución en lugar de suponer que equivale al tamaño de descarga del modelo. Repite la misma solicitud tras los cambios de configuración y conserva las comprobaciones de calidad además de las mediciones de velocidad. Si un trabajo recurre intensamente al intercambio o desplaza a la aplicación principal, reduce la concurrencia o usa una máquina más adecuada.

Presupuesta la memoria del modelo antes de aumentar el contexto

Use el número de parámetros multiplicado por los bits de cuantización dividido entre ocho como una estimación aproximada de bytes solo de pesos, y luego añada el tiempo de ejecución, la caché de contexto/KV, la concurrencia y el margen del sistema operativo. No es una garantía de capacidad. En Ollama, las solicitudes paralelas y un contexto mayor aumentan el uso de memoria, mientras que el trabajo en cola puede hacer que un servicio aparentemente saludable vaya lento. Comience con un modelo y una solicitud, registre el pico de memoria y aumente la concurrencia solo después de que la carga de trabajo cumpla su objetivo de latencia.

• Registra la etiqueta del modelo, la versión del entorno de ejecución, la cuantización, la longitud del prompt y el límite de salida con cada benchmark.
• Separa la carga de arranque en frío del rendimiento en solicitudes en caliente; responden a preguntas de dimensionamiento distintas.
• Si el host recurre al swap o se mata un proceso, reduce la concurrencia y el contexto e inspecciona los eventos de memoria antes de comprar núcleos CPU.
• Revisa los modelos cargados y el crecimiento de la caché cuando la primera solicitud es rápida pero las posteriores se bloquean.

# Inspect the model runner and host without changing its configuration.
ollama ps
free -h
df -h

Documentación oficial: Ollama: memoria, concurrencia y configuración de red

Probar los embeddings como una carga de trabajo propia

Un modelo de embeddings convierte el texto de entrada en vectores para la recuperación; no es el mismo perfil de recursos que una respuesta larga generada. Usa un único modelo y una estrategia de preprocesamiento coherente al indexar y consultar. El endpoint de embeddings de Ollama acepta texto o lotes y puede rechazar entradas demasiado largas cuando truncate es false. Elige una política de fragmentación intencionada para que los documentos no se corten silenciosamente en un límite inconveniente.

• Evalúe por separado un lote de indexación y una consulta interactiva, incluidos el almacenamiento y el coste de la base de datos vectorial.
• Conserva el nombre del modelo y las dimensiones de embedding con el índice. Cambiarlos normalmente requiere un plan de reindexación deliberado.
• Usa un conjunto pequeño de evaluación de recuperación: preguntas conocidas, documentos esperados y casos que deberían no devolver ningún resultado relevante.
• Trata los prompts, los documentos indexados y los registros de acceso como almacenes de datos separados, con sus propias reglas de acceso y eliminación.

Documentación oficial: Ollama: embeddings API