Inferenza locale, dimensionata con evidenze.

Stima l'impronta complessiva

Pesi, quantizzazione, lunghezza del contesto, cache e richieste concorrenti influenzano tutti la memoria. Lascia margine per il sistema operativo e il runtime. L'inferenza CPU e l'inferenza GPU hanno profili di costo e throughput diversi; un VPS standard non implica l'accesso alla GPU.

Mantieni il modello API privato

Un runtime come Ollama non dovrebbe essere esposto a internet senza un'adeguata protezione di sicurezza. Associa al loopback o a un'interfaccia privata ove possibile, e anteponi un accesso TLS autenticato a qualsiasi rotta remota.

Scarica con provenienza

Esamina la licenza del modello, la fonte, il checksum ove fornito e l'uso previsto. Formati di modello non attendibili o codice di caricamento circostante possono ampliare la superficie di attacco. Mantieni aggiornati il runtime e le dipendenze.

Misura le prestazioni di una richiesta reale

Misura la latenza del primo token, i token al secondo, la pressione sulla memoria e il comportamento in concorrenza con la dimensione del contesto usata dalla tua applicazione. Aggiungi limiti alla dimensione delle richieste, accodamento e timeout affinché un singolo prompt di grandi dimensioni non possa esaurire la macchina.

Dimostra che API non è pubblico

L'accesso locale a Ollama API non richiede autenticazione. Se solo la tua applicazione lo chiama, mantieni il listener su loopback. Per l'uso remoto, aggiungi un gateway TLS autenticato o un tunnel privato con limiti di richieste e concorrenza. Una credenziale cloud API non protegge automaticamente il listener locale. Verifica da un dispositivo senza accesso e richiedi il rifiuto.

• Ispeziona l'indirizzo in ascolto
• Prova una richiesta non autenticata dall'esterno della rete consentita
• Applica limiti alla dimensione del contesto e alle generazioni simultanee

ss -lntp
curl --fail http://127.0.0.1:11434/api/tags

Documentazione ufficiale: Modello di autenticazione Ollama

Mantieni un piccolo notebook di benchmark

Registra l'esatta variante del modello, la quantizzazione, la lunghezza del contesto, il prompt e il numero di richieste parallele. Misura la memoria in fase di esecuzione invece di presumere che coincida con la dimensione del download del modello. Ripeti la stessa richiesta dopo le modifiche alla configurazione e conserva i controlli di qualità oltre alle misurazioni della velocità. Se un processo ricorre pesantemente allo swap o sottrae risorse all'applicazione principale, riduci la concorrenza o usa una macchina più adatta.

Valuta la memoria del modello prima di aumentare il contesto

Usa il numero di parametri moltiplicato per i bit di quantizzazione diviso per otto come stima approssimativa dei byte dei soli pesi, poi aggiungi runtime, cache di contesto/KV, concorrenza e margine per il sistema operativo. Non è una garanzia di capacità. In Ollama, le richieste parallele e un contesto più ampio aumentano l'uso di memoria, mentre il lavoro in coda può rendere lento un servizio apparentemente sano. Inizia con un modello e una richiesta, registra la memoria di picco e aumenta la concorrenza solo dopo che il carico di lavoro raggiunge il suo obiettivo di latenza.

• Registra tag del modello, versione del runtime, quantizzazione, lunghezza del prompt e limite di output con ogni benchmark.
• Separa il caricamento a freddo dalle prestazioni delle richieste a caldo; rispondono a domande di dimensionamento diverse.
• Se l'host ricorre allo swap o un processo viene terminato, riduci concorrenza/contesto e ispeziona gli eventi di memoria prima di acquistare CPU core.
• Controlla i modelli caricati e la crescita della cache quando la prima richiesta è veloce ma le successive si bloccano.

# Inspect the model runner and host without changing its configuration.
ollama ps
free -h
df -h

Documentazione ufficiale: Ollama: memoria, concorrenza e configurazione di rete

Testa gli embedding come carico di lavoro a sé

Un modello di embedding trasforma il testo di input in vettori per il recupero; non ha lo stesso profilo di risorse di una lunga risposta generata. Usa un solo modello e una strategia di preelaborazione coerente durante l'indicizzazione e l'interrogazione. L'endpoint embed di Ollama accetta testo o batch e può rifiutare input troppo lunghi quando truncate è false. Scegli una politica di suddivisione in chunk intenzionale affinché i documenti non vengano tagliati silenziosamente in un punto scomodo.

• Esegui il benchmark separatamente di un batch di indicizzazione e di una query interattiva, includendo il costo di archiviazione e del database vettoriale.
• Mantieni il nome del modello e le dimensioni degli embedding con l'indice. Modificarli richiede di solito un piano di reindicizzazione deliberato.
• Usa un piccolo set di valutazione per il recupero: domande note, documenti attesi e casi che dovrebbero non restituire alcun risultato pertinente.
• Tratta prompt, documenti indicizzati e log di accesso come archivi dati separati con proprie regole di accesso e cancellazione.

Documentazione ufficiale: Ollama: embedding API