Paikallinen päättely, mitoitettu todisteilla.

Arvioi koko jalanjälki

Painot, kvantisointi, kontekstin pituus, välimuisti ja samanaikaiset pyynnöt vaikuttavat kaikki muistiin. Jätä pelivaraa käyttöjärjestelmälle ja ajonaikaiselle ympäristölle. CPU-päättelyllä ja GPU-päättelyllä on erilaiset kustannus- ja suorituskykyprofiilit; tavallinen VPS ei tarkoita GPU-käyttöoikeutta.

Pidä malli API yksityisenä

Ajoympäristöä, kuten Ollamaa, ei tulisi altistaa internetille ilman asianmukaista suojakerrosta. Sido se loopback- tai yksityiseen käyttöliittymään, kun käytännöllistä, ja aseta todennettu TLS-pääsy minkä tahansa etäreitin eteen.

Lataa alkuperä tiedossa

Tarkista mallin lisenssi, lähde, tarkistussumma jos sellainen on toimitettu, ja käyttötarkoitus. Epäluotettavat mallimuodot tai ympäröivä latauskoodi voivat laajentaa hyökkäyspintaa. Pidä ajonaikainen ympäristö ja riippuvuudet ylläpidettyinä.

Vertaa todellista pyyntöä

Mittaa ensimmäisen tokenin viive, tokenit sekunnissa, muistipaine ja samanaikainen käyttäytyminen sovelluksesi käyttämällä kontekstikoolla. Lisää pyyntöjen kokorajat, jonotus ja aikakatkaisut, jotta yksi suuri kehote ei voi kuluttaa koneen resursseja loppuun.

Todista, ettei API ole julkinen

Paikallinen Ollama API -käyttö ei vaadi todennusta. Jos vain oma sovelluksesi kutsuu sitä, pidä kuuntelija loopbackissa. Etäkäyttöä varten lisää todennettu TLS-yhdyskäytävä tai yksityinen tunneli, jossa on pyyntö- ja samanaikaisuusrajoitukset. Pilven API -tunnistetieto ei automaattisesti suojaa paikallista kuuntelijaa. Testaa laitteesta, jolla ei ole pääsyä, ja vaadi hylkäys.

• Tarkista kuunteluosoite
• Kokeile todenentamatonta pyyntöä sallitun verkon ulkopuolelta
• Aseta rajat kontekstin koolle ja samanaikaisille generoinneille

ss -lntp
curl --fail http://127.0.0.1:11434/api/tags

Virallinen dokumentaatio: Ollaman todennusmalli

Pidä pientä vertailumuistikirjaa

Kirjaa tarkka malliversio, kvantisointi, kontekstin pituus, kehote ja rinnakkaisten pyyntöjen määrä. Mittaa ajonaikainen muisti sen sijaan, että olettaisit sen vastaavan mallin latauskokoa. Toista sama pyyntö kokoonpanomuutosten jälkeen ja pidä sekä laadunvarmistus että nopeusmittaukset. Jos työ vaihtaa voimakkaasti tai syrjäyttää pääsovelluksen, vähennä rinnakkaisuutta tai käytä sopivampaa konetta.

Budjetoi mallin muisti ennen kontekstin kasvattamista

Käytä karkean painoihin perustuvan tavuarvion laskemiseen parametrien määrää kerrottuna kvantisointibiteillä jaettuna kahdeksalla, ja lisää sitten ajonaikainen, konteksti-/KV-välimuisti, samanaikaisuus ja käyttöjärjestelmän liikkumavara. Se ei ole kapasiteettitakuu. Ollamassa rinnakkaiset pyynnöt ja suurempi konteksti lisäävät muistinkäyttöä, kun taas jonossa oleva työ voi hidastaa näennäisesti tervettä palvelua. Aloita yhdellä mallilla ja yhdellä pyynnöllä, kirjaa huippumuistinkäyttö ja lisää samanaikaisuutta vasta, kun työkuorma saavuttaa viive­tavoitteensa.

• Kirjaa mallitunniste, ajonaikainen versio, kvantisointi, kehotteen pituus ja tulosteen raja jokaisen vertailuarvon yhteyteen.
• Erota kylmäkäynnistyksen lataus lämpimien pyyntöjen suorituskyvystä; ne vastaavat eri mitoituskysymyksiin.
• Jos isäntä vaihtaa muistia levylle tai prosessi tapetaan, laske samanaikaisuutta/kontekstia ja tarkista muistitapahtumat ennen CPU ytimien ostamista.
• Tarkista ladatut mallit ja välimuistin kasvu, kun ensimmäinen pyyntö on nopea mutta myöhemmät pyynnöt pysähtyvät.

# Inspect the model runner and host without changing its configuration.
ollama ps
free -h
df -h

Virallinen dokumentaatio: Ollama: muisti, samanaikaisuus ja verkkokokoonpano

Testaa upotukset omana työkuormanaan

Upotusmalli muuntaa syötetekstin vektoreiksi hakua varten; se ei ole sama resurssiprofiili kuin pitkä generoitu vastaus. Käytä samaa mallia ja esikäsittelystrategiaa johdonmukaisesti indeksoinnissa ja kyselyissä. Ollaman embed-päätepiste hyväksyy tekstiä tai eriä ja voi hylätä liian pitkän syötteen, kun truncate on false. Valitse tarkoituksellinen pilkkomiskäytäntö, jotta asiakirjoja ei leikata hiljaisesti hankalasta kohdasta.

• Vertaa indeksointierää ja interaktiivista kyselyä erikseen, mukaan lukien tallennus- ja vektoritietokantakustannukset.
• Säilytä mallin nimi ja upotusulottuvuudet indeksin kanssa. Niiden muuttaminen edellyttää yleensä harkittua uudelleenindeksointisuunnitelmaa.
• Käytä pientä hakujen arviointijoukkoa: tunnetut kysymykset, odotetut asiakirjat ja tapaukset, joiden pitäisi palauttaa ei merkityksellistä tulosta.
• Käsittele kehotteita, indeksoituja asiakirjoja ja käyttölokeja erillisinä tietovarastoina, joilla on omat käyttö- ja poistosääntönsä.

Virallinen dokumentaatio: Ollama: upotus API