Локальний висновок, розмірений на основі доказів.

Оцініть повний обсяг

Вага, квантування, довжина контексту, кеш і одночасні запити впливають на пам’ять. Залишайте запас для операційної системи та середовища виконання. Виведення CPU і виведення на GPU мають різні профілі вартості та пропускної здатності; стандартний VPS не означає доступ до GPU.

Зберігайте модель API приватною

Середовище виконання, як-от Ollama, не слід відкривати в інтернет без належного рівня захисту. За можливості прив'яжіть до loopback або приватного інтерфейсу та поставте автентифікований доступ TLS перед будь-яким віддаленим маршрутом.

Завантаження з підтвердженням походження

Перегляньте ліцензію моделі, джерело, контрольну суму, де вона надана, і призначення. Недовірені формати моделей або супутній код завантажувача можуть розширити поверхню атаки. Підтримуйте середовище виконання та залежності в актуальному стані.

Проведіть тестування продуктивності на реальному запиті

Виміряйте затримку першого токена, токени за секунду, тиск на пам'ять і поведінку при паралельних запитах із розміром контексту, який використовує ваш застосунок. Додайте обмеження розміру запитів, черги та тайм-аути, щоб один великий запит не міг виснажити машину.

Доведіть, що API не є публічним

Локальний доступ до Ollama API не потребує автентифікації. Якщо його викликає лише ваш власний застосунок, тримайте слухач на loopback. Для віддаленого використання додайте автентифікований шлюз TLS або приватний тунель з обмеженнями запитів і паралельності. Хмарний обліковий дані API не захищають локальний слухач автоматично. Перевірте з пристрою без доступу та вимагайте відмови.

• Перевірте адресу прослуховування
• Спробуйте неавтентифікований запит з-поза дозволеної мережі
• Застосовуйте обмеження на розмір контексту та одночасні генерації

ss -lntp
curl --fail http://127.0.0.1:11434/api/tags

Офіційна документація: Модель автентифікації Ollama

Ведіть невеликий блокнот бенчмарків

Зафіксуйте точний варіант моделі, квантування, довжину контексту, запит і кількість паралельних запитів. Вимірюйте пам'ять під час роботи, а не припускайте, що вона дорівнює розміру завантаженої моделі. Повторіть той самий запит після зміни конфігурації та зберігайте перевірки якості разом із вимірюваннями швидкості. Якщо завдання інтенсивно використовує swap або витісняє основний застосунок, зменште паралельність або використайте більш підходящу машину.

Плануйте пам'ять моделі перед збільшенням контексту

Використовуйте кількість параметрів, помножену на біти квантування та поділену на вісім, як приблизну оцінку байтів лише для ваг, потім додайте середовище виконання, кеш контексту/KV, паралельність і запас операційної системи. Це не гарантія ємності. В Ollama паралельні запити та більший контекст збільшують використання пам'яті, а робота в черзі може зробити зовні здорову службу повільною. Почніть з однієї моделі та одного запиту, зафіксуйте пікове використання пам'яті й підвищуйте паралельність лише після того, як робоче навантаження досягне цільової затримки.

• Записуйте тег моделі, версію середовища виконання, квантування, довжину запиту та ліміт виводу для кожного бенчмарку.
• Відокремлюйте завантаження холодного старту від продуктивності теплих запитів; вони відповідають на різні питання щодо розміру.
• Якщо хост використовує swap або процес завершується, знизьте паралельність/контекст і перегляньте події пам'яті, перш ніж купувати CPU ядер.
• Перегляньте завантажені моделі та зростання кешу, якщо перший запит швидкий, але наступні затримуються.

# Inspect the model runner and host without changing its configuration.
ollama ps
free -h
df -h

Офіційна документація: Ollama: пам'ять, паралельність і конфігурація мережі

Тестуйте вбудовування як окреме навантаження

Модель вбудовування перетворює вхідний текст у вектори для пошуку; це не той самий профіль ресурсів, що й довга згенерована відповідь. Використовуйте одну модель і стратегію попередньої обробки послідовно під час індексування та запитів. Кінцева точка embed в Ollama приймає текст або пакети й може відхиляти задовгий ввід, коли truncate має значення false. Виберіть усвідомлену політику розбиття на фрагменти, щоб документи не обрізалися непомітно на незручній межі.

• Оцінюйте пакет індексації та інтерактивний запит окремо, включно з вартістю сховища та векторної бази даних.
• Зберігайте назву моделі та розмірність вбудовування разом з індексом. Їх зміна зазвичай вимагає продуманого плану повторної індексації.
• Використовуйте невеликий набір для оцінки пошуку: відомі запитання, очікувані документи та випадки, які мають повертати жодного релевантного результату.
• Розглядайте запити, проіндексовані документи та журнали доступу як окремі сховища даних із власними правилами доступу та видалення.

Офіційна документація: Ollama: вбудовування API