--- canonical: https://koalavps.com/ru/guides-self-host-an-llm-on-a-vps/ language: ru generated: 2026-10-21T13:34:01.257Z --- [Главная](https://koalavps.com/ru/) / [Обзор](https://koalavps.com/ru/resources/) / Заметки о поле KoalaVPS Заметки о поле KoalaVPS # Локальный инференс, обоснованный доказательствами. Модель, которая помещается на диске, всё равно может требовать гораздо больше памяти во время работы. Начните с репрезентативного бенчмарка. [Найдите свой VPS](https://koalavps.com/ru/vps/) ## В ЭТОМ ДОКУМЕНТЕ [Оцените общий объем](https://koalavps.com/ru/guides-self-host-an-llm-on-a-vps/#section-1)[Держите модель API приватной](https://koalavps.com/ru/guides-self-host-an-llm-on-a-vps/#section-2)[Скачивание с подтверждением происхождения](https://koalavps.com/ru/guides-self-host-an-llm-on-a-vps/#section-3)[Измерьте производительность на реальном запросе](https://koalavps.com/ru/guides-self-host-an-llm-on-a-vps/#section-4)[Убедитесь, что API не является публичным](https://koalavps.com/ru/guides-self-host-an-llm-on-a-vps/#section-5)[Ведите небольшой блокнот с бенчмарками](https://koalavps.com/ru/guides-self-host-an-llm-on-a-vps/#section-6)[Планируйте память модели до увеличения контекста](https://koalavps.com/ru/guides-self-host-an-llm-on-a-vps/#section-7)[Тестируйте эмбеддинги как отдельную рабочую нагрузку](https://koalavps.com/ru/guides-self-host-an-llm-on-a-vps/#section-8)[База знаний](https://koalavps.com/ru/resources/) ## Оцените общий объем Веса, квантование, длина контекста, кэш и одновременные запросы влияют на память. Оставьте запас для операционной системы и среды выполнения. Инференс CPU и инференс на GPU имеют разные профили стоимости и пропускной способности; стандартный VPS не подразумевает доступ к GPU. ## Держите модель API приватной Среду выполнения, такую как Ollama, не следует открывать в интернет без надлежащего уровня безопасности. Где это возможно, привязывайте её к loopback или частному интерфейсу и ставьте перед любым удалённым маршрутом доступ TLS с аутентификацией. ## Скачивание с подтверждением происхождения Изучите лицензию модели, источник, контрольную сумму, если она предоставлена, и предполагаемое использование. Недоверенные форматы моделей или окружающий код загрузчика могут расширить поверхность атаки. Поддерживайте среду выполнения и зависимости в актуальном состоянии. ## Измерьте производительность на реальном запросе Измерьте задержку первого токена, токены в секунду, давление на память и поведение при параллельных запросах с тем размером контекста, который использует ваше приложение. Добавьте ограничения размера запросов, очередь и тайм-ауты, чтобы один большой промпт не мог исчерпать ресурсы машины. ## Убедитесь, что API не является публичным Локальный доступ к Ollama API не требует аутентификации. Если к нему обращается только ваше собственное приложение, держите слушатель на loopback. Для удалённого использования добавьте аутентифицированный шлюз TLS или приватный туннель с ограничениями запросов и параллелизма. Учётные данные облачного API не защищают локальный слушатель автоматически. Проверьте с устройства без доступа и убедитесь в отказе. - Проверьте адрес прослушивания - Попробуйте неаутентифицированный запрос из-за пределов разрешённой сети - Ограничивайте размер контекста и число одновременных генераций ``` ss -lntp curl --fail http://127.0.0.1:11434/api/tags ``` Официальная документация: [Модель аутентификации Ollama](https://docs.ollama.com/api/authentication) ## Ведите небольшой блокнот с бенчмарками Зафиксируйте точный вариант модели, квантование, длину контекста, промпт и число параллельных запросов. Измеряйте память во время работы, а не предполагайте, что она равна размеру загружаемой модели. Повторите тот же запрос после изменения конфигурации и сохраняйте проверки качества наряду с измерениями скорости. Если задача активно использует подкачку или вытесняет основное приложение, уменьшите параллелизм или используйте более подходящую машину. ## Планируйте память модели до увеличения контекста Используйте количество параметров, умноженное на биты квантования и делённое на восемь, как грубую оценку байтов только для весов, затем добавьте запас на среду выполнения, контекст/KV-кэш, параллельные запросы и операционную систему. Это не гарантия ёмкости. В Ollama параллельные запросы и больший контекст увеличивают потребление памяти, а работа в очереди может сделать внешне исправный сервис медленным. Начните с одной модели и одного запроса, зафиксируйте пиковое потребление памяти и повышайте параллелизм только после того, как нагрузка уложится в целевые показатели задержки. - Записывайте тег модели, версию среды выполнения, квантование, длину промпта и лимит вывода при каждом бенчмарке. - Отделяйте загрузку при холодном старте от производительности при прогретых запросах; они отвечают на разные вопросы о подборе размера. - Если хост уходит в своп или процесс убивается, снизьте параллелизм/контекст и изучите события памяти, прежде чем покупать ядра CPU. - Проверьте загруженные модели и рост кэша, если первый запрос выполняется быстро, а последующие зависают. ``` # Inspect the model runner and host without changing its configuration. ollama ps free -h df -h ``` Официальная документация: [Ollama: память, параллелизм и сетевая конфигурация](https://docs.ollama.com/faq) ## Тестируйте эмбеддинги как отдельную рабочую нагрузку Модель эмбеддингов превращает входной текст в векторы для поиска; это не тот же профиль ресурсов, что и длинный сгенерированный ответ. Используйте одну модель и одну стратегию предобработки при индексировании и запросах. Эндпоинт эмбеддингов Ollama принимает текст или пакеты и может отклонить слишком длинный ввод, если truncate равно false. Выберите осознанную политику разбиения на фрагменты, чтобы документы не обрезались незаметно на неудобной границе. - Отдельно измерьте пакет индексации и интерактивный запрос, включая стоимость хранения и векторной базы данных. - Храните имя модели и размерность эмбеддингов вместе с индексом. Их изменение обычно требует продуманного плана переиндексации. - Используйте небольшой набор для оценки поиска: известные вопросы, ожидаемые документы и случаи, которые должны возвращать отсутствие релевантного результата. - Рассматривайте промпты, индексированные документы и журналы доступа как отдельные хранилища данных с собственными правилами доступа и удаления. Официальная документация: [Ollama: эмбеддинги API](https://docs.ollama.com/api/embed) ПРОДОЛЖАЙТЕ ИЗУЧАТЬ ## Продолжить чтение. [Продукты ### Сохраните интеллект. Владейте средой выполнения. Размещайте сервисы вокруг вашего AI-процесса: поиск, обработку документов, выполнение инструментов, вебхуки и наблюдаемость. Строй…](https://koalavps.com/ru/ai-agent-hosting/)[Руководства ### Покупайте под имеющуюся нагрузку. Выберите начальную конфигурацию на основе фактов, а затем оставьте выверенный путь для роста. Реалистичная оценка полезнее самого …](https://koalavps.com/ru/choose-vps/)[Руководства ### Машина остаётся вашей. Безопасность — это постоянная рутина: сокращайте открытые поверхности, ограничивайте привилегии, обновляйте осознанно и обеспечива…](https://koalavps.com/ru/server-security/) НАСТРОЙТЕ СВОЮ ИНФРАСТРУКТУРУ ## Возьмите контроль. Развёртывайте на своих условиях. Без документов об идентификации. Полный доступ администратора. Оплата в криптовалюте. [Выберите конфигурацию](https://koalavps.com/ru/vps/)