--- canonical: https://koalavps.com/ko/guides-self-host-an-llm-on-a-vps/ language: ko generated: 2026-10-21T13:33:06.195Z --- [홈](https://koalavps.com/ko/) / [탐색](https://koalavps.com/ko/resources/) / KoalaVPS 필드 노트 KoalaVPS 필드 노트 # 근거에 기반해 규모를 산정한 로컬 추론. 디스크에 맞는 모델이라도 런타임에는 훨씬 더 많은 메모리가 필요할 수 있습니다. 대표적인 벤치마크로 시작하세요. [VPS 찾기](https://koalavps.com/ko/vps/) ## 이 문서에서 [전체 흔적을 추정하세요](https://koalavps.com/ko/guides-self-host-an-llm-on-a-vps/#section-1)[모델 API 비공개 유지](https://koalavps.com/ko/guides-self-host-an-llm-on-a-vps/#section-2)[출처와 함께 다운로드하세요](https://koalavps.com/ko/guides-self-host-an-llm-on-a-vps/#section-3)[실제 요청을 벤치마크하세요](https://koalavps.com/ko/guides-self-host-an-llm-on-a-vps/#section-4)[API이(가) 공개되지 않았음을 입증하세요](https://koalavps.com/ko/guides-self-host-an-llm-on-a-vps/#section-5)[간단한 벤치마크 노트북 유지](https://koalavps.com/ko/guides-self-host-an-llm-on-a-vps/#section-6)[컨텍스트를 늘리기 전에 모델 메모리 예산을 산정하세요](https://koalavps.com/ko/guides-self-host-an-llm-on-a-vps/#section-7)[임베딩을 독립 워크로드로 테스트](https://koalavps.com/ko/guides-self-host-an-llm-on-a-vps/#section-8)[지식 베이스](https://koalavps.com/ko/resources/) ## 전체 흔적을 추정하세요 가중치, 양자화, 컨텍스트 길이, 캐시 및 동시 요청은 모두 메모리에 영향을 줍니다. 운영 체제와 런타임을 위한 여유 공간을 남겨 두세요. CPU 추론과 GPU 추론은 비용 및 처리량 프로필이 다릅니다. 표준 VPS이(가) GPU 액세스를 의미하지는 않습니다. ## 모델 API 비공개 유지 Ollama와 같은 런타임은 적절한 보안 계층 없이 인터넷에 노출해서는 안 됩니다. 가능하면 루프백 또는 사설 인터페이스에 바인딩하고, 원격 경로 앞에는 인증된 TLS 액세스를 두세요. ## 출처와 함께 다운로드하세요 모델 라이선스, 소스, 제공된 경우 체크섬 및 의도된 용도를 검토하세요. 신뢰할 수 없는 모델 형식이나 주변 로더 코드는 공격 표면을 확장할 수 있습니다. 런타임과 종속성을 유지 관리하세요. ## 실제 요청을 벤치마크하세요 애플리케이션이 사용하는 컨텍스트 크기로 첫 토큰 지연, 초당 토큰 수, 메모리 압박 및 동시 동작을 측정하세요. 요청 크기 제한, 대기열 및 타임아웃을 추가하여 하나의 큰 프롬프트가 머신을 소진하지 못하게 하세요. ## API이(가) 공개되지 않았음을 입증하세요 로컬 Ollama API 접근에는 인증이 필요하지 않습니다. 자체 애플리케이션만 호출하는 경우 리스너를 루프백에 유지하세요. 원격 사용 시에는 인증된 TLS 게이트웨이 또는 요청 및 동시성 제한이 있는 프라이빗 터널을 추가하세요. 클라우드 API 자격 증명이 로컬 리스너를 자동으로 보호하지는 않습니다. 접근 권한이 없는 기기에서 테스트하고 거부되는지 확인하세요. - 수신 주소 검사 - 허용된 네트워크 외부에서 인증되지 않은 요청 시도 - 컨텍스트 크기와 동시 생성에 제한 적용 ``` ss -lntp curl --fail http://127.0.0.1:11434/api/tags ``` 공식 문서: [Ollama 인증 모델](https://docs.ollama.com/api/authentication) ## 간단한 벤치마크 노트북 유지 정확한 모델 변형, 양자화, 컨텍스트 길이, 프롬프트 및 병렬 요청 수를 기록하세요. 런타임 메모리가 모델 다운로드 크기와 같다고 가정하지 말고 측정하세요. 구성 변경 후 동일한 요청을 반복하고 속도 측정과 함께 품질 검사도 유지하세요. 작업이 과도하게 스왑되거나 기본 애플리케이션을 밀어내는 경우 동시성을 줄이거나 더 적합한 머신을 사용하세요. ## 컨텍스트를 늘리기 전에 모델 메모리 예산을 산정하세요 매개변수 수에 양자화 비트를 곱하고 8로 나눈 값을 대략적인 가중치 전용 바이트 추정치로 사용한 다음 런타임, 컨텍스트/KV 캐시, 동시성 및 운영체제 여유 공간을 더하십시오. 이는 용량 보장이 아닙니다. Ollama에서는 병렬 요청과 더 큰 컨텍스트가 메모리 사용을 늘리며, 대기 중인 작업은 겉보기에 정상인 서비스를 느리게 만들 수 있습니다. 하나의 모델과 하나의 요청으로 시작하고 최대 메모리를 기록하며, 워크로드가 지연 목표를 통과한 후에만 동시성을 높이십시오. - 모든 벤치마크에 모델 태그, 런타임 버전, 양자화, 프롬프트 길이 및 출력 제한을 기록하세요. - 콜드 스타트 로딩과 웜 요청 성능을 분리하십시오. 이들은 서로 다른 사이징 질문에 답합니다. - 호스트가 스왑하거나 프로세스가 종료되면 CPU 코어를 구매하기 전에 동시성/컨텍스트를 낮추고 메모리 이벤트를 점검하세요. - 첫 요청은 빠르지만 이후 요청이 지연될 때 로드된 모델과 캐시 증가를 검토하세요. ``` # Inspect the model runner and host without changing its configuration. ollama ps free -h df -h ``` 공식 문서: [Ollama: 메모리, 동시성 및 네트워크 구성](https://docs.ollama.com/faq) ## 임베딩을 독립 워크로드로 테스트 임베딩 모델은 검색을 위해 입력 텍스트를 벡터로 변환하며, 긴 생성 답변과 동일한 리소스 프로필이 아닙니다. 인덱싱과 쿼리 시 하나의 모델과 전처리 전략을 일관되게 사용하세요. Ollama의 임베드 엔드포인트는 텍스트 또는 배치를 받으며 truncate가 false일 때 지나치게 긴 입력을 거부할 수 있습니다. 문서가 불편한 경계에서 조용히 잘리지 않도록 의도적인 청킹 정책을 선택하세요. - 인덱싱 배치와 대화형 쿼리를 각각 별도로 벤치마크하고, 스토리지 및 벡터 데이터베이스 비용도 포함하세요. - 모델 이름과 임베딩 차원을 인덱스와 함께 유지하세요. 이를 변경하려면 일반적으로 의도적인 재인덱싱 계획이 필요합니다. - 알려진 질문, 예상 문서, 관련 결과가 반환되지 않아야 하는 사례 등 소규모 검색 평가 세트를 사용하세요. - 프롬프트, 색인된 문서 및 접근 로그를 각자의 접근 및 삭제 규칙을 가진 별도의 데이터 저장소로 취급하세요. 공식 문서: [Ollama: 임베딩 API](https://docs.ollama.com/api/embed) 계속 탐색하기 ## 계속 읽기. [제품 ### 인텔리전스를 유지하세요. 런타임을 소유하세요. AI 워크플로 주변의 서비스를 호스팅하세요: 검색, 문서 처리, 도구 실행, 웹훅 및 관측 가능성. 문제가 발생했을 때 이해할 수 있는 시스템을 구축하세요.…](https://koalavps.com/ko/ai-agent-hosting/)[가이드 ### 현재 워크로드에 맞게 구매하세요. 근거를 바탕으로 초기 구성을 선택한 뒤, 확장을 위한 신중한 경로를 남겨 두세요. 현실적인 추정치는 요금제 카드의 가장 큰 숫자보다 유용합니다.…](https://koalavps.com/ko/choose-vps/)[가이드 ### 머신을 직접 소유하세요. 보안은 지속적인 일상입니다. 노출 표면을 줄이고, 권한을 제한하고, 신중하게 패치하며, 복구가 가능하도록 만드세요.…](https://koalavps.com/ko/server-security/) 인프라를 구성하세요 ## 직접 통제하세요. 원하는 방식으로 배포하세요. 신원 서류 없음. 전체 관리자 액세스. 암호화폐 기반 결제. [구성을 선택하세요](https://koalavps.com/ko/vps/)