전체 흔적을 추정하세요
가중치, 양자화, 컨텍스트 길이, 캐시 및 동시 요청은 모두 메모리에 영향을 줍니다. 운영 체제와 런타임을 위한 여유 공간을 남겨 두세요. CPU 추론과 GPU 추론은 비용 및 처리량 프로필이 다릅니다. 표준 VPS이(가) GPU 액세스를 의미하지는 않습니다.
모델 API 비공개 유지
Ollama와 같은 런타임은 적절한 보안 계층 없이 인터넷에 노출해서는 안 됩니다. 가능하면 루프백 또는 사설 인터페이스에 바인딩하고, 원격 경로 앞에는 인증된 TLS 액세스를 두세요.
출처와 함께 다운로드하세요
모델 라이선스, 소스, 제공된 경우 체크섬 및 의도된 용도를 검토하세요. 신뢰할 수 없는 모델 형식이나 주변 로더 코드는 공격 표면을 확장할 수 있습니다. 런타임과 종속성을 유지 관리하세요.
실제 요청을 벤치마크하세요
애플리케이션이 사용하는 컨텍스트 크기로 첫 토큰 지연, 초당 토큰 수, 메모리 압박 및 동시 동작을 측정하세요. 요청 크기 제한, 대기열 및 타임아웃을 추가하여 하나의 큰 프롬프트가 머신을 소진하지 못하게 하세요.
API이(가) 공개되지 않았음을 입증하세요
로컬 Ollama API 접근에는 인증이 필요하지 않습니다. 자체 애플리케이션만 호출하는 경우 리스너를 루프백에 유지하세요. 원격 사용 시에는 인증된 TLS 게이트웨이 또는 요청 및 동시성 제한이 있는 프라이빗 터널을 추가하세요. 클라우드 API 자격 증명이 로컬 리스너를 자동으로 보호하지는 않습니다. 접근 권한이 없는 기기에서 테스트하고 거부되는지 확인하세요.
- 수신 주소 검사
- 허용된 네트워크 외부에서 인증되지 않은 요청 시도
- 컨텍스트 크기와 동시 생성에 제한 적용
ss -lntp
curl --fail http://127.0.0.1:11434/api/tags공식 문서: Ollama 인증 모델
간단한 벤치마크 노트북 유지
정확한 모델 변형, 양자화, 컨텍스트 길이, 프롬프트 및 병렬 요청 수를 기록하세요. 런타임 메모리가 모델 다운로드 크기와 같다고 가정하지 말고 측정하세요. 구성 변경 후 동일한 요청을 반복하고 속도 측정과 함께 품질 검사도 유지하세요. 작업이 과도하게 스왑되거나 기본 애플리케이션을 밀어내는 경우 동시성을 줄이거나 더 적합한 머신을 사용하세요.
컨텍스트를 늘리기 전에 모델 메모리 예산을 산정하세요
매개변수 수에 양자화 비트를 곱하고 8로 나눈 값을 대략적인 가중치 전용 바이트 추정치로 사용한 다음 런타임, 컨텍스트/KV 캐시, 동시성 및 운영체제 여유 공간을 더하십시오. 이는 용량 보장이 아닙니다. Ollama에서는 병렬 요청과 더 큰 컨텍스트가 메모리 사용을 늘리며, 대기 중인 작업은 겉보기에 정상인 서비스를 느리게 만들 수 있습니다. 하나의 모델과 하나의 요청으로 시작하고 최대 메모리를 기록하며, 워크로드가 지연 목표를 통과한 후에만 동시성을 높이십시오.
- 모든 벤치마크에 모델 태그, 런타임 버전, 양자화, 프롬프트 길이 및 출력 제한을 기록하세요.
- 콜드 스타트 로딩과 웜 요청 성능을 분리하십시오. 이들은 서로 다른 사이징 질문에 답합니다.
- 호스트가 스왑하거나 프로세스가 종료되면 CPU 코어를 구매하기 전에 동시성/컨텍스트를 낮추고 메모리 이벤트를 점검하세요.
- 첫 요청은 빠르지만 이후 요청이 지연될 때 로드된 모델과 캐시 증가를 검토하세요.
# Inspect the model runner and host without changing its configuration.
ollama ps
free -h
df -h공식 문서: Ollama: 메모리, 동시성 및 네트워크 구성
임베딩을 독립 워크로드로 테스트
임베딩 모델은 검색을 위해 입력 텍스트를 벡터로 변환하며, 긴 생성 답변과 동일한 리소스 프로필이 아닙니다. 인덱싱과 쿼리 시 하나의 모델과 전처리 전략을 일관되게 사용하세요. Ollama의 임베드 엔드포인트는 텍스트 또는 배치를 받으며 truncate가 false일 때 지나치게 긴 입력을 거부할 수 있습니다. 문서가 불편한 경계에서 조용히 잘리지 않도록 의도적인 청킹 정책을 선택하세요.
- 인덱싱 배치와 대화형 쿼리를 각각 별도로 벤치마크하고, 스토리지 및 벡터 데이터베이스 비용도 포함하세요.
- 모델 이름과 임베딩 차원을 인덱스와 함께 유지하세요. 이를 변경하려면 일반적으로 의도적인 재인덱싱 계획이 필요합니다.
- 알려진 질문, 예상 문서, 관련 결과가 반환되지 않아야 하는 사례 등 소규모 검색 평가 세트를 사용하세요.
- 프롬프트, 색인된 문서 및 접근 로그를 각자의 접근 및 삭제 규칙을 가진 별도의 데이터 저장소로 취급하세요.
공식 문서: Ollama: 임베딩 API