स्थानीय इन्फरेंस, प्रमाण के साथ आकार दिया गया।

पूरे फ़ुटप्रिंट का अनुमान लगाएं

वज़न, क्वांटाइज़ेशन, संदर्भ लंबाई, कैश और समवर्ती अनुरोध सभी मेमोरी को प्रभावित करते हैं। ऑपरेटिंग सिस्टम और रनटाइम के लिए अतिरिक्त स्थान छोड़ें। CPU इन्फ़रेंस और GPU इन्फ़रेंस की लागत और थ्रूपुट प्रोफ़ाइल भिन्न होती है; मानक VPS GPU पहुँच का संकेत नहीं देता।

मॉडल API को निजी रखें

Ollama जैसे रनटाइम को उपयुक्त सुरक्षा परत के बिना इंटरनेट पर उजागर नहीं करना चाहिए। जहाँ व्यावहारिक हो लूपबैक या निजी इंटरफ़ेस से बाइंड करें, और किसी भी रिमोट मार्ग के सामने प्रमाणित TLS एक्सेस रखें।

प्रोवेनेंस के साथ डाउनलोड करें

मॉडल लाइसेंस, स्रोत, जहाँ प्रदान किया गया हो चेकसम और इच्छित उपयोग की समीक्षा करें। अविश्वसनीय मॉडल प्रारूप या आसपास का लोडर कोड हमले की सतह का विस्तार कर सकते हैं। रनटाइम और निर्भरताओं को अनुरक्षित रखें।

वास्तविक अनुरोध का बेंचमार्क लें

अपने एप्लिकेशन द्वारा उपयोग किए जाने वाले संदर्भ आकार के साथ पहले-टोकन विलंबता, प्रति सेकंड टोकन, मेमोरी दबाव और समवर्ती व्यवहार को मापें। अनुरोध आकार सीमाएँ, कतारबद्धता और टाइमआउट जोड़ें ताकि एक बड़ा प्रॉम्प्ट मशीन को समाप्त न कर सके।

सिद्ध करें कि API सार्वजनिक नहीं है

स्थानीय Ollama API पहुँच के लिए प्रमाणीकरण आवश्यक नहीं है। यदि केवल आपका अपना एप्लिकेशन इसे कॉल करता है, तो लिसनर को लूपबैक पर रखें। दूरस्थ उपयोग के लिए, अनुरोध और समवर्ती सीमाओं वाला एक प्रमाणीकृत TLS गेटवे या एक निजी टनल जोड़ें। क्लाउड API क्रेडेंशियल स्थानीय लिसनर को स्वतः सुरक्षित नहीं करता। बिना पहुँच वाले डिवाइस से परीक्षण करें और अस्वीकृति आवश्यक रखें।

• लिसनिंग पता जाँचें
• अनुमत नेटवर्क के बाहर से एक अनप्रमाणित अनुरोध आज़माएँ
• संदर्भ आकार और समवर्ती जनरेशन पर सीमाएँ लागू करें

ss -lntp
curl --fail http://127.0.0.1:11434/api/tags

आधिकारिक दस्तावेज़: Ollama प्रमाणीकरण मॉडल

एक छोटी बेंचमार्क नोटबुक रखें

सटीक मॉडल वेरिएंट, क्वांटाइज़ेशन, कॉन्टेक्स्ट लंबाई, प्रॉम्प्ट और समानांतर अनुरोधों की संख्या दर्ज करें। रनटाइम मेमोरी मापें, यह मानने के बजाय कि वह मॉडल डाउनलोड आकार के बराबर है। कॉन्फ़िगरेशन बदलने के बाद वही अनुरोध दोहराएँ और गति माप के साथ गुणवत्ता जाँच भी रखें। यदि कोई जॉब भारी स्वैप करता है या मुख्य एप्लिकेशन को बाहर धकेलता है, तो समवर्तीता घटाएँ या अधिक उपयुक्त मशीन का उपयोग करें।

संदर्भ बढ़ाने से पहले मॉडल मेमोरी का बजट बनाएँ

केवल-वेट बाइट के मोटे अनुमान के रूप में पैरामीटर संख्या को क्वांटाइज़ेशन बिट्स से गुणा करके आठ से भाग दें, फिर रनटाइम, कॉन्टेक्स्ट/KV कैश, समवर्तीता और ऑपरेटिंग-सिस्टम हेडरूम जोड़ें। यह क्षमता की गारंटी नहीं है। Ollama में, समानांतर अनुरोध और बड़ा कॉन्टेक्स्ट मेमोरी उपयोग बढ़ाते हैं, जबकि कतार में लगा काम एक स्पष्ट रूप से स्वस्थ सेवा को धीमा बना सकता है। एक मॉडल और एक अनुरोध से शुरू करें, शिखर मेमोरी दर्ज करें, और कार्यभार के अपने विलंबता लक्ष्य को पार करने के बाद ही समवर्तीता बढ़ाएँ।

• प्रत्येक बेंचमार्क के साथ मॉडल टैग, रनटाइम संस्करण, क्वांटाइज़ेशन, प्रॉम्प्ट लंबाई और आउटपुट सीमा रिकॉर्ड करें।
• कोल्ड-स्टार्ट लोडिंग को वार्म-रिक्वेस्ट प्रदर्शन से अलग करें; वे अलग-अलग साइज़िंग प्रश्नों का उत्तर देते हैं।
• यदि होस्ट स्वैप करता है या कोई प्रक्रिया मार दी जाती है, तो समवर्तीता/संदर्भ कम करें और CPU कोर खरीदने से पहले मेमोरी इवेंट का निरीक्षण करें।
• जब पहला अनुरोध तेज़ हो लेकिन बाद के अनुरोध रुक जाएँ तो लोड किए गए मॉडल और कैश वृद्धि की समीक्षा करें।

# Inspect the model runner and host without changing its configuration.
ollama ps
free -h
df -h

आधिकारिक दस्तावेज़: Ollama: मेमोरी, समवर्तीता और नेटवर्क कॉन्फ़िगरेशन

एम्बेडिंग्स को उनके स्वयं के वर्कलोड के रूप में परखें

एम्बेडिंग मॉडल इनपुट टेक्स्ट को पुनर्प्राप्ति के लिए वेक्टर में बदलता है; यह लंबे उत्पन्न उत्तर के समान संसाधन प्रोफ़ाइल नहीं है। इंडेक्सिंग और क्वेरी करते समय एक ही मॉडल और प्रीप्रोसेसिंग रणनीति लगातार उपयोग करें। Ollama का embed एंडपॉइंट टेक्स्ट या बैच स्वीकार करता है और truncate के false होने पर अत्यधिक लंबे इनपुट को अस्वीकार कर सकता है। जानबूझकर चंकिंग नीति चुनें ताकि दस्तावेज़ किसी असुविधाजनक सीमा पर चुपचाप न कटें।

• स्टोरेज और वेक्टर-डेटाबेस लागत सहित, एक इंडेक्सिंग बैच और एक इंटरैक्टिव क्वेरी का अलग-अलग बेंचमार्क करें।
• मॉडल नाम और एम्बेडिंग आयामों को इंडेक्स के साथ रखें। उन्हें बदलने के लिए आमतौर पर एक सुविचारित पुनः-इंडेक्सिंग योजना की आवश्यकता होती है।
• एक छोटा पुनर्प्राप्ति मूल्यांकन सेट उपयोग करें: ज्ञात प्रश्न, अपेक्षित दस्तावेज़ और ऐसे मामले जिनमें कोई प्रासंगिक परिणाम नहीं लौटना चाहिए।
• प्रॉम्प्ट, अनुक्रमित दस्तावेज़ों और पहुँच लॉग को अपने स्वयं के पहुँच और विलोपन नियमों वाले अलग डेटा स्टोर के रूप में मानें।

आधिकारिक दस्तावेज़: Ollama: एम्बेडिंग API