استدلال محلي، مُقاس بالأدلة.

قدّر البصمة الكاملة

الأوزان والتكميم وطول السياق والكاش والطلبات المتزامنة كلها بتأثر على الذاكرة. سيب هامش أمان لنظام التشغيل وبيئة التشغيل. استدلال CPU واستدلال GPU ليهم تكلفة وإنتاجية مختلفة؛ خطة VPS قياسية مش معناها إن عندك وصول لـ GPU.

خلّي الموديل API خاص

لا ينبغي تعريض بيئة تشغيل مثل Ollama للإنترنت دون طبقة أمان مناسبة. اربطها بواجهة loopback أو واجهة خاصة حيثما أمكن، وضع وصول TLS الموثّق أمام أي مسار بعيد.

نزّل مع إثبات المصدر

راجع ترخيص الموديل والمصدر والـ checksum لو موجود والاستخدام المقصود. صيغ الموديلات غير الموثوقة أو كود التحميل المحيط بيها ممكن توسّع سطح الهجوم. خلّي وقت التشغيل والاعتماديات محدّثين.

قِس أداء طلب حقيقي

قِس زمن أول توكن والتوكنات في الثانية وضغط الذاكرة والسلوك المتزامن بحجم السياق اللي تطبيقك بيستخدمه. ضيف حدود لحجم الطلب والطابور والمهل عشان برومبت كبير واحد ما يستنزفش الجهاز.

أثبت إن API مش عام

الوصول المحلي لـ Ollama API مش محتاج مصادقة. لو تطبيقك بس اللي بينادي عليه، خلّي المستمع على loopback. للاستخدام عن بُعد، ضيف بوابة TLS بمصادقة أو نفق خاص بحدود للطلبات والتزامن. بيانات اعتماد API السحابية مش بتحمي المستمع المحلي تلقائيًا. اختبر من جهاز من غير وصول واطلب الرفض.

• افحص عنوان الاستماع
• جرّب طلبًا غير مُصادَق عليه من خارج الشبكة المسموح بها
• طبّق حدوداً على حجم السياق والتوليدات المتزامنة

ss -lntp
curl --fail http://127.0.0.1:11434/api/tags

الوثائق الرسمية: نموذج مصادقة Ollama

احتفظ بدفتر ملاحظات صغير للقياسات المرجعية

سجّل نسخة الموديل بالظبط، والتكميم، وطول السياق، والبرومبت، وعدد الطلبات المتوازية. قِس الذاكرة وقت التشغيل بدل ما تفترض إنها بتساوي حجم تحميل الموديل. كرر نفس الطلب بعد تغييرات الإعدادات، وحافظ على فحوصات الجودة جنب قياسات السرعة. لو المهمة بتعمل تبديل مكثف أو بتزاحم التطبيق الأساسي، قلل التزامن أو استخدم جهاز أنسب.

قدّر ذاكرة النموذج قبل زيادة السياق

استخدم عدد المعاملات مضروب في بتات التكميم مقسوم على ثمانية كتقدير تقريبي للبايتات الخاصة بالأوزان بس، وبعدين ضيف وقت التشغيل والذاكرة المؤقتة للسياق/KV والتزامن وهامش نظام التشغيل. ده مش ضمان سعة. في Ollama، الطلبات المتوازية والسياق الأكبر بيزودوا استخدام الذاكرة، والشغل في الطابور ممكن يخلي خدمة شكلها سليمة تبقى بطيئة. ابدأ بموديل واحد وطلب واحد، سجّل ذروة الذاكرة، وزوّد التزامن بس بعد ما الحمل يعدّي هدف زمن الاستجابة.

• سجّل وسم الموديل وإصدار بيئة التشغيل والتكميم وطول الـ prompt وحد المخرجات مع كل اختبار أداء.
• افصل تحميل البداية الباردة عن أداء الطلبات الساخنة؛ كل واحد بيجاوب على سؤال تحجيم مختلف.
• لو السيرفر بيستخدم swap أو عملية اتقتلت، قلّل التزامن/السياق وافحص أحداث الذاكرة قبل ما تشتري أنوية CPU.
• راجع الموديلات المحمّلة ونمو الكاش لما أول طلب يكون سريع لكن الطلبات اللي بعده بتتعلق.

# Inspect the model runner and host without changing its configuration.
ollama ps
free -h
df -h

الوثائق الرسمية: Ollama: الذاكرة والتزامن وإعدادات الشبكة

اختبر التضمينات كحمل عمل مستقل

موديل التضمين بيحوّل النص المدخل لمتجهات للاسترجاع؛ ده مش نفس ملف الموارد بتاع إجابة طويلة مولّدة. استخدم موديل واحد واستراتيجية معالجة مسبقة ثابتة وقت الفهرسة والاستعلام. نقطة embed في Ollama بتقبل نص أو دفعات وممكن ترفض المدخلات الطويلة أوي لما truncate تكون false. اختار سياسة تقسيم مقصودة عشان المستندات ما تتقطعش بصمت عند حد غير مناسب.

• قِس دفعة فهرسة واستعلام تفاعلي كل واحد لوحده، بما في ذلك تكلفة التخزين وقاعدة البيانات المتجهية.
• خلي اسم الموديل وأبعاد الـ embedding مع الفهرس. تغييرهم عادةً بيحتاج خطة إعادة فهرسة مقصودة.
• استخدم مجموعة تقييم استرجاع صغيرة: أسئلة معروفة ومستندات متوقعة وحالات يجب أن تعيد نتيجة غير ذات صلة.
• اعتبر البرومبتات والمستندات المفهرسة وسجلات الوصول مخازن بيانات منفصلة بقواعد وصول وحذف خاصة بيها.

الوثائق الرسمية: Ollama: التضمينات API