NoesisNoesis

المهندس الوحيد على المشروع: الاسترجاع، المساعد المعتمد على الأدوات، فاحص الاستشهادات، مسار البيانات، نموذج الأمان، والواجهة ثنائية اللغة.

لدى الفرق مجموعات خاصة كبيرة بلغتين، والشات بوت الذي يُغذّى بمستندات كاملة بطيء ومكلف ويختلق بسهولة. الناس يحتاجون أجوبة يثقون بها، مع المقطع الدقيق خلف كل معلومة، من بيانات لا تغادر أجهزتهم، ومن دون تشغيل خادم قاعدة بيانات أو Docker.

منصة معرفة متكاملة تعمل من مجلد واحد. تُقسم المستندات (PDF وWord وExcel وCSV وHTML وMarkdown وJSON) إلى مقاطع وتُفهرس بثلاث طرق: SQLite FTS5 مع BM25، وتضمينات Gemini في فهرس HNSW على القرص، ومتجهات محلية تعمل بلا إنترنت. تُدمج الإشارات عبر RRF وتُنوّع عبر MMR، فيجد السؤال العربي مصدرًا إنجليزيًا والعكس.

المساعد لا يستلم المستندات أبدًا. يستلم السؤال وست أدوات (البحث، قراءة مقطع، فهرس مستند، مواد مرتبطة، أسئلة وأجوبة مراجعة، ونظرة على المجموعة)، ويقرر ما يبحث عنه ويتوقف عندما يكفيه الدليل. ثم يُفحص كل جواب جملة بجملة مقابل المقاطع التي استشهد بها ويُصنف: موثّق، موثّق عبر اللغات، موثّق جزئيًا، أو غير موثّق.

واجهة خلفية Python وFastAPI على SQLite (WAL وFTS5) مع فهارس USearch HNSW على القرص، كلها في مجلد بيانات واحد، فالنسخة الاحتياطية هي نسخ المجلد. واجهة React 19 وVite وTailwind 4 مع TanStack Query وVirtual وZustand وMotion ومخطط معرفة بـd3-force يُحسب في Web Worker. وحول المساعد: مخطط معرفة يربط المستندات بالمعنى، ومنقّب يصيغ أزواج أسئلة وأجوبة موثقة ويحتفظ فقط بما يجتاز فحوص الجودة، ومدير مجموعات بيانات يصدّر JSONL ورسائل محادثة وAlpaca وCSV وExcel، ومنطقة إدارة بالحسابات وصلاحيات الصفحات وسجل التدقيق واستهلاك النماذج وتكلفتها.

الإجابة عبر اللغتين دون ترجمة المجموعة، والإبقاء على البحث سريعًا مع حوالي 100 ألف مقطع على جهاز عادي، وإثبات كل جواب دون دفع ثمن استدعاء ثانٍ للنموذج. فاحص الاستشهادات يقارن الكلمات وصيغها والأرقام والأسماء، حتى بين العربية والإنجليزية، ويعمل فورًا وبشكل حتمي.

أدوات بدل حشو السياق: النموذج يرى فقط ما يطلبه، حوالي 3 إلى 3.5 آلاف توكن إدخال لكل جواب. النتائج الضعيفة تُعلّم كضعيفة، فيُرفض السؤال الذي لا جواب له في المجموعة بدل اختلاق جواب. تخزين مؤقت للأسئلة المكررة مربوط بالبيانات والنموذج والتعليمات. ووضع كامل بلا إنترنت يبقى يبحث ويجيب باقتباس المقاطع عند غياب المفتاح.

بحسب اختبار الأداء الخاص بالمشروع: المقطع الصحيح يأتي أولًا بنسبة 93.9% مع التضمينات (85.6% بلا إنترنت) وضمن أول خمس نتائج بنسبة 100%، والمستند باللغة الأخرى يأتي أولًا بنسبة 90%. البحث في حوالي 97 ألف مقطع يستغرق 54 مللي ثانية كوسيط (78 مللي ثانية للشريحة 95%)، واستعلام المتجهات حوالي 2 مللي ثانية. وفي التشغيلات المسجلة: سؤال إنجليزي من جزأين أُجيب خلال 9.6 ثانية بعد خطوتي بحث و6 مصادر وبتوثيق 100%، وسؤال عربي أُجيب بالعربية من مصادر إنجليزية خلال 3.3 ثانية، وتكلفة جوابين معًا حوالي 0.001 دولار. والمنقّب حوّل مقطعين إلى 5 أزواج أسئلة وأجوبة موثقة بتقييم 100% لكل منها.