SieveSieve

المهندس الوحيد على المشروع: فحص المواقع، محركات الجلب الثلاثة، منظّم الموارد، مسار التنظيف، وغرفة التحكم ثنائية اللغة.

معظم أدوات السحب ترسل الطلب نفسه لكل موقع وتتركك تنظف الفوضى: المواقع المحمية ترجع صفحات تحدٍّ، وتطبيقات JavaScript ترجع صفحات فارغة، وما يصل يكون مليئًا بالقوائم والتذييلات وأشرطة الكوكيز والتكرار. والضغط أكثر على جهاز عادي يرفع المعالج إلى 100%.

يبدأ Sieve كل موقع بفحص من ثماني خطوات: طلب عادي، كشف صفحات التحدي (Cloudflare وأمثالها)، مقارنة HTML الثابت بنسخة معروضة، قراءة robots.txt، اكتشاف خرائط الموقع والخلاصات، وفحص بنية الصفحة. والنتيجة خطة فيها المحرك وطريقة الاكتشاف والتزامن لكل نطاق والتأخير والتمرير ووضع الاستخراج، مع درجة ثقة والأسباب بكلمات واضحة.

أثناء الزحف يبدأ كل موقع بالمحرك الذي اختاره الفحص ويصعّد تلقائيًا عند الحجب أو عند وصول صفحة JavaScript فارغة: HTTP/2 أولًا، ثم بصمة TLS بمستوى المتصفح («Stealth»)، ثم Chromium بلا واجهة مع التمرير والتقاط الـAPI. ثم تمر كل صفحة بمسار تنظيف: استخراج المحتوى الرئيسي مع مطابقته بـtrafilatura، وتعلّم الكتل المتكررة عبر الموقع وحذفها من كل الصفحات، وتوحيد النص العربي واللاتيني، وكشف اللغة، وتقييم الجودة، وحذف التكرار التام والقريب (SHA-256 وSimHash)، وحجب البيانات الشخصية اختياريًا. وتُحمّل روابط PDF وDOCX وPPTX وXLSX ويُستخرج نصها، وحقول الذكاء الاصطناعي الاختيارية تستخدم Gemini لملء قيم محددة النوع لكل صفحة من وصف بلغة عادية.

محرك Python وFastAPI مع httpx (HTTP/2) وcurl_cffi (بصمات TLS للمتصفحات) وPlaywright Chromium، وlxml وtrafilatura للاستخراج، وaiosqlite على SQLite مع FTS5 للتخزين والبحث النصي الكامل. غرفة تحكم Next.js 16 مصدّرة كملفات ثابتة مع React 19 وTailwind CSS 4 وMotion وTanStack Query وZustand، يخدمها المحرك وتتحدث مباشرة عبر WebSocket. يمكن إيقاف المهام واستئنافها وإعادة تشغيلها وجدولتها بتشغيلات تزايدية أو بدؤها بوضع ملف في مجلد وارد، وتُستأنف بعد أي تعطل.

الوصول لأقصى سرعة يسمح بها الجهاز دون بلوغ 100% أبدًا. منظّم موارد يقيس المعالج والذاكرة كل ثانية ويرفع التزامن أو يخفضه (AIMD) ضمن سقوف Eco أو Balanced أو Turbo أو Custom، بينما يحصل كل نطاق على مخفّض سرعة خاص يتراجع عند 429 وRetry-After والاستجابات البطيئة. ومصائد الزحف مثل صفحات التقويم وسلاسل المعاملات اللانهائية لها حدود.

الفحص أولًا ثم أخف محرك يرى المحتوى الحقيقي، لأن المتصفح لكل صفحة بطيء وHTTP العادي يفوّت نصف الويب الحديث. تعلّم الكتل المتكررة عبر الموقع بدل تخمينها لكل صفحة. وكل اختيار للمحرك قابل للشرح ويمكن فرضه يدويًا.

في مهمة مسجلة على أربعة مواقع اختبار مختلفة جدًا (بوابة أخبار عربية وإنجليزية تُعرض من الخادم، وتطبيق توثيق يعمل بـJavaScript فقط، وقاعدة معرفة خلف حماية بوتات بأسلوب Cloudflare، وخلاصة بتمرير لانهائي)، اختار الفحص المحرك الصحيح لكل موقع: HTTP للبوابة (36 رابطًا من خريطة الموقع)، وBrowser لتطبيق JavaScript (9 كلمات في HTML الخام مقابل 216 بعد العرض)، وStealth للموقع المحمي (HTTP العادي تلقى تحدي 403 وبصمة المتصفح عبرت)، وBrowser مع التمرير التلقائي للخلاصة. جلب 290 صفحة خلال دقيقتين و13 ثانية، وحذف 220 مكررًا و280 كتلة قالب متكررة، واستخرج 4 مستندات، واحتفظ بـ47 صفحة نظيفة وفريدة بمتوسط جودة 0.80، بينما حافظ المنظّم على المعالج تحت سقف 75%. وفي تشغيل ثانٍ ملأ Gemini أربعة حقول ذكية لـ6 مقالات عربية وإنجليزية باستدعاء واحد لكل صفحة.