قناة علوم عظيمة على اليوتيوب

علوم الحاسوب

Web Scraping: زحف الويب تعريفه وأبرزيّته وأفضل أدواته.. مرشد مختصر وجميعي إلى زحف الويب.

هذا المقال يخضع للمعالجة الالية من طرف كشًاف، إذا كانت لديك أي ملاحظات عليه لا تتردد في مراسلتنا.

معطياتك بسرعة و سلاسة بطرق فهمية ذكية و آمنةيا ترى؟ تخيل أنك في غرفة مزدحمة بالملفات، ترى كيف من الممكن أن ستتمكن عبر تخزين ما حولك دون حتى يتأثر محتوى الملفات، هذا ما سيتم التطرق إليه في هذا الموضوع. بدائل متنوّعة تقدر تجربتها!   قبل حتى نغوص في شرح بدائل التخزين المتاحة بدقة واستفاضة لابد حتى نستعرض مجموعة عبر الآليات المتاحة للحفظ والتخزين والتي أثبتت محدوديتها واحتواءها على عدد كبير عبر النقائص ومن أبرزها: النسخ و...
00أ-efficient-web-scraping.jpeg.png (121 KB)
 
أصبح هوس التقنية و تغير معطياتها بتسارع رهيب أحد سمات العصر الذي نعيشه، كما تزايد الشغف لابتكار آليات تسهل الغوص في هذا العالم التقني البالغ الدقة و التجدد، في لحظة قراءتك لهذا الموضوع أنت تسهم في ترويج المحتوى الرقمي وتداوله على نطاق واسع، و لا ريب أنك ستصادف ملايين الروابط التي تتضمن صورا لافتة و معطيات رقمية ترغب في تخزينها في حاسوبك، أحد أبرز التحديات التي ستقابلك طريقة تخزين هذه المعلومات، فما هي الطرق التي ستنتهجها للوصول إلى تخزين معطياتك بسرعة و سلاسة بطرق فهمية ذكية و آمنةيا ترى؟ تخيل أنك في غرفة مزدحمة بالملفات، ترى كيف من الممكن أن ستتمكن عبر تخزين ما حولك دون حتى يتأثر محتوى الملفات، هذا ما سيتم التطرق إليه في هذا الموضوع.
بدائل متنوّعة تقدر تجربتها!
 
قبل حتى نغوص في شرح بدائل التخزين المتاحة بدقة واستفاضة لابد حتى نستعرض مجموعة عبر الآليات المتاحة للحفظ والتخزين والتي أثبتت محدوديتها واحتواءها على عدد كبير عبر النقائص ومن أبرزها: النسخ و اللصق، ميّزة screen shot وغيرها عبر الطرق التي اعتاد عليها معظم المستخدمين، في الواقع جميع هذه الطرق تقليدية غير موجّهة لمحترفي الويب، إضافة إلى كون بعض المعلومات غير قابلة للنسخ واللصق دون تشويه الهيجميع العام للبيانات، أنت أنت بحاجة بلا ريب إلى طريقة معاصرة كتقنية تتيح لك استخراج المعلومات كما هي منشورة بالضبط في المسقط المختار نحن نتحدث الآن عن تقنية web scraping و التي يقابلها مصطلح تجريف الويب أو كشط الويب بلغتنا العربية.
اقرأ أيضًا: لم تسيطر الصين على هذا القطاع.. هواتف ذكية تستحق الاقتناء عبر خارج الصين تعهد عليها الآن!
تجريف الويب…مصطلح تقني حديث!
 
من خلال التسمية المقترحة لهذه الآلية أي “زحف وكشط الويب” يمكن حصر المفاهيم و التعريفات المنسوبة إليها فيما يلي:
” هي طريقة سهلة لاستخراج كافة البيانات و المعلومات الموجودة بأي مسقط متاح في شبكة الانترنت العالمية على شجميع صور وبيانات وجداول…. جاهزة للاستعمال دون الحاجة إلى أكواد معقدة لتحويلها عبر بيانات على شجميع HTML “HyperText Markup Language  إلى بيانات على شجميع Excel أو XML- CSV أو JSON.
اقرأ أيضًا: الحقيقة وراء برنامج تيك توك.. عنصرية واضطهاد للطبقة الفقيرة وسياسات تقرأ عنها للمرة الأولى!
ما هي أفضل الأدوات المتاحةيا ترى؟
تم العمل على تطوير المئات عبر الأدوات والبرامج والتطبيقات لتحاكي عمل زحف الويب وتجسده على مختلف حواسيب المستخدمين حول العالم، تختلف الأدوات لكن الهدف واحد وهو جمع البيانات وتخزينها على الحاسوب يكمن الاختلاف في سرعة التحويل وآلية عمل البرنامج بشجميع عام كإمكانية البحث مباشرة في البرنامج والتحميل في نفس الوقت دون الحاجة إلى URL بفضل محرر مرتبط بالمتصفح… ومن بين هذا العدد الضخم عبر الأدوات إليك أفصل الأدوات حسب المميزات التقنية والآليات الأذكى التي تسعد أي مبرمج أو رجل أعمال يبحث عن الأفضل لتسهيل عمله:
Scraper chrome
وهو عبر أكثر الأدوات استعمالا لاستخراج الdata باستخدام sitemap “XMP file” لتحميل البيانات عبر المواقع التي تضم هذه الفعالية على شجميع ملفاتCVS بشجميع مجاني وآمن تمامًا.
 
يعمل على كشط البيانات بطريقة تنظيمية وفق ملفاتExcel – text – HTML لقاعدة التحميل بحاسوبك على مدار 24 ساعة. يقوم بفك شفرات الداتا المعقدة جدا بعد تفعيل الوضع المتقدم.(للمزيد عن هذا البرنامج اقرأ المزيد على هذا الرابط)
لما نستعمل تقنية زحف الويبيا ترى؟
تقنية زحف الويب Web Scraping موجهة في الأساس إلى مالكي الشركات والمبرمجين المحنكين فهي معروفة في مجال التجارة الإلكترونية والذكاء التنافسي الذي يبني الاقتصاد المحلي والعالمي بفضل عمليات الحصول على المعلومات عبر مواقع منافسة “تجارية واقتصادية وإدارية” كأسعار المنتجات وبيانات وتقارير هامة تضم إحصائيات رسمية وأحوال الأسواق والبورصات….. أي باختصار تشجميع تقنية كشط الويب حقلا مضىيا لإدارة الأعمال وتبادل الخبرات وتحقيق مقارنة للمنتجات لتكوين منافسة قوية بين الأطراف التي تشجميع أساس عالم الأعمال والتقنيات المعاصرة، إضافة إلى هذا يساعد Web Scraping المبرمجين المبتدئين على الحصول على محتوى مواقع الإنترنت وتعديله واللعب بالمحتوى والحصول على المعلومات المطلوبة.
كيف من الممكن أن نستخلص البيانات عبر شبكة الإنترنتيا ترى؟
 
تقدر الحصول على الداتا عبر صفحة ويب معينة بإتباع خطوات سهلة عبر استخدام أحد البرامج المدرجة أعلاه أو عن طريق البرمجة وكتابة برنامج يعتمد على مخطات البايثون python المتنوعة مثل: Requests أو Beautiful Soup.
  1. -حدد الرابط URL الخاص بالصفحة المراد استخراج البيانات منها.
  2. -تحقق عبر أنها الصفحة السليمة.
  3. -ابحث عن البيانات التي ترغب استخراجها تحديدا ” يمكن حتى تكون وثيقة أو نص أو جزء عبر نص…”
  4. -اخط الكود الذي يستخرج لك هذه البيانات.
  5. -خزن البيانات التي حصلت عليها بأي وسيلة ترغب بها.
إخلاء المسؤولية
السابق
الميكرو-كونترولر المشروع الرابع : شاشة عرض 7 قطع من ( display 7-segment ( LED
التالي
الميكرو-كونترولر المشروع الخامس : تحكم في إنارة أضواء حركة المرور

0 تعليقات

أضف تعليقا

اترك تعليقاً