التقنيات الحديثة في تحليل البيانات وعلوم البيانات

يعتمد العلم على جمع البيانات وتحليلها لاستخلاص استنتاجات منطقية يمكن بناء العديد من القرارات من خلالها، فهي تشكل حجر الأساس لأي قرار سوف يتخذ في مختلف القطاعات. فعصرنا الحالي يشهد حالة من التقلب والغموض في مختلف المجالات سواء اجتماعية، اقتصادية، سياسة، تكنولوجيا…الخ، ومع توافر بيانات ضخمة من مصادر مختلفة، وانتشار أجهزة الحاسوب، يزداد الطلب على البرمجيات المتنوعة للتنقيب عن البيانات وتحليلها، وازداد الاهتمام بالبرمجيات مفتوحة المصدر (open source software) الخاصة بعلم البيانات (data science) وتحليل البيانات (data analysis). وللتفريق بين المصطلحين فإن تحليل البيانات يقصد به العلم للإجابة عن التساؤلات من خلال التقارير، وعلم البيانات هو الاستفادة من البيانات في التنبؤ بالمستقبل، والقائمة التالية تتضمن بعضاً من أكثر برمجيات المصادر المفتوحة المصدر والمتاحة للمستخدمين، والأكثر شيوعاً في صناعة تحليل وعلوم البيانات.

RStudio

تعد RStudio واحدة من أكثر الأدوات مفتوحة المصدر شهرة لعلماء البيانات. يتوافق RStudio أيضًا مع Python، وهي لغة برمجة أخرى مفتوحة المصدر، وتشتهر R بحزمها ومكتباتها الخاصة بعلوم البيانات، ومن ميزاتها السرعة والدقة في تشغيل البيانات وآلية إنشاء جداول إحصائية بشكل برمجي، متاح لأنظمة تشغيل (Windows) و(Linux) و (Mac OS).

Apache Spark

متوافق مع لغات برمجة متعددة، وهو يعد محركًا يستخدم بشكل أساسي مع SQL، تقدم هذه الأداة ميزة فريدة للعمل مع مجموعات البيانات الموزعة وإطارات البيانات والخوارزميات الخاصة بـ Apache، وهي مفيدة لعلماء البيانات المهتمين بالتعلم الآلي واستخراج النصوص، هناك مجتمع كبير من المستخدمين يساهم في تأسيس برنامج Apache، متاح لأنظمة تشغيل (Windows) و (Linux) و (Mac OS). 

TensorFlow

برمجية مفتوحة المصدر للتعلم الآلي، تقدم العديد من الموارد لعلماء البيانات الذين يرغبون في تدريب وبناء النماذج وأنظمة التوصية، بالإضافة إلى العمل مع الذكاء الاصطناعي، وتتيح المساحات المجتمعية، مثل منتدى TensorFlow للمستخدمين أيضًا جمع الموارد وإبداء الرأي حول النظام الأساسي، بالإضافة إلى استكشاف المشكلات وإصلاحها ومشاركة المشاريع، متاح لأنظمة تشغيل (Windows)و(Linux)و (Mac OS).

Apache Hadoop

يعمل باستخدام لغة برمجة Java وهي مجموعة من الأدوات البرمجية مفتوحة المصدر والتي تسهل استخدام شبكة من أجهزة الكمبيوتر لحل مشاكل تتضمن كميات ضخمة من البيانات، وكما توفر إطار عمل برمجيا framework للتخزين الموزع ومعالجة البيانات الضخمة باستخدام النموذج البرمجي MapReduce، وتم تصميم جميع الوحدات في Hadoop بافتراض أساسي وهو أن تعطل الأجهزة أمر شائع ويجب معالجته تلقائيًا بواسطة إطار العمل، هذه الأداة متاحة لأنظمة تشغيل (Windows)و(Linux)و (Mac OS). 

KNIME

عبارة عن منصة تحليل بيانات وتقارير مجانية ومفتوحة المصدر، تدمج مكونات مختلفة للتعلم الآلي واستخراج البيانات، والمعالجة المسبقة (ETL: الاستخراج والتحويل والتحميل)، للنمذجة وتحليل البيانات والتصور بدون البرمجة أو مع الحد الأدنى منها فقط، واستخدمت في الأبحاث الصيدلانية، كما أنها تستخدم في مجالات أخرى مثل تحليل بيانات العملاء، وذكاء الأعمال، والتنقيب عن النصوص، وتحليل البيانات المالية، وجرت محاولات مؤخرًا لاستخدام KNIME كأداة أتمتة العمليات الآلية، متاح لأنظمة تشغيل (Windows) و (Linux) و (Mac OS).

Pandas

هي أداة تحليل ومعالجة للبيانات مفتوحة المصدر قوية وسريعة ومرنة وسهلة الاستخدام، وهي تقدم هياكل بيانات وعمليات التلاعب بالسلاسل الزمنية وبالجداول الرقمية، والاسم مشتق من مصطلح “لوحة البيانات”، مصطلح الاقتصاد القياسي ومجموعات البيانات التي تتضمن الملاحظات على مدى فترات زمنية متعددة لنفس الأفراد، ومن ميزاتها:

  1. تحليل السلاسل الزمنية – Time Series Analysis
  2. العمل على الداتا المفقودة – Working on missing data
  3. عرض البيانات – Data Visualization

وما يجعلها برمجية مميزة هي تكاملها، وتوفر جزء خاص لعرض البيانات وتلخصيها والمساعدة على الاستنباط منها، وكما أنها تلفت النظر إلى المواقع المهمة في بيانات المستخدم، وهو متاح لأنظمة تشغيل (Windows)و(Linux)و (Mac OS).

Weka

يحتوي على مجموعة من أدوات التصور والخوارزميات لتحليل البيانات والنمذجة التنبؤية، مع واجهات المستخدم الرسومية لسهولة الوصول إلى هذه الوظائف، وتم تصميم الإصدار الأصلي في المقام الأول كأداة لتحليل البيانات من المجالات الزراعية، ويستخدم الآن في العديد من مجالات التطبيق المختلفة، لا سيما للأغراض التعليمية والبحثية، تشمل مزايا Weka ما يلي:

  1. التوفر المجاني بموجب رخصة جنو (GPL)العمومية العامة.
  2. قابلية النقل، نظرًا لأنها مطبقة بالكامل في لغة برمجة Java وبالتالي فهي تعمل على أي منصة حوسبة حديثة تقريبًا.
  3. مجموعة شاملة من معالجة البيانات وتقنيات النمذجة.
  4. سهولة الاستخدام بفضل واجهات المستخدم الرسومية.

ويدعم Weka العديد من مهام التنقيب عن البيانات القياسية، وبشكل أكثر تحديدًا، المعالجة المسبقة للبيانات، والتجميع، والتصنيف، والانحدار، والتصور، واختيار الميزة، ويوفر Weka الوصول إلى قواعد بيانات SQL باستخدام اتصال قاعدة بيانات Java ويمكنه معالجة النتيجة التي تم إرجاعها بواسطة استعلام قاعدة البيانات، وهو متاح لأنظمة تشغيل (Windows) و (Linux) و (Mac OS).

BIRT

أدوات ذكاء الأعمال وإعداد التقارير، وهي مشروع برمجيات مفتوحة المصدر الذي يوفر إمكانية إعداد التقارير وذكاء الأعمال للزبائن الأغنياء (Rich Clients) ولتطبيقات الويب، وخاصة تلك المبنيّة على Java وJava EE. في البداية، ركّز المشروع على الإمكانيّات التي تسمح لمطوري التطبيقات بتصميم ودمج التقارير في التطبيقات بسهولة، ويتكون بيرت من عنصريين رئيسيين هما: مصمم بصري للتقارير داخل بيئة Eclipse IDE لإنشاء تقارير بيرت، ومكوّن وقت التشغيل (Runtime Component) لاستخراج التقارير التي يمكن نشرها في أي بيئة Java، ويتضمن كذلك محرك رسوم بيانيّة يمكن في آن واحد دمجه بشكل كامل في مصمِّم التقارير، وأيضًا يمكن استخدامه مستقلّاً لدمج الرسوم البيانيّة في التطبيقات، ويمكنه الوصول إلى عدد من مصادر البيانات المختلفة بما في ذلك مخازن البيانات JDO، كائنات JFire البرمجية، POJOs، وقواعد البيانات SQL، خدمات الويب وXML، ومتاح لأنظمة تشغيل (Windows) و (Linux) و (Mac OS).

Power BI

هي خدمة لتحليل الأعمال تقدمها (Microsoft)، وتقدم تصوير بيانات تفاعليا مع إمكانيات ذكاء الأعمال، حيث تسمح للمستخدمين النهائي بإنشاء التقارير بأنفسهم، دون الحاجة للاعتماد على موظفي تقنية المعلومات أو مدراء قواعد البيانات، ويقدم خدمات ذكاء الأعمال مبنية على السحابة، بالإضافة إلى واجهة مكتبية تسمى (Power BI desktop)، كما يقدم إمكانيات مستودع بيانات بما في ذلك التحضير والتنقيب في البيانات والمخططات التفاعلية. واحدة من مميزات هذا المنتج هو إمكانية تحميل مخططات مخصصة، هذه الخدمة متاحة لنظام تشغيل (Windows) والأجهزة المحمولة لأنظمة تشغيل (Android) و (iOS).

Orange

هو مجموعة أدوات مفتوحة المصدر تستخدم لتصوير البيانات والتعلم الآلي ولاستخراج البيانات، وتمتاز بواجهة مرئية لتحليل البيانات الاستكشافية وتصوير البيانات التفاعلية، وهو مجاني ومثالي للمبتدئين، ويأتي مع العديد من البرامج التعليمية مع مهام سير عمل استخراج البيانات المحملة مسبقًا، ويتكون من واجهة المستخدم وعناصر المستخدم التي تقوم بإنشاء طرق عمل لتحليل البيانات، وتوفر الأدوات الذكية ووظائف أساسية مثل قراءة البيانات، وإظهار جدول البيانات، وتحديد الميزات، وتنبؤات التدريب، ومقارنة خوارزميات التعلم، وتصور عناصر البيانات، ويوفر البرنامج منصة لاختيار التجربة وأنظمة التوصية والنمذجة التنبؤية حيث يستخدم في الطب الحيوي والمعلوماتية الحيوية والبحث الجيني والتعليم، ويعد من أفضل أدوات التنقيب عن البيانات المجانية نظرًا لما تتمتع به من صور تفاعلية فائقة السهولة يمكن لأي شخص، مبتدئًا أو متقدمًا صنعها، ويمكن لمستخدميه المتقدمين أيضًا استخدامه كمكتبة Python لمعالجة البيانات وتغيير الأدوات، متاح لأنظمة تشغيل (Windows) و (Linux) و (Mac OS).

البحث في Google:





عن سامح محمود أحمد بدوان

طالب ماجستير في برنامج ادارة الموارد البشرية التطبيقية، جامعة القدس المفتوحة - فلسطين.

2 تعليقات

  1. رشيد عبد الحق

    ممتاز بالتوفيق

اترك تعليقاً

لن يتم نشر عنوان بريدك الإلكتروني. الحقول الإلزامية مشار إليها بـ *