Apache Storm هو نظام معالجة بيانات كبيرة موزع في الوقت الفعلي. تم تصميم Storm لمعالجة كمية هائلة من البيانات بطريقة متسامحة مع الأخطاء وقابلة للتطوير الأفقي. إنه إطار عمل متدفق للبيانات يتمتع بالقدرة على تحقيق أعلى معدلات الاستيعاب. على الرغم من أن Storm عديم الحالة، إلا أنه يدير البيئة الموزعة وحالة المجموعة عبر Apache ZooKeeper. إنه أمر بسيط ويمكنك تنفيذ جميع أنواع المعالجات على البيانات في الوقت الفعلي بالتوازي.
تستمر Apache Storm في ريادتها في تحليلات البيانات في الوقت الفعلي. يعد Storm سهل الإعداد والتشغيل ويضمن معالجة كل رسالة من خلال الهيكل مرة واحدة على الأقل.
مقارنة بين Apache Storm و Hadoop
تُستخدم أطر عمل Hadoop وStorm بشكل أساسي لتحليل البيانات الضخمة. وكلاهما يكمل الآخر ويختلفان في بعض الجوانب. يقوم Apache Storm بجميع العمليات باستثناء المثابرة، في حين أن Hadoop جيد في كل شيء ولكنه يتأخر في الحساب في الوقت الفعلي. يقارن الجدول التالي سمات Storm وHadoop.
| Storm | Hadoop |
| معالجة الدفق في الوقت الحقيقي | تجهيز الدفعات |
| عديم الحالة | ذو حالة |
| الهندسة المعمارية الرئيسية/التابعة مع التنسيق القائم على ZooKeeper. العقدة الرئيسية تسمى نيمبوس والعبيد هم المشرفون. | الهندسة المعمارية الرئيسية والتابعة مع/بدون التنسيق القائم على ZooKeeper. العقدة الرئيسية هي متعقب الوظائف والعقدة التابعة هي متعقب المهام. |
| يمكن لعملية Storm الوصول إلى عشرات الآلاف من الرسائل في الثانية على المجموعة. | يستخدم نظام الملفات الموزعة Hadoop (HDFS) إطار عمل MapReduce لمعالجة كمية هائلة من البيانات التي تستغرق دقائق أو ساعات. |
| تعمل تقنية Storm حتى يتم إيقاف التشغيل من قبل المستخدم أو حدوث فشل غير متوقع وغير قابل للاسترداد. | يتم تنفيذ مهام MapReduce بترتيب تسلسلي ويتم إكمالها في النهاية. |
| كلاهما موزع ومتسامح مع الخطأ | كلاهما موزع ومتسامح مع الخطأ |
| إذا مات النيمبوس/المشرف، فإن إعادة التشغيل تجعله يستمر من حيث توقف، وبالتالي لا يتأثر أي شيء. | إذا مات JobTracker، فسيتم فقدان جميع الوظائف قيد التشغيل. |
حالات استخدام Apache Storm
تشتهر Apache Storm بمعالجة دفق البيانات الضخمة في الوقت الفعلي. لهذا السبب، تستخدم معظم الشركات Storm كجزء لا يتجزأ من نظامها. بعض الأمثلة البارزة هي كما يلي –
تويتر – يستخدم تويتر Apache Storm لمجموعة “منتجات تحليلات الناشرين”. تعالج “منتجات تحليلات الناشرين” كل التغريدات والنقرات في منصة تويتر. تم دمج Apache Storm بعمق مع البنية التحتية لتويتر.
NaviSite – يستخدم NaviSite نظام Storm لمراقبة/تدقيق سجل الأحداث. كل السجلات التي تم إنشاؤها في النظام سوف تمر عبر العاصفة. سوف يقوم Storm بفحص الرسالة مقابل مجموعة التعبيرات العادية التي تم تكوينها، وإذا كان هناك تطابق، فسيتم حفظ تلك الرسالة المحددة في قاعدة البيانات.
Wego – Wego هو محرك بحث تعريفي للسفر يقع في سنغافورة. تأتي البيانات المتعلقة بالسفر من مصادر عديدة من جميع أنحاء العالم وبتوقيتات مختلفة. تساعد Storm Wego في البحث عن البيانات في الوقت الفعلي وحل مشكلات التزامن والعثور على أفضل تطابق للمستخدم النهائي.
فوائد Apache Storm
فيما يلي قائمة بالمزايا التي يقدمها Apache Storm –
Storm مفتوحة المصدر وقوية وسهلة الاستخدام. ويمكن استخدامه في الشركات الصغيرة وكذلك الشركات الكبيرة.
يتميز Storm بأنه متسامح مع الأخطاء، ومرن، وموثوق، ويدعم أي لغة برمجة.
يسمح بمعالجة الدفق في الوقت الحقيقي.
Storm سريع بشكل لا يصدق لأنه يتمتع بقدرة هائلة على معالجة البيانات.
يمكن لـ Storm الحفاظ على الأداء حتى في ظل التحميل المتزايد عن طريق إضافة الموارد خطيًا. إنها قابلة للتطوير بدرجة كبيرة.
تقوم Storm بتحديث البيانات والاستجابة للتسليم الشامل في ثوانٍ أو دقائق حسب المشكلة. لديها الكمون منخفض جدا.
لدى Storm معلومات استخباراتية تشغيلية.
توفر Storm معالجة مضمونة للبيانات حتى في حالة توقف أي من العقد المتصلة في المجموعة أو فقدان الرسائل.