النهج تقليدي Traditional Approach
في هذا النهج، سيكون لدى المؤسسة جهاز كمبيوتر لتخزين ومعالجة البيانات الضخمة. لغرض التخزين، سوف يستفيد المبرمجون من اختيارهم لموردي قواعد البيانات مثل Oracle وIBM وما إلى ذلك. وفي هذا النهج، يتفاعل المستخدم مع التطبيق، والذي بدوره يتعامل مع جزء تخزين البيانات وتحليلها.
القيود Limitation
يعمل هذا الأسلوب بشكل جيد مع تلك التطبيقات التي تعالج بيانات أقل حجمًا يمكن استيعابها بواسطة خوادم قواعد البيانات القياسية، أو حتى الحد الأقصى للمعالج الذي يقوم بمعالجة البيانات. ولكن عندما يتعلق الأمر بالتعامل مع كميات هائلة من البيانات القابلة للتطوير، فإن معالجة مثل هذه البيانات من خلال عنق الزجاجة في قاعدة بيانات واحدة هي مهمة شاقة.
حلول جوجل Google’s Solution
قامت Google بحل هذه المشكلة باستخدام خوارزمية تسمى MapReduce. تقوم هذه الخوارزمية بتقسيم المهمة إلى أجزاء صغيرة وتخصيصها للعديد من أجهزة الكمبيوتر، وتجمع النتائج منها والتي عند دمجها تشكل مجموعة البيانات الناتجة.
Hadoop
باستخدام الحل المقدم من Google، قام دوج كاتنج وفريقه بتطوير مشروع مفتوح المصدر يسمى HADOOP.
يقوم Hadoop بتشغيل التطبيقات باستخدام خوارزمية MapReduce، حيث تتم معالجة البيانات بالتوازي مع الآخرين. باختصار، يتم استخدام Hadoop لتطوير التطبيقات التي يمكنها إجراء تحليل إحصائي كامل لكميات هائلة من البيانات.