Hadoop مدعوم من قبل منصة GNU/Linux ونكهاتها. لذلك، يتعين علينا تثبيت نظام تشغيل Linux لإعداد بيئة Hadoop. في حال كان لديك نظام تشغيل آخر غير Linux، يمكنك تثبيت برنامج Virtualbox فيه والحصول على Linux داخل Virtualbox.
إعداد ما قبل التثبيت
قبل تثبيت Hadoop في بيئة Linux، نحتاج إلى إعداد Linux باستخدام ssh (Secure Shell). اتبع الخطوات الواردة أدناه لإعداد بيئة Linux.
إنشاء مستخدم
في البداية، يوصى بإنشاء مستخدم منفصل لـ Hadoop لعزل نظام ملفات Hadoop عن نظام ملفات Unix. اتبع الخطوات الواردة أدناه لإنشاء مستخدم –
افتح الجذر باستخدام الأمر “su”.
قم بإنشاء مستخدم من الحساب الجذر باستخدام الأمر “useradd username”.
يمكنك الآن فتح حساب مستخدم موجود باستخدام الأمر “su username”.
افتح Linux terminal واكتب الأوامر التالية لإنشاء مستخدم.
$ su
password:
# useradd hadoop
# passwd hadoop
New passwd:
Retype new passwd
إعداد SSH وإنشاء المفاتيح
يلزم إعداد SSH لإجراء عمليات مختلفة على المجموعة مثل بدء عمليات shell الخفي الموزعة وإيقافها. لمصادقة مستخدمين مختلفين لـ Hadoop، يلزم توفير زوج مفاتيح عام/خاص لمستخدم Hadoop ومشاركته مع مستخدمين مختلفين.
تُستخدم الأوامر التالية لإنشاء زوج قيمة مفتاح باستخدام SSH. انسخ نموذج المفاتيح العامة id_rsa.pub إلى Author_keys، وقم بتزويد المالك بأذونات القراءة والكتابة لملف Author_keys على التوالي.
$ ssh-keygen -t rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys
تثبيت Java
Java هي الشرط الأساسي لـ Hadoop. أولاً، يجب عليك التحقق من وجود Java في نظامك باستخدام الأمر “Java -version”. بناء جملة أمر إصدار Java موضح أدناه.
$ java -version
إذا كان كل شيء على ما يرام، فسوف يعطيك الإخراج التالي (مع إختلاف الإصدار) .
إذا لم يتم تثبيت Java على نظامك، فاتبع الخطوات الواردة أدناه لتثبيت Java.
الخطوة الأولى
قم بتنزيل Java (JDK <أحدث إصدار> – X64.tar.gz) من خلال زيارة الرابط التالي www.Oracle.com
ثم سيتم تنزيل jdk-7u71-linux-x64.tar.gz على نظامك.
الخطوة الثانية
بشكل عام، ستجد ملف Java الذي تم تنزيله في مجلد التنزيلات. تحقق منه واستخرج الملف jdk-7u71-linux-x64.gz باستخدام الأوامر التالية.
$ cd Downloads/
$ ls
jdk-7u71-linux-x64.gz
$ tar zxf jdk-7u71-linux-x64.gz
$ ls
jdk1.7.0_71 jdk-7u71-linux-x64.gz
الخطوة الثالثة
لجعل جافا متاحة لجميع المستخدمين، عليك نقلها إلى الموقع “/usr/local/”. افتح الجذر واكتب الأوامر التالية.
$ su
password:
# mv jdk1.7.0_71 /usr/local/
# exit
الخطوة الرابعة
لإعداد متغيرات PATH وJAVA_HOME، قم بإضافة الأوامر التالية إلى ملف ~/.bashrc.
export JAVA_HOME=/usr/local/jdk1.7.0_71
export PATH=$PATH:$JAVA_HOME/bin
الآن قم بتطبيق كافة التغييرات على نظام التشغيل الحالي.
$ source ~/.bashrc
الخطوة الخامسة
استخدم الأوامر التالية لتكوين java alternatives –
# alternatives --install /usr/bin/java java usr/local/java/bin/java 2
# alternatives --install /usr/bin/javac javac usr/local/java/bin/javac 2
# alternatives --install /usr/bin/jar jar usr/local/java/bin/jar 2
# alternatives --set java usr/local/java/bin/java
# alternatives --set javac usr/local/java/bin/javac
# alternatives --set jar usr/local/java/bin/jar
تحقق الآن من أمر Java -version من الجهاز كما هو موضح أعلاه.
تنزيل Hadoop
قم بتنزيل واستخراج Hadoop 2.4.1 أو الإصدار الأحدث من Apache software foundation باستخدام الأوامر التالية.
$ su
password:
# cd /usr/local
# wget http://apache.claz.org/hadoop/common/hadoop-2.4.1/
hadoop-2.4.1.tar.gz
# tar xzf hadoop-2.4.1.tar.gz
# mv hadoop-2.4.1/* to hadoop/
# exit
أوضاع تشغيل Hadoop
بمجرد قيامك بتنزيل Hadoop، يمكنك تشغيل مجموعة Hadoop الخاصة بك في أحد الأوضاع الثلاثة المدعومة –
الوضع المحلي/المستقل Local/Standalone Mode – بعد تنزيل Hadoop في نظامك، بشكل افتراضي، يتم تكوينه في وضع مستقل ويمكن تشغيله كعملية جافا واحدة.
الوضع الموزع الزائف Pseudo Distributed Mode – إنها محاكاة موزعة على جهاز واحد. سيتم تشغيل كل برنامج Hadoop الخفي، مثل hdfs، وnear، وMapReduce، وما إلى ذلك، كعملية Java منفصلة. هذا الوضع مفيد للتنمية.
الوضع الموزع بالكامل Fully Distributed Mode – يتم توزيع هذا الوضع بالكامل مع جهازين أو أكثر على الأقل كمجموعة. وسنتعرف على هذا الوضع بالتفصيل في الفصول القادمة.
تثبيت Hadoop في Standalone Mode
يعد الوضع المستقل standalone mode مناسبًا لتشغيل برامج MapReduce أثناء التطوير، نظرًا لأنه من السهل اختبارها وتصحيح أخطائها.
إعداد Hadoop
يمكنك ضبط متغيرات بيئة Hadoop عن طريق إلحاق الأوامر التالية بملف ~/.bashrc.
export HADOOP_HOME=/usr/local/hadoop
قبل المضي قدمًا، عليك التأكد من أن Hadoop يعمل بشكل جيد. فقط قم بإصدار الأمر التالي –
$ hadoop version
إذا كان كل شيء على ما يرام مع الإعداد الخاص بك، فيجب أن ترى النتيجة التالية (ربما يختلف الإصدار لديك) –
Hadoop 2.4.1
Subversion https://svn.apache.org/repos/asf/hadoop/common -r 1529768
Compiled by hortonmu on 2013-10-07T06:28Z
Compiled with protoc 2.5.0
From source with checksum 79e53ce7994d1628b240f09af91e1af4
هذا يعني أن إعداد الوضع المستقل في Hadoop الخاص بك يعمل بشكل جيد. افتراضيًا، يتم تكوين Hadoop للتشغيل في الوضع غير الموزع على جهاز واحد.