يمكن استخدام Solr مع Hadoop. نظرًا لأن Hadoop يتعامل مع كمية كبيرة من البيانات، فإن Solr يساعدنا في العثور على المعلومات المطلوبة من مثل هذا المصدر الكبير. في هذا القسم، دعنا نفهم كيف يمكنك تثبيت Hadoop على نظامك.
تنزيل Hadoop
فيما يلي الخطوات الواجب اتباعها لتنزيل Hadoop على نظامك.
الخطوة 1 – انتقل إلى الصفحة الرئيسية لـ Hadoop. يمكنك استخدام الرابط – www.hadoop.apache.org. انقر على الرابط الإصدارات، كما هو موضح في لقطة الشاشة التالية.
الخطوة 2 – حدد أحدث إصدار من Hadoop (في برنامجنا التعليمي، هو 2.6.4) وانقر فوق الرابط الثنائي binary link الخاص به. سينقلك إلى صفحة تتوفر بها مرايا Hadoop الثنائية. انقر فوق إحدى هذه النسخ لتنزيل Hadoop.
تنزيل Hadoop من موجه الأوامر Command Prompt
افتح Linux terminal وقم بتسجيل الدخول كـ super-user.
$ su
password:
انتقل إلى الدليل الذي تريد تثبيت Hadoop فيه، واحفظ الملف هناك باستخدام الرابط المنسوخ مسبقًا، كما هو موضح في كتلة التعليمات البرمجية التالية.
# cd /usr/local
# wget http://redrockdigimark.com/apachemirror/hadoop/common/hadoop-
2.6.4/hadoop-2.6.4.tar.gz
بعد تنزيل Hadoop، قم باستخراجه باستخدام الأوامر التالية.
# tar zxvf hadoop-2.6.4.tar.gz
# mkdir hadoop
# mv hadoop-2.6.4/* to hadoop/
# exit
تثبيت Hadoop
اتبع الخطوات الموضحة أدناه لتثبيت Hadoop في وضع pseudo-distributed mode.
الخطوة 1 : إعداد Hadoop
يمكنك ضبط متغيرات بيئة Hadoop عن طريق إلحاق الأوامر التالية بملف ~/.bashrc.
export HADOOP_HOME = /usr/local/hadoop export
HADOOP_MAPRED_HOME = $HADOOP_HOME export
HADOOP_COMMON_HOME = $HADOOP_HOME export
HADOOP_HDFS_HOME = $HADOOP_HOME export
YARN_HOME = $HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR = $HADOOP_HOME/lib/native
export PATH = $PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL = $HADOOP_HOME
بعد ذلك، قم بتطبيق كافة التغييرات على نظام التشغيل الحالي.
$ source ~/.bashrc
الخطوة 2 : تهيئة Hadoop
يمكنك العثور على جميع ملفات تكوين Hadoop في الموقع “$HADOOP_HOME/etc/hadoop”. يلزم إجراء تغييرات في ملفات التكوين configuration هذه وفقًا لبنية Hadoop الأساسية لديك.
$ cd $HADOOP_HOME/etc/hadoop
من أجل تطوير برامج Hadoop في Java، عليك إعادة تعيين متغيرات بيئة Java في ملف hadoop-env.sh عن طريق استبدال قيمة JAVA_HOME بموقع Java في نظامك.
export JAVA_HOME = /usr/local/jdk1.7.0_71
فيما يلي قائمة بالملفات التي يتعين عليك تحريرها لتكوين Hadoop (core-site.xml، وhdfs-site.xml، وYarn-site.xml، وmapred-site.xml)