Hadoop – عمليات HDFS

Hadoop

بدء تشغيل HDFS

في البداية، يتعين عليك تهيئة نظام ملفات HDFS الذي تم تكوينه، وفتح رمز الاسم (خادم HDFS)، وتنفيذ الأمر التالي.

$ hadoop namenode -format 

بعد تهيئة HDFS، قم بتشغيل نظام الملفات الموزعة. سيبدأ الأمر التالي في namenode.

$ start-dfs.sh 

قائمة الملفات في HDFS

بعد تحميل المعلومات في الخادم، يمكننا العثور على قائمة الملفات في الدليل، وحالة الملف، باستخدام “ls”. فيما يلي صيغة ls التي يمكنك تمريرها إلى دليل أو اسم ملف كوسيطة.

$ $HADOOP_HOME/bin/hadoop fs -ls <args>

إدخال البيانات في HDFS

افترض أن لدينا بيانات في الملف المسمى file.txt في النظام المحلي والذي يجب حفظه في نظام الملفات hdfs. اتبع الخطوات الموضحة أدناه لإدراج الملف المطلوب في نظام ملفات Hadoop.

خطوة 1

يجب عليك إنشاء دليل الإدخال.

$ $HADOOP_HOME/bin/hadoop fs -mkdir /user/input 

خطوة 2

قم بنقل وتخزين ملف بيانات من الأنظمة المحلية إلى نظام ملفات Hadoop باستخدام أمر put.

$ $HADOOP_HOME/bin/hadoop fs -put /home/file.txt /user/input 

خطوة 3

يمكنك التحقق من الملف باستخدام الأمر ls.

$ $HADOOP_HOME/bin/hadoop fs -ls /user/input

استرجاع البيانات من HDFS

افترض أن لدينا ملفًا في HDFS يسمى outfile. فيما يلي عرض توضيحي بسيط لاسترداد الملف المطلوب من نظام الملفات Hadoop.

الخطوة 1

في البداية، قم بعرض البيانات من HDFS باستخدام أمر cat.

$ $HADOOP_HOME/bin/hadoop fs -cat /user/output/outfile

خطوة 2

احصل على الملف من HDFS إلى نظام الملفات المحلي باستخدام أمر get.

$ $HADOOP_HOME/bin/hadoop fs -get /user/output/ /home/hadoop_tp/

اغلاق HDFS

يمكنك إيقاف تشغيل HDFS باستخدام الأمر التالي.

$ stop-dfs.sh 

Related posts

Apache Kafka نظرة عامة

تحليل البيانات الضخمة – متخصص علوم البيانات

Cassandra – نموذج البيانات