บทช่วยสอนการติดตั้งและการกำหนดค่าแบบสแตนด์อโลน Hadoop

การติดตั้งแบบสแตนด์อโลนส่วนใหญ่จะใช้สำหรับการดีบักตรรกะของโปรแกรม ขั้นตอนการติดตั้งโดยทั่วไปจะเป็นการติดตั้งแบบกระจาย รวมถึงตัวแปรสภาพแวดล้อม ไฟล์การกำหนดค่า Hadoop หลัก การกำหนดค่า SSH เป็นต้น ข้อแตกต่างหลักอยู่ที่ไฟล์การกำหนดค่า: การกำหนดค่าทาสจำเป็นต้องได้รับการแก้ไข นอกจากนี้ หาก dfs.replication มากกว่า 1 ในการติดตั้งแบบกระจาย จะต้องแก้ไขเป็น 1 เนื่องจากมีเพียง 1 ดาต้าโหนด
สำหรับการติดตั้งแบบกระจาย โปรดดูที่:
http://acooly.iteye.com/blog/1179828
ในการติดตั้งแบบสแตนด์อโลน ให้ใช้เครื่องหนึ่งเครื่อง ซึ่งก็คือ namenode และ JobTracker, datanode และ TaskTracker และแน่นอนว่า SecondaryNameNode
ไฟล์คอนฟิกูเรชันหลัก core-site.xml, hdfs-site.xml, mapred-site.xml และ masters เหมือนกับคอนฟิกูเรชันการติดตั้งแผนผังการกระจายโดยสมบูรณ์ หากจำนวนสำเนาของ hdfs-site.xml ในการติดตั้งแบบกระจาย รูปแบบการกำหนดค่าถูกกำหนดให้มากกว่า 1 แก้ไขเป็น 1

ความแตกต่างที่สำคัญอยู่ที่การกำหนดค่าของทาส ในการติดตั้งแบบกระจาย เครื่องอื่น ๆ หลายเครื่องจะถูกใช้เป็นดาต้าโหนด ในโหมดสแตนด์อโลน เครื่องโลคัลจะเป็นดาต้าโหนด ดังนั้นให้แก้ไขไฟล์การกำหนดค่าทาสเป็นชื่อโดเมนของเครื่องโลคัล ตัวอย่างเช่น: ชื่อเครื่องในเครื่องคือ hadoop11 ดังนั้น:
[hadoop@hadoop11 ~]$ cat hadoop/conf/slaves
ฮาดูป11
หลังจากเสร็จสิ้นการกำหนดค่า ให้เริ่ม:

เรียกใช้การสาธิต
$ เสียงสะท้อน word1 word2 word2 word3 word3 word3 > คำ
$ คำแมว
คำ1 คำ2 คำ2 คำ3 คำ3 คำ3
$ hadoop dfsadmin - ออกจากโหมดปลอดภัย
$ hadoop fs -copyFromLocal คำ /single/input/words
$ hadoop fs -cat /single/input/words
12/02/60 19:47:44 ความปลอดภัยของข้อมูลกลุ่ม: การแมปกลุ่ม impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000
คำ1 คำ2 คำ2 คำ3 คำ3 คำ3
$ hadoop jar hadoop-0.21.0/hadoop-mapred-examples-0.21.0.jar จำนวนคำ /single/input /single/output
-
$ hadoop fs -ls /single/output
-
-rw-r - r-- 1 hadoop supergroup 0 2012-02-17 19:50 /single/output/_SUCCESS
-rw-r - r-- 1 hadoop supergroup 24 2012-02-17 19:50 /single/output/part-r-00000
$ hadoop fs -cat /single/output/part-r-00000
-
คำ1 1
คำ2 2
คำ3 3