Die eigenständige Installation wird hauptsächlich zum Debuggen der Programmlogik verwendet. Bei den Installationsschritten handelt es sich im Wesentlichen um eine verteilte Installation, einschließlich Umgebungsvariablen, Hauptkonfigurationsdateien von Hadoop, SSH-Konfiguration usw. Der Hauptunterschied liegt in der Konfigurationsdatei: Die Slave-Konfiguration muss außerdem geändert werden, wenn dfs.replication in einer verteilten Installation größer als 1 ist, da es nur 1 Datenknoten gibt.
Informationen zur verteilten Installation finden Sie unter:
http://acooly.iteye.com/blog/1179828
Verwenden Sie in einer eigenständigen Installation einen Computer, nämlich den Namensknoten und JobTracker, den Datenknoten und TaskTracker und natürlich den SecondaryNameNode.
Die Hauptkonfigurationsdateien core-site.xml, hdfs-site.xml, mapred-site.xml und master stimmen vollständig mit der Installationskonfiguration des Verteilungsbaums überein, wenn die Anzahl der Kopien von hdfs-site.xml in der verteilten Installation beträgt Wenn das Konfigurationsschema größer als 1 ist, ist es 1.
Kopieren Sie den Codecode wie folgt:
<Eigenschaft>
<name>dfs.replication</name>
<Wert>1</Wert>
</property>
Der Hauptunterschied liegt in der Konfiguration der Slaves. Bei der verteilten Installation werden mehrere andere Maschinen als Datenknoten verwendet. Im Standalone-Modus ist der lokale Computer der Datenknoten. Ändern Sie daher die Slave-Konfigurationsdatei in den Domänennamen des lokalen Computers. Beispiel: Der Name der lokalen Maschine lautet hadoop11, dann:
[hadoop@hadoop11 ~]$ cat hadoop/conf/slaves
hadoop11
Nach Abschluss der Konfiguration starten Sie:
Kopieren Sie den Codecode wie folgt:
$ start-all.sh
$ jps
15556Jps
15111 JobTracker
15258 TaskTracker
15014 SecondaryNameNode
14861 Datenknoten
14712 NameNode
Führen Sie DEMO aus
$ Echo Wort1 Wort2 Wort2 Wort3 Wort3 Wort3 > Wörter
$ Katzenwörter
Wort1 Wort2 Wort2 Wort3 Wort3 Wort3
$ hadoop dfsadmin -safemode verlassen
$ hadoop fs -copyFromLocal Words /single/input/words
$ hadoop fs -cat /single/input/words
02.12.17 19:47:44 INFO security.Groups: Gruppenzuordnung impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping=300000;
Wort1 Wort2 Wort2 Wort3 Wort3 Wort3
$ hadoop jar hadoop-0.21.0/hadoop-mapred-examples-0.21.0.jar wordcount /single/input /single/output
...
$ hadoop fs -ls /single/output
...
-rw-r--r-- 1 hadoop supergroup 0 2012-02-17 19:50 /single/output/_SUCCESS
-rw-r--r-- 1 hadoop supergroup 24 2012-02-17 19:50 /single/output/part-r-00000
$ hadoop fs -cat /single/output/part-r-00000
...
Wort1 1
Wort2 2
Wort3 3
