La instalación independiente se utiliza principalmente para la depuración de la lógica del programa. Los pasos de instalación son básicamente una instalación distribuida, incluidas las variables de entorno, los archivos de configuración principales de Hadoop, la configuración SSH, etc. La principal diferencia radica en el archivo de configuración: la configuración de los esclavos debe modificarse. Además, si dfs.replication es mayor que 1 en una instalación distribuida, debe modificarse a 1 porque solo hay 1 nodo de datos.
Para instalación distribuida, consulte:
http://acooly.iteye.com/blog/1179828
En una instalación independiente, use una máquina, que es el nodo de nombre y JobTracker, el nodo de datos y TaskTracker y, por supuesto, el SecondaryNameNode.
Los archivos de configuración principales core-site.xml, hdfs-site.xml, mapred-site.xml y masters son completamente iguales a la configuración de instalación del árbol de distribución si el número de copias de hdfs-site.xml en la instalación distribuida. El esquema de configuración se define como mayor que 1, modifíquelo es 1.
Copie el código de código de la siguiente manera:
<propiedad>
<nombre>dfs.replication</nombre>
<valor>1</valor>
</propiedad>
La principal diferencia radica en la configuración de los esclavos. En la instalación distribuida, se utilizan varias otras máquinas como nodos de datos. En el modo independiente, la máquina local es el nodo de datos, por lo tanto, modifique el archivo de configuración de los esclavos al nombre de dominio de la máquina local. Por ejemplo: el nombre de la máquina local es hadoop11, entonces:
[hadoop@hadoop11 ~]$ gato hadoop/conf/esclavos
hadoop11
Después de completar la configuración, comience:
Copie el código de código de la siguiente manera:
$ empezar-todo.sh
$ jps
15556Jps
15111 Rastreador de trabajos
15258 Rastreador de tareas
15014 Nodo de nombre secundario
14861 Nodo de datos
14712 Nodo de nombre
Ejecutar DEMOSTRACIÓN
$ eco palabra1 palabra2 palabra2 palabra3 palabra3 palabra3 > palabras
$ palabras de gato
palabra1 palabra2 palabra2 palabra3 palabra3 palabra3
$ hadoop dfsadmin -salir del modo seguro
$ hadoop fs -copyFromLocal palabras /single/entrada/palabras
$ hadoop fs -cat /single/entrada/palabras
02/12/17 19:47:44 INFORMACIÓN seguridad.Grupos: Mapeo de grupos impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping cacheTimeout=300000;
palabra1 palabra2 palabra2 palabra3 palabra3 palabra3
$ hadoop jar hadoop-0.21.0/hadoop-mapred-examples-0.21.0.jar recuento de palabras /single/input /single/output
...
$ hadoop fs -ls /single/salida
...
-rw-r--r-- 1 supergrupo hadoop 0 2012-02-17 19:50 /single/output/_SUCCESS
-rw-r--r-- 1 supergrupo hadoop 24 2012-02-17 19:50 /single/output/part-r-00000
$ hadoop fs -cat /single/salida/part-r-00000
...
palabra1 1
palabra2 2
palabra3 3
