Автономная установка в основном используется для отладки логики программы. Этапы установки в основном представляют собой распределенную установку, включая переменные среды, основные файлы конфигурации Hadoop, конфигурацию SSH и т. д. Основное отличие заключается в файле конфигурации: необходимо изменить конфигурацию подчиненных устройств. Кроме того, если dfs.replication больше 1 в распределенной установке, его необходимо изменить на 1, поскольку имеется только 1 узел данных.
Для распределенной установки см.:
http://acooly.iteye.com/blog/1179828
При автономной установке используйте один компьютер, который является узлом имени и JobTracker, узлом данных и TaskTracker и, конечно же, SecondaryNameNode.
Основные файлы конфигурации core-site.xml, hdfs-site.xml, mapred-site.xml и masters полностью совпадают с конфигурацией установки дерева распространения, если количество копий hdfs-site.xml в распределенной установке. Схема конфигурации определена как больше 1, измените ее как 1.
Скопируйте код кода следующим образом:
<свойство>
<name>dfs.replication</name>
<значение>1</значение>
</свойство>
Основное отличие заключается в конфигурации подчиненных устройств. При распределенной установке в качестве узлов данных используются несколько других компьютеров. В автономном режиме узлом данных является локальный компьютер, поэтому измените файл конфигурации подчиненных устройств, указав доменное имя локального компьютера. Например: имя локального компьютера — Hadoop11, тогда:
[hadoop@hadoop11 ~]$ cat Hadoop/conf/slaves
Hadoop11
После завершения настройки запустите:
Скопируйте код кода следующим образом:
$ start-all.sh
$ jps
15556Джпс
15111 ДжобТрекер
15258 ТаскТрекер
15014 SecondaryNameNode
14861 Узел данных
14712 ИмяУзел
Запустить ДЕМО
$ echo слово1 слово2 слово2 слово3 слово3 слово3 > слова
$ кошачьи слова
слово1 слово2 слово2 слово3 слово3 слово3
$ Hadoop dfsadmin -safemode выйти
$ Hadoop fs -copyFromLocal Words /single/input/words
$ Hadoop fs -cat /single/input/words
02.12.17 19:47:44 INFOsecurity.Groups: Сопоставление групп impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping;cacheTimeout=300000;
слово1 слово2 слово2 слово3 слово3 слово3
$ Hadoop jar Hadoop-0.21.0/hadoop-mapred-examples-0.21.0.jar количество слов /single/input /single/output
...
$ Hadoop fs -ls /single/output
...
-rw-r--r-- 1 супергруппа Hadoop 0 17 февраля 2012 г., 19:50 /single/output/_SUCCESS
-rw-r--r-- 1 супергруппа Hadoop 24 17 февраля 2012 г., 19:50 /single/output/part-r-00000
$ Hadoop fs -cat /single/output/part-r-00000
...
слово1 1
слово2 2
слово3 3
