Технология построения защищенных распределенных приложений
Создание на главном узле файл подкачки
жүктеу/скачать 0.74 Mb. Pdf көрінісі
|
- Бұл бет үшін навигация:
- 1.3.12 Запуск Hadoop
| 1.3.11 Создание на главном узле файл подкачки
Создадим на главном узле папку, в которую попозже мы подмонтируем файл подкачки: sudo mkdir /media/swap Создаем файл подкачки sudo dd if=/dev/zero of=/media/swap/swapfile.img bs=2048 count=1M Выставляем нужные права на файл: sudo chmod 600 /media/swap/swapfile.img Создаем swap sudo mkswap /media/swap/swapfile.img Добавляем swap в fstab. Это нужно сделать чтобы каждый раз при старте ОС, автоматически монтировался файл подкачки, который мы создали, для этого открываем файл /etc/fstab в редакторе: sudo nano /etc/fstab и добавляем в файл: # mount swap image /media/swap/swapfile.img swap swap sw 0 0 Активируем (включаем) наш swap sudo swapon /media/swap/swapfile.img Убедимся, что swap нормально работает. Для этого выполним: cat /proc/swaps 19 1.3.12 Запуск Hadoop Когда все настройки прописаны, то на главном узле можно запустить наш кластер. /usr/local/hadoop/sbin/start-dfs.sh /usr/local/hadoop/sbin/start-yarn.sh На slave-узле должны запуститься следующие процессы: hduser@slave1:/usr/local/hadoop$ jps 1748 Jps 1664 NodeManager 1448 DataNode Теперь у нас есть свой мини-кластер. Посмотреть состояние нод кластера можно по адресу http://master:8088/cluster/nodes. Давайте запустим задачу Word Count. Для этого нам потребуется загрузить в HDFS несколько текстовых файлов. Для примера, возьмём книги в формате txt с сайта Free ebooks — Project Gutenberg. cd /home/hduser mkdir books cd books wget http://www.gutenberg.org/files/20417/20417.txt wget http://www.gutenberg.org/files/5000/5000-8.txt wget http://www.gutenberg.org/files/4300/4300-0.txt wget http://www.gutenberg.org/files/972/972.txt Перенесем наши файлы в HDFS: cd /usr/local/hadoop bin/hdfs dfs -mkdir /in bin/hdfs dfs -copyFromLocal /home/hduser/books/* /in bin/hdfs dfs -ls /in Запустим Word Count: /usr/local/hadoop/bin/hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoo p-mapreduce-examples-2.7.4.jar wordcount /in /out Отслеживать работу можно через консоль, а можно через веб-интерфейс ResourceManager'а по адресу http://master:8088/cluster/apps/. По завершению работы, результат будет располагаться в папке /out в HDFS. Для того, чтобы скачать его на локальную файловую систему выполним: /usr/local/hadoop/bin/hdfs dfs -copyToLocal /out /home/hduser/ Теперь в директории /home/hduser/out можно увидеть результаты выполнения задачи. жүктеу/скачать 0.74 Mb. Достарыңызбен бөлісу:
|