• <fieldset id="2mqau"></fieldset>
    <tbody id="2mqau"><tfoot id="2mqau"></tfoot></tbody>
    <option id="2mqau"><noframes id="2mqau"></noframes></option>
  • <input id="2mqau"></input>
  • 阿里云搭建Hadoop集群

    2019-08-18 00:48:09

    阿里云搭建Hadoop集群

    https://blog.csdn.net/bqw18744018044/article/details/79103931

    • 兩臺服務(wù)器,一臺做master,一臺做worker,worker就是slave。建議用之前配置好的服務(wù)器做master,新的主機(jī)做worker。

    • master上的工作


    • 第一步通過vim hadoop /etc/hosts在master中添加worker的hostname


    • worker1

    • worker2

    • worker3

    • .....

    • 1

    • 2

    • 3

    • 4

    • 第二步配置ssh無密碼登陸


    •  1. 將master上的公鑰xxx.pub復(fù)制到worker上的authorized_keys里面。

    •      scp xxx.pub worker_ip


    •  2. 在worker中更改一下文件的權(quán)限。

    •      chmod 600 authorized_keys

    •      chmod 700 .ssh

    • 1

    • 2

    • 3

    • 4

    • 5

    • 6

    • 第三步將master中的配置好的hadoop目錄復(fù)制到worker中


    • 首先,在master中壓縮hadoop文件,在拷貝到worker中。網(wǎng)上很多教程是直接拷貝文件夾到worker中,這種做法的效率極低,文件的傳輸很慢,一定要壓縮后再拷貝文件。

    • tar czvf hadoop-2.8.1.tar  hadoop-2.8.1

    • scp  hadoop-2.8.1.tar worker_ip

    • 1

    • 2

    • 3

    • worker上的工作


    • 第一步修改hostname為對應(yīng)的worker,并修改對應(yīng)的hosts中的IP映射。


    • 第二步配置java環(huán)境。


    • 第三步配置/etc/profile


    • 1、2、3步參考我的上一篇博客進(jìn)行完成。hadoop環(huán)境搭建。


    • 第四步將從master中拷貝過來的hadoop壓縮包進(jìn)行解壓,并移動到software目錄下。


    • 這次就完成了hadoop集群的搭建。


    • 回到master中,使用./sbin/start-all.sh開啟Hadoop集群。


    • 在master中執(zhí)行hadoop dfsadmin -report查看集群是否正常啟動,下圖表示啟動成功:

    •  ———————————————— 

    • 版權(quán)聲明:本文為CSDN博主「vlions 」的原創(chuàng)文章,遵循CC 4.0 by-sa版權(quán)協(xié)議,轉(zhuǎn)載請附上原文出處鏈接及本聲明。

    • 原文鏈接:https://blog.csdn.net/qq_22600319/article/details/78241628


    首頁
    產(chǎn)品
    新聞
    聯(lián)系
    国产精品美女久久久久AV爽,俺去俺来也在线WWW色官网,成年美女黄的视频网站,正在播放无套少妇出租屋 常德市| 甘德县| 平山县| 泰顺县| 霸州市| 甘肃省| 策勒县| 大荔县| 全椒县| 措勤县| 静安区| 军事| 台南市| 大宁县| 连州市| 丁青县| 岫岩| 湟中县| 乐山市| 普安县| 阿克陶县| 修武县| 牡丹江市| 扶风县| 康平县| 定安县| 秦皇岛市| 上犹县| 北海市| 右玉县| 普洱| 萍乡市| 彰化县| 右玉县| 盈江县| 古丈县| 建瓯市| 如东县| 通河县| 海阳市| 镇安县|