• <fieldset id="2mqau"></fieldset>
    <tbody id="2mqau"><tfoot id="2mqau"></tfoot></tbody>
    <option id="2mqau"><noframes id="2mqau"></noframes></option>
  • <input id="2mqau"></input>
  • 第一周, 總體概述, Hadoop , 想到鴻蒙的未來(lái),還想大干一場(chǎng)

    2021-04-20 21:12:05

    2019-8-2    大數(shù)據(jù)班正式開課, 整天講解大數(shù)據(jù)的軟件構(gòu)成和概念

    image.png



    Hadoop , 想到鴻蒙的未來(lái),我還想大干一場(chǎng)

    image.png


    HDFS:


    Hadoop是Apache軟件基金會(huì)所開發(fā)的并行計(jì)算框架與分布式文件系統(tǒng)。

    Hadoop 最核心的模塊包括Hadoop Common、HDFS與MapReduce。


    HDFS是Hadoop分布式文件系統(tǒng)(Hadoop Distributed File System)的縮寫,

    為分布式計(jì)算存儲(chǔ)提供了底層支持。

    image.png


    采用Java語(yǔ)言開發(fā),可以部署在多種普通的廉價(jià)機(jī)器上,以集群處理數(shù)量積達(dá)到大型主機(jī)處理性能。

    HDFS 架構(gòu)原理HDFS采用master/slave架構(gòu)。

    一個(gè)HDFS集群包含一個(gè)單獨(dú)的NameNode和多個(gè)DataNode。

    NameNode作為master服務(wù),它負(fù)責(zé)管理文件系統(tǒng)的命名空間和客戶端對(duì)文件的訪問(wèn)。

    NameNode會(huì)保存文件系統(tǒng)的具體信息,包括文件信息、文件被分割成具體block塊的信息、以及每一個(gè)block塊歸屬的DataNode的信息。

    HDFS通過(guò)NameNode對(duì)用戶提供了一個(gè)單一的命名空間。

    DataNode作為slave服務(wù),在集群中可以存在多個(gè)。

    通常每一個(gè)DataNode都對(duì)應(yīng)于一個(gè)物理節(jié)點(diǎn)。

    DataNode負(fù)責(zé)管理節(jié)點(diǎn)上它們擁有的存儲(chǔ),它將存儲(chǔ)劃分為多個(gè)block塊,管理block塊信息,同時(shí)周期性的將其所有的block塊信息發(fā)送給NameNode。


    HDFS采用master/slave架構(gòu)。一個(gè)HDFS集群是由一個(gè)Namenode和一定數(shù)目的Datanodes組成。

    Namenode是一個(gè)中心服務(wù)器,負(fù)責(zé)管理文件系統(tǒng)的名字空間(namespace)以及客戶端對(duì)文件的訪問(wèn)。

    集群中的Datanode一般是一個(gè)節(jié)點(diǎn)一個(gè),負(fù)責(zé)管理它所在節(jié)點(diǎn)上的存儲(chǔ)。

    HDFS暴露了文件系統(tǒng)的名字空間,用戶能夠以文件的形式在上面存儲(chǔ)數(shù)據(jù)。

    從內(nèi)部看,一個(gè)文件其實(shí)被分成一個(gè)或多個(gè)數(shù)據(jù)塊,這些塊存儲(chǔ)在一組Datanode上。

    Namenode執(zhí)行文件系統(tǒng)的名字空間操作,比如打開、關(guān)閉、重命名文件或目錄。

    它也負(fù)責(zé)確定數(shù)據(jù)塊到具體Datanode節(jié)點(diǎn)的映射。

    Datanode負(fù)責(zé)處理文件系統(tǒng)客戶端的讀寫請(qǐng)求。

    在Namenode的統(tǒng)一調(diào)度下進(jìn)行數(shù)據(jù)塊的創(chuàng)建、刪除和復(fù)制。

    下圖為HDFS系統(tǒng)架構(gòu)圖,主要有三個(gè)角色,Client、NameNode、DataNode。


    深圳塑膠模具廠,深圳市模具廠,深圳模具廠,深圳模具,深圳塑膠模具



    文件寫入時(shí):Client向NameNode發(fā)起文件寫入的請(qǐng)求。

    NameNode根據(jù)文件大小和文件塊配置情況,返回給Client它所管理部分DataNode的信息。

    Client將文件劃分為多個(gè)block塊,并根據(jù)DataNode的地址信息,按順序?qū)懭氲矫恳粋€(gè)DataNode塊中。


    當(dāng)文件讀取:Client向NameNode發(fā)起文件讀取的請(qǐng)求。

    NameNode返回文件存儲(chǔ)的block塊信息、及其block塊所在DataNode的信息。

    Client讀取文件信息。

    HDFS 數(shù)據(jù)備份HDFS被設(shè)計(jì)成一個(gè)可以在大集群中、跨機(jī)器、可靠的存儲(chǔ)海量數(shù)據(jù)的框架。

    它將所有文件存儲(chǔ)成block塊組成的序列,除了最后一個(gè)block塊,所有的block塊大小都是一樣的。

    文件的所有block塊都會(huì)因?yàn)槿蒎e(cuò)而被復(fù)制。

    每個(gè)文件的block塊大小和容錯(cuò)復(fù)制份數(shù)都是可配置的。

    容錯(cuò)復(fù)制份數(shù)可以在文件創(chuàng)建時(shí)配置,后期也可以修改。


    HDFS中的文件默認(rèn)規(guī)則是write one(一次寫、多次讀)的,并且嚴(yán)格要求在任何時(shí)候只有一個(gè)writer。NameNode負(fù)責(zé)管理block塊的復(fù)制,它周期性地接收集群中所有DataNode的心跳數(shù)據(jù)包和Blockreport。心跳包表示DataNode正常工作,Blockreport描述了該DataNode上所有的block組成的列表。

    --------------------- 

    作者:Resines 

    來(lái)源:CSDN 

    原文:https://blog.csdn.net/genglei1022/article/details/89646714 

    版權(quán)聲明:本文為博主原創(chuàng)文章,轉(zhuǎn)載請(qǐng)附上博文鏈接!


    MapReduce: 

    image.png



    YARN:


    image.png



    標(biāo)簽: 鴻蒙
    首頁(yè)
    產(chǎn)品
    新聞
    聯(lián)系
    国产精品美女久久久久AV爽,俺去俺来也在线WWW色官网,成年美女黄的视频网站,正在播放无套少妇出租屋 民县| 永寿县| 锡林郭勒盟| 大同市| 高阳县| 宁化县| 循化| 滁州市| 卓资县| 修水县| 康保县| 银川市| 西和县| 维西| 临夏县| 博湖县| 汝城县| 无极县| 永川市| 布尔津县| 同德县| 广南县| 吉安县| 监利县| 邮箱| 宁城县| 安康市| 乐业县| 南宫市| 平凉市| 鄄城县| 崇仁县| 云南省| 渝中区| 桐城市| 灵台县| 循化| 涟水县| 东兰县| 龙南县| 西安市|