HDFS是一個(gè)主從結(jié)構(gòu)的體系，HDFS集群有一個(gè)NameNode和很多個(gè)DataNode組成。NameNode管理文件系統(tǒng)的元數(shù)據(jù)，DataNode存儲(chǔ)實(shí)際的數(shù)據(jù)。客戶(hù)端聯(lián)系NameNode以獲取文件的元數(shù)據(jù)，而真正的文件I/O操作是直接和DataNode進(jìn)行交互的。
NameNode就是主控制服務(wù)器，負(fù)責(zé)維護(hù)文件系統(tǒng)的命名空間（Namespace)并協(xié)調(diào)客戶(hù)端對(duì)文件的訪(fǎng)問(wèn)，記錄命名空間內(nèi)的任何改動(dòng)或命名空間本身的屬性改動(dòng)。DataNode負(fù)責(zé)它們所在的物理節(jié)點(diǎn)上的存儲(chǔ)管理，HDFS開(kāi)放文件系統(tǒng)的命名空間以便讓用戶(hù)以文 件的形式存儲(chǔ)數(shù)據(jù)。HDFS的數(shù)據(jù)都是“一次寫(xiě)入、多次讀取”，典型的塊大小是64MB, HDFS的文件通常是按照64MB被切分成不同的數(shù)據(jù)塊（Block),每個(gè)數(shù)據(jù)塊盡可能地分 散存儲(chǔ)于不同的DataNode中。NameNode執(zhí)行文件系統(tǒng)的命名空間操作，比如打開(kāi)、關(guān)閉、重命名文件或目錄，還決定數(shù)據(jù)塊到DataNode的映射。DataNode負(fù)責(zé)處理客戶(hù)的讀寫(xiě)請(qǐng)求，依照NameNode的命令，執(zhí)行數(shù)據(jù)塊的創(chuàng)建、復(fù)制、刪除等工作。圖6-1是HDFS的結(jié)構(gòu)示意圖。例如客戶(hù)端要訪(fǎng)問(wèn)一個(gè)文件，首先，客戶(hù)端從NameNode獲得組成文件的數(shù)據(jù)塊的位置列表，也就是知道數(shù)據(jù)塊被存儲(chǔ)在哪些DataNode上；然后客戶(hù)端直接從DataNode上讀取文件數(shù)據(jù)。NameNode不參與文件的傳輸。
HDFS典型的部署是在一個(gè)專(zhuān)門(mén)的機(jī)器上運(yùn)行NameNode，集群中的其他機(jī)器各運(yùn)行—個(gè)DataNode;也可以在運(yùn)行NameNode的機(jī)器上同時(shí)運(yùn)行DataNode,或者一臺(tái)機(jī)器上運(yùn)行多個(gè)DataNode。這種一個(gè)集群只有一個(gè)NameNode的設(shè)計(jì)大大簡(jiǎn)化了系統(tǒng)架構(gòu)。
NameNode使用事務(wù)日志（EditLog)記錄HDFS元數(shù)據(jù)的變化，使用映像文件 (Fslmage)存儲(chǔ)文件系統(tǒng)的命名空間，包含文件的映射、文件的屬性信息等。事務(wù)日志和映像文件都存儲(chǔ)在NameNode的本地文件系統(tǒng)。
NameNode啟動(dòng)時(shí)，從磁盤(pán)中讀取映像文件和事務(wù)日志，把事務(wù)日志的事務(wù)都應(yīng)用到內(nèi)存中的映像文件上，然后將新的元數(shù)據(jù)刷新到本地磁盤(pán)的新的映像文件中，這樣可以截去舊的事務(wù)日志，這個(gè)過(guò)程稱(chēng)為檢査點(diǎn)(Checkpoint)。HDFS還有Secondary NameNode節(jié)點(diǎn)，它輔助NameNode處理映像文件和事務(wù)日志。NameNode啟動(dòng)的時(shí)候合并映像文件和事務(wù)日志，而Secondary NameNode會(huì)有周期地從NameNode上復(fù)制映像文件和事務(wù)日志到臨時(shí)目錄，合并生成新的映像文件后再重新上傳到NameNode, NameNofe更新映像文件并清理事務(wù)日志，使得事務(wù)日志的大小始終控制在可配置的限度下。
