提要：目前，國內(nèi)自主研發(fā)的文件系統(tǒng)可謂鳳毛麟角。淘寶在這一領(lǐng)域做了有效的探索和實(shí)踐，TaobaoFileSystem(TFS)作為淘寶內(nèi)部使用的分布式文件系統(tǒng)，針對海量小文件的隨機(jī)讀寫訪問性能做了特殊優(yōu)化，承載著淘寶主站所有圖片、商品描述等數(shù)據(jù)存儲。

　　文章首先概括了TFS的特點(diǎn)：

　　TFS是什么

　　TFS，TaobaoFileSystem，淘寶內(nèi)部使用的分布式文件系統(tǒng)，主要針對海量小文件的隨機(jī)讀寫訪問性能做了特殊優(yōu)化，承載著淘寶主站所有圖片、商品描述等數(shù)據(jù)的存儲。

　　TFS有什么特點(diǎn)

　　1.完全扁平化的數(shù)據(jù)組織結(jié)構(gòu)，拋棄了傳統(tǒng)文件系統(tǒng)的目錄結(jié)構(gòu)。

　　2.在塊設(shè)備基礎(chǔ)上建立自有的文件系統(tǒng)，減少EXT3等文件系統(tǒng)數(shù)據(jù)碎片帶來的性能損耗

　　3.單進(jìn)程管理單塊磁盤的方式，摒除RAID5機(jī)制

　　4.帶有HA機(jī)制的中央控制節(jié)點(diǎn)，在安全穩(wěn)定和性能復(fù)雜度之間取得平衡。

　　5.盡量縮減元數(shù)據(jù)大小，將元數(shù)據(jù)全部加載入內(nèi)存，提升訪問速度。

　　6.跨機(jī)架和IDC的負(fù)載均衡和冗余安全策略。

　　7.完全平滑擴(kuò)容

　　TFS在淘寶的應(yīng)用規(guī)模

　　1.數(shù)百臺PCServer

　　2.PB級數(shù)據(jù)量3.百億數(shù)據(jù)級別TFS的性能參數(shù)

　　TFS在淘寶的部署環(huán)境中前端有兩層緩沖，到達(dá)TFS系統(tǒng)的請求非常離散，所以TFS內(nèi)部是沒有任何數(shù)據(jù)的內(nèi)存緩沖的，包括傳統(tǒng)文件系統(tǒng)的內(nèi)存緩沖也不存在。我們主要的性能參數(shù)不是IO吞吐量，而是單臺PCServer提供隨機(jī)讀寫IOPS。由于大家硬件型號不同，當(dāng)然也是因?yàn)橐恍┘夹g(shù)保密的原因，我們很難給出一個(gè)參考值來說明性能。但基本上我們可以達(dá)到單塊磁盤隨機(jī)IOPS理論最大值的60%左右，整機(jī)的輸出隨盤數(shù)增加而線性增加。

　　TFS的邏輯架構(gòu)圖

　　以上是TFS的一個(gè)簡要的應(yīng)用情況和架構(gòu)介紹，后續(xù)將逐步豐富，歡迎大家拍磚。并再次做個(gè)廣告，TFS計(jì)劃在今年9月份建立開源社區(qū)，請大家支持。

　　文章發(fā)表以后，讀者反響熱烈，在評論中提出了各種問題與作者楚材進(jìn)行技術(shù)交流，由此可見國內(nèi)社區(qū)對自主研發(fā)文件系統(tǒng)的關(guān)注程度。(編輯：燕青)

來源： 億邦動(dòng)力