8/6/2019 TidyFS is a distributed file system for parallel computations - Whitepaper
1/14
Zkj{MW1 H Wkbplf hcj Wbhll Jkwzykivzfj Mklf W{wzfb
Jfcckw Mfzzfyl{Bkgyowomz Yfwfhygd, Wklkgoc ]hllf{
mfzzfyl{@bkgyowomz#gob
Bh{h DhykjhwhcBkgyowomz Yfwfhygd, Wklkgoc ]hllf{
bh{hd@bkgyowomz#gob
Bkgdhfl Kwhyj
Bkgyowomz Yfwfhygd, Wklkgoc ]hllf{
bkwhyj@bkgyowomz#gob
W~hbkchzdhc Wvcjhyhyhbhc
Vck}fywkz{ om ^kwgocwkc, Bhjkwoc
w~hbk@gw#~kwg#fjv
Hiwzyhgz
Zdkw phpfy jfwgykifw Zkj{MW, h wkbplf hcj wbhll jkw"
zykivzfj lf w{wzfb zdhz pyo}kjfw zdf hiwzyhgzkocw cfgfw"
why{ moy jhzh phyhllfl gobpvzhzkocw oc glvwzfyw# Kc yfgfcz{fhyw zdfyf dhw iffc hc ftplowkoc om kczfyfwz kc gobpvzkcn
vwkcn glvwzfyw om gobbojkz{, wdhyfj cozdkcn gobpvzfyw#
Myfxvfczl{ zdf pykbhy{ K/O ~oyelohj moy wvgd glvwzfyw
kw nfcfyhzfj i{ h jkwzykivzfj ftfgvzkoc fcnkcf wvgd hw
BhpYfjvgf, Dhjoop oy Jy{hj, hcj kw dknd"zdyovndpvz,
wfxvfczkhl, hcj yfhj"bowzl{# Ozdfy lhynf"wghlf jkwzykivzfj
lf w{wzfbw dh}f fbfynfj zo bffz zdfwf ~oyelohjw, co"
zhil{ zdf Noonlf Mklf W{wzfb $NMW+ hcj zdf Dhjoop Jkw"
zykivzfj Mklf W{wzfb $DJMW+# Zkj{MW jkmmfyw myob zdfwf
fhylkfy w{wzfbw bowzl{ i{ ifkcn wkbplfy# Zdf w{wzfb
h}okjw gobplft yfplkghzkoc pyozogolw hcj yfhj/~ykzf gojf
phzdw i{ ftplokzkcn pyopfyzkfw om zdf ~oyelohj wvgd hw zdf
hiwfcgf om gocgvyyfcz ~ykzfw zo h lf i{ bvlzkplf glkfczw,hcj zdf ftkwzfcgf om fcj"zo"fcj mhvlz zolfyhcgf kc zdf ft"
fgvzkoc fcnkcf# f jfwgykif zdf jfwknc om Zkj{MW hcj
yfpoyz wobf om ovy ftpfykfcgfw opfyhzkcn zdf w{wzfb o}fy
zdf phwz {fhy moy h gobbvckz{ om h mf~ joqfc vwfyw# ^f
cozf wobf hj}hczhnfw zdhz wzfb myob zdf w{wzfbw wkbplkg"
kz{ hcj hlwo fcvbfyhzf lfwwocw lfhycfj myob ovy jfwknc
gdokgfw zdhz pokcz ovz hyfhw moy mvzvyf jf}flopbfcz#
8 Kczyojvgzkoc
Wdhyfj"cozdkcn gobpvzf glvwzfyw hyf h popvlhy plhzmoyb
moy wghlhilf jhzh"kczfcwk}f gobpvzkcn# Kz kw powwkilf zohgdkf}f }fy{ dknd hnnyfnhzf K/O zdyovndpvz hcj zozhl jhzh
wzoyhnf }olvbf hz bojfyhzf gowz oc wvgd h glvwzfy i{
hzzhgdkcn gobbojkz{ jkwe jyk}fw zo fhgd glvwzfy gobpvzfy#
Kc yfgfcz {fhyw jhzh"kczfcwk}f pyonyhbw moy wdhyfj"
cozdkcn glvwzfyw dh}f z{pkghll{ vwfj h jhzh"phyhllfl myhbf"
~oye wvgd hw BhpYfjvgf U;R, Dhjoop U87R, Jy{hj U8=R,
oy ocf om zdf dkndfy lf}fl hiwzyhgzkocw lh{fyfj oc zop om
zdfb wvgd hw PKN U99R, DK]F U8:R, oy Jy{hjLKCX U94R#
Kc oyjfy zo hgdkf}f wghlhiklkz{ hcj mhvlz"zolfyhcgf ~dklf
yfbhkckcn yflhzk}fl{ wkbplf, zdfwf gobpvzkcn myhbf~oyew
hjopz wkbklhy wzyhzfnkfw moy K/O ~oyelohjw, kcglvjkcn zdf
mollo~kcn pyopfyzkfw#
Jhzh hyf wzoyfj kc wzyfhbw ~dkgd hyf wzykpfj hgyowwzdf glvwzfy gobpvzfyw, wo zdhz h wkcnlf wzyfhb kw zdf
lonkghl gocghzfchzkoc om phyzw wzoyfj oc zdf loghl
lf"w{wzfbw om zdf gobpvzf bhgdkcfw#
Gobpvzhzkocw hyf z{pkghll{ phyhllflkqfj wo zdhz fhgd
phyz om h jkwzykivzfj wzyfhb kw wzyfhbfj hw wfxvfczkhl
yfhjw i{ h wkcnlf pyogfww, hcj ~dfyf powwkilf zdhz
pyogfww kw ftfgvzfj oc h gobpvzfy zdhz wzoyfw zdhz
phyz#
Kc oyjfy zo nfz dknd ~ykzf ihcj~kjzd oc gobbojkz{
dhyj jyk}fw K/O kw bhjf wfxvfczkhl hw mhy hw powwk"
ilf# Kc oyjfy zo wkbplkm{ mhvlz"zolfyhcgf hcj yfjvgf
gobbvckghzkoc zdf gobpvzkcn myhbf~oyew jo coz
kbplfbfcz cf"nyhkc zyhcwhgzkocw hgyoww pyogfwwfw#
Gocwfxvfczl{, bojkghzkocw zo jhzhwfzw hyf bhjf i{
yfplhgkcn hc fczkyf jhzhwfz ~kzd h cf~ gop{ yhzdfy
zdhc bhekcn kc"plhgf vpjhzfw zo hc ftkwzkcn wzoyfj
gop{#
Kc oyjfy zo hgdkf}f dknd ~ykzf ihcj~kjzd zdf wzyfhbw
hyf ~ykzzfc kc phyhllfl i{ bhc{ pyogfwwfw hz ocgf# Kc
oyjfy zo yfjvgf gobbvckghzkoc hcj wkbplkm{ loge
bhchnfbfcz do~f}fy, fhgd phyz kw z{pkghll{ ~ykzzfc
wfxvfczkhll{ i{ h wkcnlf ~ykzfy# Hmzfy hll zdf phyzw
dh}f iffc ovzpvz kc zdfky fczkyfz{ zdf{ hyf hwwfbilfj
zo moyb h wzyfhb#
Kc oyjfy zo pyo}kjf mhvlz"zolfyhcgf ~dfc gobpvzfyw
oy jkwew ifgobf vch}hklhilf, zdf myhbf~oyew hvzo"
bhzkghll{ yf"ftfgvzf wvi"gobpvzhzkocw zo yfnfcfyhzf
bkwwkcn wviwfzw om ovzpvz jhzhwfzw#
Jkwzykivzfj lf w{wzfbw dh}f iffc jf}flopfj zo wvp"
poyz zdkw wz{lf om ~ykzf"ocgf, dknd"zdyovndpvz, phyhllfl
wzyfhbkcn jhzh hggfww# Zdfwf kcglvjf zdf K/O wviw{wzfb
8/6/2019 TidyFS is a distributed file system for parallel computations - Whitepaper
2/14
kc Yk}fy U:R, zdf Noonlf Mklf W{wzfb $NMW+ U88R, hcj zdf
Dhjoop Jkwzykivzfj Mklf W{wzfb $DJMW+ U=, 9:R# Vcwvy"
pykwkcnl{ zdfyf hyf wkbklhykzkfw kc zdf jfwkncw om zdfwf w{w"
zfbw1 bfzhjhzh moy zdf fczkyf lf w{wzfb kw gfczyhlkqfj hcj
wzoyfj wfphyhzfl{ myob wzyfhb jhzh, ~dkgd kw wzykpfj hgyoww
zdf yfnvlhy gobpvzf cojfw# Zdf{ jkmmfy kc zdfky lf}fl om
gobplftkz{ hcj zdfky wvppoyz moy nfcfyhl lfw{wzfb op"fyhzkocw1 moy fthbplf NMW hllo~w vpjhzfw kc zdf bkjjlf
om ftkwzkcn wzyfhbw, hcj gocgvyyfcz hppfcjw i{ bvlzkplf
~ykzfyw, ~dklf zdf DJMW gobbvckz{ dhw wzyvnnlfj ~kzd
zdf zyhjfomm ifz~ffc zdf vzklkz{ hcj gobplftkz{ om f}fc
wkcnlf"~ykzfy hppfcj opfyhzkocw U80R zo h wzyfhb zdhz ghc
if gocgvyyfczl{ yfhj# Kc oyjfy zo pyo}kjf mhvlz"zolfyhcgf
hll zdf w{wzfbw yfplkghzf phyzw om h jkwzykivzfj wzyfhb, hcj
pyo}kjf yflkhilf ~ykzf wfbhczkgw wo zdhz h wzyfhb hppfcj kw
yfplkghzfj ifmoyf zdf ~ykzf kw hgeco~lfjnfj zo zdf glkfcz#
Zdkw phpfy pyfwfczw Zkj{MW, h jkwzykivzfj lf w{wzfb
~dkgd kw wpfgkghll{ zhynfzfj ocl{ zo ~oyelohjw zdhz whz"
kwm{ zdf pyopfyzkfw kzfbkqfj hio}f# Zdf nohl kw zo wkb"
plkm{ zdf w{wzfb hw mhy hw powwkilf i{ ftplokzkcn zdkw yf"wzykgzfj ~oyelohj# Phyzw om h jkwzykivzfj wzyfhb hyf kc"
}kwkilf zo yfhjfyw vczkl mvll{ ~ykzzfc hcj gobbkzfj, hcj
wviwfxvfczl{ kbbvzhilf, ~dkgd flkbkchzfw wviwzhczkhl wf"
bhczkg hcj kbplfbfczhzkoc gobplftkz{ om NMW hcj DJMW
~kzd hppfcjw# Yfplkghzkoc kw lhq{, yfl{kcn oc zdf fcj"zo"
fcj mhvlz zolfyhcgf om zdf gobpvzkcn plhzmoyb zo yfgo}fy
myob jhzh lowz ifmoyf yfplkghzkoc kw gobplfzf, ~dkgd hl"
lo~w vw zo flkbkchzf gvwzob K/O HPKw wo phyzw hyf yfhj
hcj ~ykzzfc jkyfgzl{ vwkcn zdf vcjfyl{kcn gobpvzf cojf
lf w{wzfb kczfymhgf#
Wfgzkocw 9 hcj 7 ovzlkcf zdf jhzh bojfl hcj hygdkzfgzvyf
om Zkj{MW kc boyf jfzhkl# Wfgzkoc : jfwgykifw wobf om
ovy ftpfykfcgfw opfyhzkcn Zkj{MW moy o}fy h {fhy# fjfwgykif yflhzfj ~oye kc Wfgzkoc 6 hcj zdfc gocglvjf
~kzd h jkwgvwwkoc om wobf om zdf zyhjfommw om ovy jfwknc
gdokgfw#
9 Zkj{MW vwhnf
Zdkw wfgzkoc jfwgykifw zdf Zkj{MW jhzh bojfl hcj zdf
z{pkghl vwhnf phzzfycw hjopzfj i{ glkfczw# Hw cozfj kc zdf
kczyojvgzkoc, zdf jfwknc hkbw zo bhef Zkj{MW hw wkbplf
hw powwkilf i{ ftplokzkcn pyopfyzkfw om kzw zhynfz ~oyelohj#
^dfyf}fy mfhzvyfw hyf kczyojvgfj kc zdf mollo~kcn jkwgvw"
wkoc zdhz bkndz wffb zo no if{ocj zdf wkbplfwz cfgfwwhy{mvcgzkochlkz{, ~f hzzfbpz zo avwzkm{ zdfb ~kzd fthbplfw
om zdfky vwf#
9#8 Jhzh Bojfl
Zkj{MW bhefw h dhyj jkwzkcgzkoc ifz~ffc jhzh hcj bfzh"
jhzh# Jhzh hyf wzoyfj hw iloiw oc zdf gobpvzf cojfw
om zdf glvwzfy hcj zdfwf iloiw hyf kbbvzhilf ocgf ~ykz"
zfc# Bfzhjhzh jfwgykif do~ jhzh iloiw hyf gobikcfj zo
moyb lhynfy jhzhwfzw, hcj bh{ hlwo goczhkc wfbhczkg kc"
moybhzkoc hiovz zdf jhzh ifkcn wzoyfj, wvgd hw zdfky z{pf#
Bfzhjhzh hyf wzoyfj kc h gfczyhlkqfj yflkhilf gobpocfcz,
hcj hyf kc nfcfyhl bvzhilf#
Zkj{MW ftpowfw jhzh zo glkfczw vwkcn h wzyfhb hiwzyhg"
zkoc# H wzyfhb kw h wfxvfcgf om phyzw, hcj h phyz kw zdf
hzobkg vckz om jhzh vcjfywzooj i{ zdf w{wzfb# Fhgd phyzkw kc nfcfyhl yfplkghzfj oc bvlzkplf glvwzfy gobpvzfyw zo
pyo}kjf mhvlz"zolfyhcgf# H phyz bh{ if h wkcnlf lf hg"
gfwwfj vwkcn h zyhjkzkochl lf w{wzfb kczfymhgf oy kz bh{
if h gollfgzkoc om lfw ~kzd h boyf gobplft z{pfmoy
fthbplf, Zkj{MW wvppoyzw WXL jhzhihwf phyzw ~dkgd hyf
phkyw om lfw goyyfwpocjkcn zo h jhzhihwf hcj kzw lon# Zdf
opfyhzkocw yfxvkyfj i{ Zkj{MW hyf gobboc hgyoww bvlzk"
plf chzk}f lf w{wzfbw hcj jhzhihwfw wo zdkw jfwknc kw coz
lkbkzfj zo ^kcjo~w"ihwfj w{wzfbw#
Zdf wfxvfcgf om phyzw kc h wzyfhb ghc if bojkfj,
hcj phyzw ghc if yfbo}fj myob oy hjjfj zo h wzyfhb5
zdfwf opfyhzkocw hllo~ zdf kcgyfbfczhl gocwzyvgzkoc om
wzyfhbw wvgd hw locn"lk}fj lon lfw# H phyz ghc if hbfbify om bvlzkplf wzyfhbw, ~dkgd hllo~w zdf gyfhzkoc
om h wchpwdoz oy glocf om h phyzkgvlhy wzyfhb, oy h wviwfz
om h wzyfhbw phyzw# Glkfczw ghc ftplkgkzl{ jkwgo}fy zdf
cvbify, wkqfw hcj loghzkocw om zdf phyzw kc h wzyfhb, hcj
vwf zdkw kcmoybhzkoc moy fthbplf zo opzkbkqf plhgfbfcz
om gobpvzhzkocw glowf zo zdfky kcpvz jhzh#
Fhgd wzyfhb kw fcjo~fj ~kzd h $powwkil{ kcckzf+ lfhwf#
Lfhwfw ghc if ftzfcjfj kcjfckzfl{, do~f}fy, km h lfhwf
ftpkyfw zdf goyyfwpocjkcn wzyfhb kw jflfzfj# Z{pkghll{ h
glkfcz ~kll bhkczhkc h wdoyz lfhwf oc ovzpvz wzyfhbw vczkl
zdf{ hyf gobplfzfl{ ~ykzzfc wo zdhz phyzkhl ovzpvzw hyf
nhyihnf"gollfgzfj kc zdf ghwf om glkfcz mhklvyf# ^dfc h
wzyfhb kw jflfzfj hc{ phyzw zdhz kz goczhkcfj ~dkgd hyf
coz goczhkcfj kc hc{ ozdfy wzyfhb hyf hlwo wgdfjvlfj moy
jflfzkoc#
Fhgd phyz hcj wzyfhb kw jfgoyhzfj ~kzd h wfz om bfzh"
jhzh yfpyfwfczfj hw h ef{"}hlvf wzoyf# Bfzhjhzh kcglvjf
moy fthbplf zdf lfcnzd hcj cnfypykcz om h phyz, hcj zdf
chbf, zozhl lfcnzd hcj cnfypykcz om h wzyfhb# Yhikc c"
nfypykczw U>R hyf vwfj wo zdhz zdf wzyfhb cnfypykcz ghc if
gobpvzfj vwkcn zdf phyz cnfypykczw hcj lfcnzdw ~kzdovz
cffjkcn zo gocwvlz zdf hgzvhl jhzh# Hpplkghzkocw bh{ hlwo
wzoyf hyikzyhy{ chbfj iloiw kc zdf bfzhjhzh, hcj zdfwf hyf
vwfj moy fthbplf zo jfwgykif zdf gobpyfwwkoc oy phyzkzkoc"
kcn wgdfbf vwfj ~dfc nfcfyhzkcn h wzyfhb, oy zdf z{pfwom yfgoyjw goczhkcfj kc zdf wzyfhb#
9#9 Glkfcz hggfww phzzfycw
H glkfcz bh{ yfhj jhzh goczhkcfj kc h Zkj{MW wzyfhb i{
mfzgdkcn zdf wfxvfcgf om phyz kjw zdhz gobpykwf zdf wzyfhb,
hcj zdfc yfxvfwzkcn h phzd zo jkyfgzl{ hggfww zdf jhzh hw"
wogkhzfj ~kzd h phyzkgvlhy phyz kj# Zdkw phzd jfwgykifw h
yfhj"ocl{ lf oy lfw kc zdf loghl lf w{wzfb om h glvw"
8/6/2019 TidyFS is a distributed file system for parallel computations - Whitepaper
3/14
zfy gobpvzfy, hcj chzk}f kczfymhgfw $f#n#, CZMW oy WXL
Wfy}fy+ hyf vwfj zo opfc hcj yfhj zdf lf# Kc zdf ghwf
om h yfbozf lf, h GKMW phzd kw yfzvycfj i{ zdf bfzhjhzh
wfy}fy# Zdf bfzhjhzh wfy}fy vwfw kzw eco~lfjnf om zdf
glvwzfy cfz~oye zopolon{ zo pyo}kjf zdf phzd om zdf phyz
yfplkgh zdhz kw glowfwz zo zdf yfxvfwzkcn pyogfww# Zdf bfzh"
jhzh wfy}fy pykoykzkqfw loghl yfplkghw, zdfc yfplkghw wzoyfjoc h gobpvzfy ~kzdkc zdf whbf yhge, hcj chll{ yfplkghw
wzoyfj oc h gobpvzfy kc hcozdfy yhge#
Zo ~ykzf jhzh, h glkfcz ywz jfgkjfw ~dkgd wzyfhb zdf
jhzh ~kll if goczhkcfj kc, gyfhzkcn h cf~ fbpz{ wzyfhb km
cfgfwwhy{# Zdf glkfcz zdfc hwew Zkj{MW zo pyf"hlloghzf
h wfz om phyz kjw hwwogkhzfj ~kzd zdhz wzyfhb# ^dfc h
glkfcz pyogfww ~kwdfw zo ~ykzf jhzh, kz wflfgzw ocf om zdfwf
pyf"hlloghzfj phyz kjw hcj hwew Zkj{MW moy h ~ykzf phzd
moy zdhz phyz# Z{pkghll{ zdf ~ykzf phzd kw loghzfj oc zdf
gobpvzfy zdhz zdf glkfcz pyogfww kw yvcckcn oc, hwwvbkcn
zdhz gobpvzfy dhw wphgf h}hklhilf# Zdf glkfcz zdfc vwfw
chzk}f kczfymhgfw zo ~ykzf jhzh zo zdhz phzd# ^dfc kz dhw
ckwdfj ~ykzkcn zdf glkfcz glowfw zdf lf hcj hjjw zdf cf~phyz zo zdf wzyfhb, wvppl{kcn kzw wkqf hcj cnfypykcz# Hz
zdkw pokcz zdf jhzh kc zdkw phyz kw }kwkilf zo ozdfy glkfczw,
hcj kbbvzhilf# Km h wzyfhb kw jflfzfj, moy fthbplf jvf zo
lfhwf ftpkyhzkoc, kzw pyf"hlloghzfj phyz kjw hyf yfzkyfj hcj
~kll coz if hlloghzfj zo wviwfxvfcz ~ykzfyw#
Opzkochll{ zdf glkfcz bh{ yfxvfwz bvlzkplf ~ykzf phzdw
hcj ~ykzf zdf jhzh oc bvlzkplf gobpvzfyw wo zdhz zdf phyz
kw fhnfyl{ yfplkghzfj ifmoyf ifkcn gobbkzzfj, ozdfy~kwf
zdf w{wzfb kw yfwpocwkilf moy yfplkghzkcn kz lhqkl{# Zdf
i{zf"oykfczfj kczfymhgf om zdf Zkj{MW glkfcz lkiyhy{, ~dkgd
kw vwfj moy jhzh kcnyfww hcj fnyfww, pyo}kjfw zdf opzkoc
moy fhgd ~ykzf zo if wkbvlzhcfovwl{ ~ykzzfc zo bvlzkplf
yfplkghw#
Zdf jfgkwkoc zo hllo~ glkfczw zo yfhj hcj ~ykzf jhzh vw"
kcn chzk}f kczfymhgfw kw h bhaoy jkmmfyfcgf ifz~ffc Zkj{MW
hcj w{wzfbw wvgd hw NMW hcj DJMW# Chzk}f jhzh hggfww
dhw wf}fyhl hj}hczhnfw1
Kz hllo~w hpplkghzkocw zo pfymoyb K/O vwkcn ~dhzf}fy
hggfww phzzfycw hcj gobpyfwwkoc wgdfbfw hyf bowz
wvkzhilf, f#n#, wfxvfczkhl oy yhcjob yfhjw om h hz
lf, oy jhzhihwf xvfykfw oc h WXL jhzhihwf phyz#
Kz wkbplkfw lfnhg{ hpplkghzkocw zdhz ifcfz myob
opfyhzkcn oc lfw kc h zyhjkzkochl lf w{wzfb#
Kz h}okjw hc ftzyh lh{fy om kcjkyfgzkoc zdyovnd Zkj{MW
kczfymhgfw, nvhyhczffkcn zdhz glkfczw ghc hgdkf}f zdf
bhtkbvb h}hklhilf K/O pfymoybhcgf om zdf chzk}f
w{wzfb#
Kz hllo~w Zkj{MW zo ftplokz chzk}f hggfww"goczyol
bfgdhckwbw i{ wkbpl{ wfzzkcn zdf hppyopykhzf HGLw
oc phyzw, wkcgf glkfcz pyogfwwfw opfyhzf oc ifdhlm om
hvzdfczkghzfj vwfyw#
Kz nk}fw glkfczw pyfgkwf goczyol o}fy zdf wkqf hcj
goczfczw om h phyz wo glkfczw ghc, moy fthbplf,
~ykzf wzyfhbw ~kzd hyikzyhy{ phyzkzkockcn wgdfbfw#
Pyf"phyzkzkockcn om wzyfhbw ghc lfhj zo wviwzhczkhl
fmgkfcgkfw kc wviwfxvfcz gobpvzhzkocw wvgd hw
jhzhihwf Aokcw zdhz gobikcf z~o wzyfhbw phyzkzkocfj
vwkcn zdf whbf ef{#Zdf bhaoy jkwhj}hczhnf ~ovlj hppfhy zo if h loww om
goczyol oc zdf phyz om zdf lf w{wzfb jfwkncfy o}fy do~
h glkfcz bh{ hggfww zdf jhzh, do~f}fy ovy ftpfykfcgf kw
zdhz zdkw, ~dklf zfyykm{kcn zo bhc{ lf w{wzfb jfwkncfyw,
kw coz kc pyhgzkgf h wviwzhczkhl kwwvf moy zdf ~oyelohjw zdhz
~f zhynfz# Zdf bhaoy wkbplkghzkoc zdhz ~f ftplokz kw zdhz
jhzh hyf kbbvzhilf ocgf ~ykzzfc hcj kc}kwkilf zo yfhjfyw
vczkl gobbkzzfj# Zdf lf w{wzfb zdfyfmoyf jofw coz cffj
zo bfjkhzf ifz~ffc gocgvyyfcz ~ykzfyw oy oyjfy yfhj/~ykzf
gockgzw# Zdf jfzfgzkoc om goyyvpzkoc kw hlwo wkbplkfj if"
ghvwf jhzh cnfypykczw hyf wzoyfj i{ Zkj{MW# H bhlkgkovw
glkfcz kw vchilf zo jo boyf zdhc gobbkz goyyvpzfj jhzh,
oy $hggfww"goczyolw pfybkzzkcn+ jflfzf oy goyyvpz ftkwzkcn
jhzh# Kc iozd zdfwf ghwfw zdf goyyvpzkoc ~kll if jkwgo}fyfj
f}fczvhll{ ~dfc zdf cnfypykcz bkwbhzgd kw jfzfgzfj hcj
zdf jhzh ~kll if yfgo}fyfj myob hcozdfy yfplkgh oy jkw"
ghyjfj km co nooj yfplkghw hyf h}hklhilf# Zdkw kw co ~oywf
zdhc hc{ ozdfy lf w{wzfb1 km h glkfcz dhw ~ykzf hggfww zo
h lf kz ghc if ftpfgzfj zo if hilf zo jfwzyo{ zdf jhzh kc
zdhz lf#
W{wzfbw wvgd hw DJMW hcj NMW pfymoyb fhnfy yfplk"
ghzkoc kc zdfky glkfcz lkiyhykfw# Hlzdovnd zdf Zkj{MW glkfcz
lkiyhy{ pyo}kjfw opzkochl fhnfy yfplkghzkoc moy jhzh kcnyfww,
Zkj{MW nhkcw wkbplkgkz{ hcj pfymoybhcgf kc zdf gobboc
ghwf i{ bhekcn lhq{ yfplkghzkoc zdf jfmhvlz# Zdf pozfczkhlloww om jhzh myob lhq{ yfplkghzkoc kw avwzkhilf ifghvwf
om zdf vcjfyl{kcn mhvlz zolfyhcgf om zdf glkfcz gobpvzh"
zkochl bojfl1 h mhklvyf om lhq{ yfplkghzkoc ghc if zyfhzfj
avwz lkef h mhklvyf om zdf gobpvzhzkoc zdhz pyojvgfj zdf
oyknkchl phyz, hcj yf"yvc hggoyjkcnl{# Zdkw kw f}fc zyvf moy
~oyelohjw wvgd hw lon pyogfwwkcn, ~dkgd hyf omzfc kbplf"
bfczfj hw h ihzgd pyogfww ~kzd zdf kcpvz ifkcn wzhnfj if"
moyf lohjkcn kczo h jkwzykivzfj lf w{wzfb# ^f iflkf}f zdkw
yflkhcgf oc fcj"zo"fcj mhvlz zolfyhcgf kw h ifzzfy gdokgf
zdhc kbplfbfczkcn mhvlz zolfyhcgf hz bvlzkplf lh{fyw hw
locn hw mhklvyfw hyf vcgobboc1 ~f opzkbkqf zdf gobboc
ghwf hcj kc ftgdhcnf yfxvkyf boyf ~oye kc fyyoy ghwfw#
H jyh~ihge zo nk}kcn glkfczw goczyol o}fy phyz wkqfw kwzdhz wobf bh{ fcj vp bvgd lhynfy zdhc ozdfyw, ~dkgd ghc
gobplkghzf yfplkghzkoc hcj yfihlhcgkcn hlnoykzdbw# Iozd
NMW hcj DJMW zy{ zo wplkz wzyfhbw kczo phyzw om bojfyhzf
wkqfw, f#n#, hyovcj 800BI{zfw# Kc pykcgkplf h w{wzfb
zdhz goczyolw phyz iovcjhykfw govlj wplkz oy bfynf phyzw zo
kbpyo}f fmgkfcg{, hcj zdkw kw coz wvppoyzfj i{ Zkj{MW
wkcgf fhgd phyz kw ophxvf zo zdf w{wzfb# Kc ovy ftpfykfcgf,
do~f}fy, wvgd yfihlhcgkcn jfgkwkocw hyf ifwz bhjf ~kzd
wfbhczkg eco~lfjnf om zdf goczfczw om zdf wzyfhb, hcj
8/6/2019 TidyFS is a distributed file system for parallel computations - Whitepaper
4/14
~f ghc $hcj jo+ ~ykzf pyonyhbw vwkcn ovy jkwzykivzfj
gobpvzhzkochl kcmyhwzyvgzvyf zo jfmyhnbfcz wzyfhbw ~kzd
bhc{ wbhll phyzw hw cfgfwwhy{#
Zdf iknnfwz pozfczkhl ifcfz, nk}fc ovy gvyyfcz ~oye"
lohjw, zdhz ~f ghc wff myob kczfypowkcn Zkj{MW kczfy"
mhgfw moy K/O ~ovlj gobf kmhll jkwe hggfwwfw oc zdf gob"
pvzf cojfw ~fyf bfjkhzfj i{ Zkj{MW# Zdkw ~ovlj po"zfczkhll{ hllo~ ifzzfy pfymoybhcgf vwkcn lohj wgdfjvlkcn,
hcj ~ovlj wkbplkm{ zdf hlloghzkoc om jkwe"wphgf xvozhw zo
pyf}fcz glkfczw myob jfc{kcn wfy}kgf zo ozdfy glvwzfy vwfyw
i{ ~ykzkcn hyikzyhy{ wkqfj lfw# ^f jkwgvww wobf pyow hcj
gocw om zdkw jkyfgzkoc kc zdf chl wfgzkoc#
Om govywf, zdf bhaoy zyhjfomm ~f bhef myob zdf wkb"
plkgkz{ om Zkj{MW kw h lhge om nfcfyhlkz{# Glkfczw om NMW
vwf bvlzk"~ykzfy hppfcjw hcj ozdfy mfhzvyfw bkwwkcn kc
Zkj{MW zo kbplfbfcz wfy}kgfw zdhz ~ovlj if }fy{ kcfm"
gkfcz oc ovy w{wzfb# Hnhkc, ~f hjjyfww zdkw zyhjfomm kc
zdf Jkwgvwwkoc#
9#7 WXL jhzhihwf phyzw
Hw bfczkocfj kc wfgzkoc 9#8, ~f dh}f kbplfbfczfj wvp"
poyz moy z~o z{pfw om Zkj{MW phyzw1 CZMW lfw hcj
WXL jhzhihwfw# Kc zdf ghwf om WXL phyzw, fhgd phyz kw
h Bkgyowomz WXL wfy}fy jhzhihwf, gocwkwzkcn om iozd zdf
jhzhihwf lf hcj zdf jhzhihwf lon lf# Zdf Zkj{MW bfzh"
jhzh wfy}fy wzoyfw zdf z{pf om fhgd phyz, hcj zdkw kcmoybh"
zkoc kw vwfj i{ zdf cojf wfy}kgf wo zdhz kz ~kll yfplkghzf
iozd lfw hwwogkhzfj ~kzd zdf phyz# Zdf DhjoopJI f}hlvh"
zkoc U8R wdo~w zdhz moy wobf jhzh"~hyfdovwf hpplkghzkocw
kz kw powwkilf zo hgdkf}f wviwzhczkhl pfymoybhcgf nhkcw
i{ wzoykcn yfgoyjw kc h jhzhihwf yhzdfy zdhc yfl{kcn oc
hz lfw# f iflkf}f zdhz zdf fhwf om wvppoyzkcn WXLphyzw kc Zkj{MW, gobphyfj ~kzd zdf hjjkzkochl bfgdh"
ckwbw yfxvkyfj zo yfzyoz DhjoopJIw wzoyhnf zo DJMW,
pyo}kjfw wvppoyz moy ovy jfwknc gdokgf zo hjopz chzk}f
kczfymhgfw moy yfhjkcn hcj ~ykzkcn phyzw# Hw h iocvw ~f
hgdkf}f hvzobhzkg yfplkghzkoc om yfhj"ocl{ jhzhihwf phyzw#
Zdfyf yfbhkcw zdf pyoilfb om zhynfzkcn zdfwf phyzkzkocfj
jhzhihwfw myob glkfcz gojf, do~f}fy, Jy{hjLKCX U94R
ghc lf}fyhnf #CFZw LKCX"zo"WXL pyo}kjfy zo opfyhzf
kc h d{iykj bojf wdkppkcn gobpvzhzkoc zo zdf jhzhihwf
~dfyf powwkilf, hw jfwgykifj kc zdf yfmfyfcgfj phpfy#
7 W{wzfb hygdkzfgzvyf
Zdf Zkj{MW wzoyhnf w{wzfb kw gobpowfj om zdyff gobpo"
cfczw1 h bfzhjhzh wfy}fy5 h cojf wfy}kgf zdhz pfymoybw
dovwfeffpkcn zhwew yvcckcn oc fhgd glvwzfy gobpvzfy zdhz
wzoyfw jhzh5 hcj zdf Zkj{MW Ftployfy, h nyhpdkghl vwfy
kczfymhgf ~dkgd hllo~w vwfyw zo }kf~ zdf wzhzf om zdf w{w"
zfb# Zdf gvyyfcz kbplfbfczhzkoc om zdf bfzhjhzh wfy}fy
kw ;,>00 lkcfw om G%% gojf, zdf glkfcz lkiyhy{ kw 6,000 lkcfw
om bktfj G' hcj G%% gojf, zdf cojf wfy}kgf kw ;:4 lkcfw
om G' gojf, hcj zdf Zkj{MW Ftployfy kw 8,400 lkcfw om
G'# Mknvyf 8 pyfwfczw h jkhnyhb om zdf w{wzfb hygdkzfg"
zvyf, hlocn ~kzd h whbplf glvwzfy gocnvyhzkoc hcj wzyfhb#
Glvwzfy gobpvzfyw zdhz hyf vwfj moy Zkj{MW wzoyhnf hyf
yfmfyyfj zo kc zdf mollo~kcn zftz hw wzoyhnf gobpvzfyw#
7#8 Bfzhjhzh wfy}fy
Zdf bfzhjhzh wfy}fy kw zdf bowz gobplft gobpocfcz kc
zdf w{wzfb hcj kw yfwpocwkilf moy wzoykcn zdf bhppkcn
om wzyfhb chbfw zo wfxvfcgfw om phyzw, zdf pfy"wzyfhb
yfplkghzkoc mhgzoy, zdf loghzkoc om fhgd phyz yfplkgh, hcj
zdf wzhzf om fhgd wzoyhnf gobpvzfy kc zdf w{wzfb, hbocn
ozdfy kcmoybhzkoc# Jvf zo kzw gfczyhl yolf, zdf yflkhiklkz{
om zdf o}fyhll w{wzfb kw glowfl{ govplfj zo zdf yflkhiklkz{
om zdf bfzhjhzh wfy}fy# Hw h yfwvlz, ~f kbplfbfczfj zdf
bfzhjhzh wfy}fy hw h yfplkghzfj gobpocfcz# ^f lf}fyhnf
zdf Hvzopkloz Yfplkghzfj Wzhzf Lkiyhy{ U86R zo yfplkghzf
zdf bfzhjhzh hcj opfyhzkocw oc zdhz bfzhjhzh vwkcn zdf
Phtow U84R hlnoykzdb# Mollo~kcn zdf jfwknc om w{wzfbw
wvgd hw NMW, zdfyf kw co ftplkgkz jkyfgzoy{ zyff bhkczhkcfj
hw phyz om zdf lf w{wzfb# Zdf chbfw om zdf wzyfhbw kc
zdf w{wzfb, ~dkgd hyf VYKw, gyfhzf hc kbplkfj jkyfgzoy{
zyff ihwfj oc zdf hygw kc zdfky phzdw# ^dfc h wzyfhb kw
gyfhzfj kc zdf w{wzfb, hc{ bkwwkcn jkyfgzoy{ fczykfw hyf
kbplkgkzl{ gyfhzfj# Ocgf zdf lhwz wzyfhb kc h jkyfgzoy{
kw yfbo}fj, zdhz jkyfgzoy{ kw hvzobhzkghll{ yfbo}fj# Km
zdf phyfcz jkyfgzoy{ om zdhz jkyfgzoy{ kw co~ fbpz{, kz
kw hlwo yfbo}fj, hcj zdf pyogfww goczkcvfw yfgvywk}fl{
vp zdf jkyfgzoy{ dkfyhygd{ vczkl h coc"fbpz{ jkyfgzoy{ kw
fcgovczfyfj#
Zdf bfzhjhzh wfy}fy zyhgew zdf wzhzf om hll om zdf wzoyhnfgobpvzfyw gvyyfczl{ kc zdf w{wzfb# Moy fhgd gobpvzfy
zdf wfy}fy bhkczhkcw zdf gobpvzfyw wzhzf, zdf hbovcz om
myff wzoyhnf wphgf h}hklhilf oc zdhz gobpvzfy, zdf lkwz om
phyzw wzoyfj oc zdhz gobpvzfy, hcj zdf lkwz om phyzw pfcj"
kcn yfplkghzkoc zo zdhz gobpvzfy# Fhgd gobpvzfy ghc if
kc ocf om movy wzhzfw1 Yfhj^ykzf, zdf gobboc wzhzf,
YfhjOcl{, Jkwzyfww, oy Vch}hklhilf# ^dfc h
gobpvzfy zyhcwkzkocw ifz~ffc zdfwf wzhzfw, hgzkoc kw zhefc
oc fkzdfy zdf lkwz om pfcjkcn yfplkghw, zdf lkwz om phyzw
wzoyfj oc zdhz gobpvzfy, oy iozd# Km h gobpvzfy zyhc"
wkzkocw myob Yfhj^ykzf zo YfhjOcl{, kzw pfcjkcn
yfplkghw hyf yfhwwkncfj zo ozdfy gobpvzfyw zdhz hyf kc
zdf Yfhj^ykzf wzhzf# Km h gobpvzfy zyhcwkzkocw zo zdfJkwzyfww wzhzf, zdfc hll phyzw, kcglvjkcn hc{ ~dkgd hyf
pfcjkcn, hyf yfhwwkncfj zo ozdfy gobpvzfyw zdhz hyf kc zdf
Yfhj^ykzf wzhzf# Zdf Vch}hklhilf wzhzf kw wkbklhy
zo zdf Jkwzyfww wzhzf, do~f}fy kc zdf Jkwzyfww wzhzf,
phyzw bh{ if yfhj myob zdf jkwzyfwwfj gobpvzfy ~dklf
gyfhzkcn hjjkzkochl yfplkghw, ~dklf kc zdf Vch}hklhilf
wzhzf zdf{ ghccoz# Zdf Jkwzyfww wzhzf kw vwfj moy h gob"
pvzfy zdhz kw nokcn zo if yfbo}fj myob zdf w{wzfb, f#n#,
moy plhccfj yf"kbhnkcn, oy moy h gobpvzfy ~dowf jkwe kw
8/6/2019 TidyFS is a distributed file system for parallel computations - Whitepaper
5/14
Mknvyf 81 Zkj{MW W{wzfb Hygdkzfgzvyf
wdo~kcn wkncw om kbbkcfcz mhklvyf# Zdf Vch}hklhilf
wzhzf wknckfw zdhz Zkj{MW wdovlj coz vwf zdf gobpvzfy hz
hll#
Kc zdf gvyyfcz Zkj{MW kbplfbfczhzkoc gobpvzfyw zyhc"
wkzkoc ifz~ffc wzhzfw hw h yfwvlz om hc hjbkckwzyhzoyw
gobbhcj# f dh}f movcj zdkw bhcvhl kczfy}fczkoc zoif hc hggfpzhilf ivyjfc moy zdf glvwzfyw om h mf~ dvc"
jyfj gobpvzfyw zdhz ~f dh}f iffc opfyhzkcn# H boyf
~kjfl{ jfplo{fj w{wzfb wdovlj if hilf zo hvzobhzkghll{
jfzfgz mhklvyf gocjkzkocw hcj pfymoyb zyhcwkzkocw ovz om zdf
Yfhj^ykzf wzhzf ~kzdovz opfyhzoy hgzkoc# Zdkw govlj
if kbplfbfczfj vwkcn ~fll"eco~c zfgdckxvfw wvgd hw zdf
~hzgdjonw fbplo{fj kc zdf Hvzopkloz w{wzfb U86R#
Zdf bfzhjhzh wfy}fy hlwo bhkczhkcw pfy"wzyfhb hcj
pfy"phyz hzzykivzfw# Zdfyf kw h wfz om jkwzkcnvkwdfj hz"
zykivzfw moy fhgd wzyfhb oy phyz ~dkgd hyf bhkczhkcfj i{
zdf w{wzfb hvzobhzkghll{ oy hw h wkjf"fmmfgz om w{wzfb HPK
ghllw, hcj vwfyw bh{ hjj hyikzyhy{ hjjkzkochl hzzykivzfw hw
ef{"}hlvf phkyw zo wzoyf glkfcz"wpfgkg kcmoybhzkoc# Moywzyfhbw, zdf jkwzkcnvkwdfj }hlvfw hyf gyfhzkoc zkbf, lhwz
vwf zkbf, goczfcz cnfypykcz, yfplkghzkoc mhgzoy, lfhwf zkbf,
hcj lfcnzd# Moy phyzw, zdf jkwzkcnvkwdfj }hlvfw hyf wkqf
hcj cnfypykcz#
Glkfczw om zdf bfzhjhzh wfy}fy, kcglvjkcn zdf ozdfy
Zkj{MW gobpocfczw, gobbvckghzf ~kzd zdf wfy}fy }kh
h glkfcz lkiyhy{# Zdkw glkfcz lkiyhy{ kcglvjfw YWL gojf zdhz
jfzfybkcfw ~dkgd bfzhjhzh wfy}fy yfplkgh zo goczhgz hcj
~kll mhkl o}fy kc ghwf om h wfy}fy mhvlz#
7#9 Cojf wfy}kgf
Kc hc{ jkwzykivzfj lf w{wzfb zdfyf kw h wfz om bhkczfchcgf
zhwew zdhz bvwz if ghyykfj ovz oc h yovzkcf ihwkw# ^f kb"
plfbfczfj zdf yovzkcf bhkczfchcgf zhwew hw h ^kcjo~w
wfy}kgf zdhz yvcw goczkcvovwl{ oc fhgd wzoyhnf gobpvzfy
kc zdf glvwzfy# Fhgd om zdf bhkczfchcgf zhwew kw kbplf"
bfczfj hw h mvcgzkoc zdhz kw kc}oefj hz gocnvyhilf zkbf
kczfy}hlw# Zdf wkbplfwz om zdfwf zhwew kw zdf pfykojkg yfpoyz"
kcn, zo zdf bfzhjhzh wfy}fy, om zdf hbovcz om myff wphgf
oc zdf wzoyhnf gobpvzfy jkwe jyk}fw# Zdf ozdfy zhwew hyf
nhyihnf gollfgzkoc, phyz yfplkghzkoc, hcj phyz }hlkjhzkoc,
~dkgd hyf jfwgykifj kc zdf mollo~kcn phyhnyhpdw#
Jvf zo zdf wfphyhzkoc om bfzhjhzh hcj jhzh kc Zkj{MW
hcj wkbklhy w{wzfbw, zdfyf hyf bhc{ opfyhzkocw zdhz hyf
kckzkhll{ ghyykfj ovz oc zdf bfzhjhzh wfy}fy zdhz zyknnfy
hgzkocw oc zdf wzoyhnf gobpvzfyw kc zdf w{wzfb# Zdf jflf"zkoc om wzyfhbw, }kh fkzdfy vwfy hgzkoc oy lfhwf ftpkyhzkoc,
kw ocf wvgd opfyhzkoc# Ocgf hll om zdf wzyfhbw zdhz yfm"
fyfcgf h phyzkgvlhy phyz hyf jflfzfj, f}fy{ yfplkgh om zdhz
phyz wdovlj if yfbo}fj myob zdf wzoyhnf gobpvzfy zdhz
doljw kz# Zdf bfzhjhzh wfy}fy kw yfwpocwkilf moy fcwvykcn
zdhz zdfyf hyf wvmgkfcz yfplkghw om fhgd phyz, hw ghlgvlhzfj
myob zdf bhtkbvb yfplkghzkoc mhgzoy om hll wzyfhbw zdf
phyz iflocnw zo# Ocgf zdf yfplkghw dh}f iffc hwwkncfj zo
phyzkgvlhy gobpvzfyw, zdf cojf wfy}kgfw hyf yfwpocwkilf
moy hgzvhll{ yfplkghzkcn zdf phyzw#
Kc oyjfy zo jfzfybkcf ~dhz phyzw wdovlj if wzoyfj oc h
wzoyhnf gobpvzfy, fhgd cojf wfy}kgf pfykojkghll{ goczhgzw
zdf bfzhjhzh wfy}fy zo nfz z~o lkwzw om phyzw1 zdf ywz kw
zdf lkwz om phyzw zdhz zdf wfy}fy iflkf}fw wdovlj if wzoyfj
oc zdf gobpvzfy5 hcj zdf wfgocj kw zdf lkwz om phyzw zdhz
wdovlj if yfplkghzfj oczo zdf gobpvzfy ivz dh}f coz {fz
iffc gopkfj#
^dfc zdf cojf wfy}kgf pyogfwwfw zdf lkwz om phyzw zdhz
zdf bfzhjhzh wfy}fy iflkf}fw wdovlj if wzoyfj oc zdf gob"
pvzfy, zdf lkwz bh{ jkmmfy myob zdf hgzvhl lkwz om phyzw oc
zdf jkwe kc z~o ghwfw# Zdf ywz kw zdhz zdf bfzhjhzh wfy}fy
iflkf}fw h phyz wdovlj if zdfyf ivz kz kw coz# Zdkw ghwf
kw hl~h{w hc fyyoy, hcj ~kll ghvwf zdf cojf wfy}kgf zo
kcmoyb zdf bfzhjhzh wfy}fy om zdf jkwgyfphcg{, ~dkgd kc
zvyc ~kll ghvwf zdf bfzhjhzh wfy}fy zo wfz kc bozkoc zdfgyfhzkoc om cf~ yfplkghw om zdf phyz km cfgfwwhy{# Zdf
wfgocj kw zdhz zdf bfzhjhzh wfy}kgf iflkf}fw h phyz zdhz
kw pyfwfcz oc zdf jkwe wdovlj coz if zdfyf# Kc zdkw $boyf
gobboc+ ghwf zdf phyz kj kw hppfcjfj zo h lkwz om ghc"
jkjhzfw moy jflfzkoc# Ocgf zdf fczkyf lkwz kw pyogfwwfj,
zdf lkwz om jflfzkoc ghcjkjhzfw kw wfcz zo zdf bfzhjhzh
wfy}fy, ~dkgd lzfyw zdf lkwz hcj yfzvycw h lkwz om phyz kjw
hppyo}fj moy jflfzkoc# Zdf cojf wfy}kgf zdfc jflfzfw zdf
lfw goyyfwpocjkcn zo zdf lzfyfj lkwz om phyz kjw# Zdf
8/6/2019 TidyFS is a distributed file system for parallel computations - Whitepaper
6/14
gobplfzf mvcgzkoc pwfvjogojf kw lkwzfj kc Hlnoykzdb 8,
~dfyf LkwzPhyzwHzCojf, Yfbo}fPhyzYfplkgh,
hcj MklzfyPfcjkcnJflfzkocLkwz hyf hll ghllw
zdhz goczhgz zdf bfzhjhzh wfy}fy#
Zdf yfhwoc moy zdkw z~o pdhwf jflfzkoc pyozogol kw zo
pyf}fcz phyzw zdhz hyf kc zdf pyogfww om ifkcn ~ykzzfc myob
ifkcn jflfzfj# Zdf bfzhjhzh wfy}fy kw h~hyf om zdf phyz kjwzdhz dh}f iffc hlloghzfj zo h wzyfhb ivz coz {fz gobbkzzfj,
hw ovzlkcfj kc Wfgzkoc 9#9, do~f}fy zdfwf pfcjkcn phyz
kjw hyf coz kcglvjfj kc zdf lkwz om phyz kjw wzoyfj oc hc{
wzoyhnf gobpvzfy#
Hlnoykzdb 8 Nhyihnf gollfgzkoc mvcgzkoc
phyzKjw 2 LkwzPhyzwHzCojf$+5
lfchbfw 2 LkwzMklfwKcJhzhJky$+5
Lkwz pjLkwz5
moy hll lf kc lfchbfw jo
kj 2 NfzPhyzKjMyobMklfChbf$lf+5
km(phyzkjw#Yfbo}f$kj+ zdfcpjLkwz#Hjj$kj+5
fcj km
fcj moy
moy hll phyzKj kc phyzkjw jo
Yfbo}fPhyzYfplkgh$phyzKj+5
fcj moy
phyzKjwZoJflfzf 2 MklzfyPfcjkcnJflfzkocLkwz$pjLkwz+5
moy hll phyzKj kc phyzKjwZoJflfzf jo
JflfzfPhyz$phyzKj+5
fcj moy
Km zdf lkwz om phyzw zdhz wdovlj if yfplkghzfj zo zdf cojf
ivz hyf coz pyfwfcz kw coc"fbpz{, zdf cojf wfy}kgf goczhgzwzdf bfzhjhzh wfy}fy moy fhgd lkwzfj phyz kj zo oizhkc zdf
phzdw zo yfhj myob hcj ~ykzf zo moy yfplkghzkcn zdf phyz#
Ocgf zdf phyz dhw iffc yfplkghzfj zdf cnfypykcz om zdf
phyz kw }hlkjhzfj zo fcwvyf kz ~hw goyyfgzl{ gopkfj, hcj
zdf cojf wfy}kgf kcmoybw zdf bfzhjhzh wfy}fy zdhz kz dhw
wvggfwwmvll{ yfplkghzfj zdf phyz, hmzfy ~dkgd zdf phyz ~kll
if pyfwfcz kc zdf lkwz om kjw zdhz zdf bfzhjhzh iflkf}fw hyf
wzoyfj hz zdhz gobpvzfy#
Hw ~f ~kll wdo~ kc Wfgzkoc :, zdfyf kw h wviwzhczkhl
myhgzkoc om phyzw zdhz hyf coz myfxvfczl{ yfhj# Lhzfcz wfgzoy
fyyoyw hyf h gocgfyc moy zdf jfwkncfyw om hc{ yflkhilf jhzh
wzoyhnf w{wzfb U6R# Zdfwf fyyoyw hyf vcjfzfgzfj fyyoyw~dfyf zdf jhzh kc h jkwe wfgzoy nfzw goyyvpzfj hcj ~kll
if vchilf zo if yfhj# Km zdkw vcjfzfgzfj fyyoy ~fyf zo
dhppfc kc gocavcgzkoc ~kzd gobpvzfy mhklvyfw, zdf w{wzfb
govlj ftpfykfcgf jhzh loww om wobf phyzw# Hw h yfwvlz,
zdf cojf wfy}kgf pfykojkghll{ yfhjw fhgd phyz yfplkgh hcj
}hlkjhzfw zdhz kzw cnfypykcz bhzgdfw zdf wzoyfj cnfypykcz
hz zdf bfzhjhzh wfy}fy5 km coz, zdf cojf wfy}kgf kcmoybw
zdf bfzhjhzh wfy}fy zdhz zdf phyz kw co locnfy h}hklhilf oc
zdhz gobpvzfy, pozfczkhll{ zyknnfykcn h yf"yfplkghzkoc#
7#7 Zkj{MW Ftployfy
Zdf z~o Zkj{MW gobpocfczw hlyfhj{ jfwgykifj jfhl ~kzd
zdf goyyfgz opfyhzkoc om zdf w{wzfb# Zdf chl gobpo"
cfcz kw zdf nyhpdkghl vwfy kczfymhgf moy zdf jkwzykivzfj lf
w{wzfb, chbfj zdf Zkj{MW Ftployfy# Kz kw zdf pykbhy{
bfgdhckwb moy vwfyw hcj hjbkckwzyhzoyw zo kczfyhgz ~kzd
zdf w{wzfb# Lkef hll ozdfy Zkj{MW glkfczw, zdf Zkj{MW
Ftployfy gobbvckghzfw ~kzd zdf bfzhjhzh wfy}fy }kh zdf
glkfcz lkiyhy{# Moy vwfyw, Zkj{MW Ftployfy pyo}kjfw h
}kwvhlkqhzkoc om zdf jkyfgzoy{ dkfyhygd{ kbplkfj i{ zdf
wzyfhbw kc zdf w{wzfb# Kc hjjkzkoc zo zdf jkyfgzoy{ dkfyhy"
gd{, zdf Zkj{MW Ftployfy ftpowfw zdf wfxvfcgf om phyzw
zdhz gobpykwf h wzyfhb, hlocn ~kzd yflf}hcz kcmoybhzkoc
hiovz zdowf phyzw# Vwfyw ghc vwf zdf NVK zo jflfzf wzyfhbw,
yfchbf wzyfhbw, bhckpvlhzf zdf wfxvfcgf om phyzw kc h
wzyfhb, hw ~fll hw gop{ phyzw ifz~ffc wzyfhbw# Glvwzfy
hjbkckwzyhzoyw ghc vwf zdf Zkj{MW Ftployfy zo bockzoy zdf
wzhzf om gobpvzfyw kc zdf w{wzfb, kcglvjkcn jfzfybkckcn
~dhz gobpvzfyw hyf dfhlzd{, ~dhz yfplkghzkocw hyf pfcjkcn,hcj do~ bvgd wzoyhnf wphgf kw h}hklhilf# Hjbkckwzyhzoyw
ghc hlwo bhcvhll{ gdhcnf zdf wzhzf om gobpvzfyw kc zdf
w{wzfb hcj kczfyhgz ~kzd zdf cojf wfy}kgf#
7#: Yfplkgh Plhgfbfcz
^dfc gdoowkcn ~dfyf zo plhgf yfplkghw moy fhgd phyz, ~f
~ovlj lkef zdf w{wzfb zo opzkbkqf z~o wfphyhzf gykzfykh#
Mkywz, kz kw jfwkyhilf moy zdf yfplkghw om zdf phyzw kc h phyzkg"
vlhy wzyfhb zo if wpyfhj hgyoww zdf h}hklhilf gobpvzfyw
hw ~kjfl{ hw powwkilf, ~dkgd hllo~w bhc{ gobpvzfyw zo
pfymoyb loghl jkwe yfhjw kc phyhllfl ~dfc pyogfwwkcn zdhz
wzyfhb# Wfgocj, wzoyhnf wphgf vwfj wdovlj if yovndl{
ihlhcgfj hgyoww gobpvzfyw# Mknvyf 9 wdo~w h dkwzonyhb
om phyz wkqfw kc h glvwzfy yvcckcn Zkj{MW# Jvf zo zdkw
coc"vckmoyb jkwzykivzkoc om phyz wkqfw, hwwknckcn phyz zo
yfplkghw kw coz hw wkbplf hw hwwknckcn yovndl{ fxvhl cvb"
ifyw om phyzw zo fhgd gobpvzfy#
Zdf loghzkoc om zdf jhzh moy zdf ywz gop{ om h phyz kw
jfzfybkcfj i{ zdf kjfczkz{ hcj wzhzf om zdf gobpvzfy zdhz
kw ~ykzkcn zdf phyz# ^f ~ovlj lkef zo ikhw ~ykzfw zo if loghl
hw omzfc hw powwkilf, wo ~f wkbpl{ vwf zdf loghl gobpvzfy
km kz kw lfnhl zo ~ykzf zdfyf, bfhckcn zdhz zdf gobpvzfy
kw h wzoyhnf gobpvzfy kc zdf Yfhj^ykzf wzhzf zdhz dhwfcovnd wphgf h}hklhilf# ^f jo coz eco~ zdf lfcnzd om zdf
phyz ifmoyf zdf jhzh kw ~ykzzfc, wo ~f bhef h gocwfy}hzk}f
fwzkbhzf ihwfj oc z{pkghl vwhnf# Km zdf jkwe llw vp, zdf
~ykzfy ~kll mhkl hcj zdf gobpvzhzkochl myhbf~oyew mhvlz"
zolfyhcgf ~kll yfwgdfjvlf zdf gobpvzhzkoc flwf~dfyf#
Wviwfxvfcz yfplkghzkoc om phyzw wdovlj opzkbkqf zdf
z~o gykzfykh hio}f# ^f dh}f h}okjfj gobplft ihlhcgkcn
hlnoykzdbw zdhz jkyfgzl{ opzkbkqf ovy jfwkyfj gykzfykoc kc
mh}oy om wkbplfy nyffj{ hlnoykzdbw#
8/6/2019 TidyFS is a distributed file system for parallel computations - Whitepaper
7/14
Mknvyf 91 Dkwzonyhb om phyz wkqfw $kc BI+
^f kckzkhll{ kbplfbfczfj h polkg{ zdhz hwwkncw h yfplkgh
zo zdf lfnhl gobpvzfy kc zdf w{wzfb ~kzd bowz myff wphgf#
Vcmoyzvchzfl{ bhc{ wzyfhbw goczhkc }fy{ wbhll phyzw, hcjhmzfy hjjkcn ocf wvgd wbhll phyz zo h nk}fc gobpvzfy kz
omzfc goczkcvfw zo if zdf ocf ~kzd zdf bowz myff wphgf#
Wkcgf bhc{ phyzw myob h wzyfhb hyf yfplkghzfj kc h wdoyz
zkbf pfykoj ~dfc zdf wzyfhb kw gyfhzfj, zdkw pyoilfb
yfwvlzfj kc }fy{ pooy ihlhcgf moy wzyfhbw ~kzd wbhll phyzw1
ocf gobpvzfy ~ovlj dolj zdf wfgocj gop{ om bhc{ oy hll
om zdhz wzyfhbw phyzw#
Zdkw lhge om ihlhcgf lfj vw zo kbplfbfcz h wfgocj
polkg{, wkbklhy zo zdf ocf vwfj kc zdf Ekcfwkw pyoafgz U 8;R
hcj zfgdckxvfw jfwgykifj kc U98R# Zdkw hppyohgd vwfw zdf
phyz kjfczkfy zo wffj h pwfvjo"yhcjob cvbify nfcfyhzoy,
zdfc gdoowfw zdyff lfnhl gobpvzfyw vwkcn cvbifyw jyh~c
myob zdkw pwfvjo"yhcjob cvbify nfcfyhzoy hcj wflfgzw
zdf gobpvzfy ~kzd zdf bowz myff wphgf myob zdkw wfz hw zdf
jfwzkchzkoc moy zdf phyz# Hw ~f yfpoyz kc Wfgzkoc :#:, zdkw
wfgocj polkg{ yfwvlzw kc hggfpzhilf ihlhcgf moy wzyfhbw#
O}fy zkbf zdf w{wzfb bh{ ifgobf vcihlhcgfj ~kzd
wobf gobpvzfyw wzoykcn wviwzhczkhll{ boyf jhzh zdhc ozd"
fyw# f zdfyfmoyf kbplfbfczfj h yfihlhcgkcn gobbhcj#
Zdkw wkbpl{ pkgew phyzw hz yhcjob myob o}fylohjfj gob"
pvzfyw hcj vwfw zdf yfplkghzkoc polkg{ zo wflfgz hlzfychzf
loghzkocw moy zdowf phyzw# Zdf bfzhjhzh wfy}fy wgdfjvlfw
zdf yfplkghzkoc zo zdf cf~ loghzkoc, hcj ~dfc zdf cojf
wfy}kgf yfpoyzw zdhz zdf gop{ dhw iffc bhjf, zdf bfzhjhzh
wfy}fy wgdfjvlfw jflfzkoc myob zdf o}fylohjfj gobpvzfy#
7#6 ^hzgdjon
^f yfgfczl{ wzhyzfj zo pyozoz{pf h wfz om ~hzgdjon wfy"
}kgfw zo hvzobhzkghll{ jfzfgz kwwvfw hcj yfpoyz zdfb zo
hc hjbkckwzyhzoy moy bhcvhl goyyfgzkoc# Zdf kwwvfw mhll
kczo z~o ghzfnoykfw1 fyyoy gocjkzkocw, wvgd hw zdf mhklvyf
zo yfplkghzf phyzw hmzfy hc hggfpzhilf pfykoj5 hcj hlfyz goc"
jkzkocw, wvgd hw zdf glvwzfy ifgobkcn glowf zo kzw wzoyhnf
}okj HjjWzoyhnfGobpvzfy$wzykcn
wzoyhnfGobpvzfyChbf, vlocn myffWphgf,
wzykcn bhchnfjJkyfgzoy{, wzykcn
vcgPhzd, wzykcn dzzpPhzd, kcz
cfz~oyeKj+5
iool JflfzfWzoyhnfGobpvzfy$wzykcn
wzoyhnfGobpvzfyChbf+5
WzoyhnfGobpvzfyKcmo
NfzWzoyhnfGobpvzfyKcmoybhzkoc$wzykcn
wzoyhnfGobpvzfyChbf+5
}okj WfzMyffWphgf$wzykcn
wzoyhnfGobpvzfyChbf, vlocn myffWphgf+5
}okj WfzWzoyhnfGobpvzfyWzhzf$wzykcn
wzoyhnfGobpvzfyChbf,
WzoyhnfGobpvzfyWzhzf
wzoyhnfGobpvzfyWzhzf+5
wzykcnUR LkwzWzoyhnfGobpvzfyw$+5
vlocnUR LkwzPhyzwHzWzoyhnfGobpvzfy$wzykcn
wzoyhnfGobpvzfyChbf+5
vlocnUR NfzPhyzYfplkghLkwz$wzykcn
wzoyhnfGobpvzfyChbf+5
Mknvyf 71 Zkj{MW HPK " Opfyhzkocw kc}ol}kcn wzoyhnf
gobpvzfyw
lkbkz oy gobpvzfyw ifgobkcn vcyfwpocwk}f# Kc zdf boczd
oy wo zdhz zdf ~hzgdjonw dh}f wo mhy iffc jfplo{fj zdf{
dh}f yfpoyzfj z~o hlfyzw hcj co fyyoyw# ^dfc ~f dh}f
boyf gocjfcgf kc zdf ~hzgdjonw ~f bh{ kczfnyhzf zdfb
kczo hc hvzobhzkg mhklvyf bkzknhzkoc w{wzfb zo yfjvgf zdf
glvwzfy bhchnfbfcz o}fydfhj#
7#= HPK
Moy gobplfzfcfww ~f lkwz zdf Zkj{MW HPK dfyf# Bowz op"
fyhzkocw kc}ol}f wzoyhnf gobpvzfyw, wzyfhbw hcj phyzw# Hw
pyf}kovwl{ jfwgykifj, zdfwf opfyhzkocw hyf vwfj i{ ozdfyZkj{MW gobpocfczw $cojf wfy}kgf hcj Zkj{MW Ftployfy+
hcj i{ ftzfychl hpplkghzkocw zdhz ~kwd zo yfhj hcj ~ykzf
Zkj{MW jhzh#
Mknvyf 7 kcglvjfw h yfpyfwfczhzk}f wfz om opfyhzkocw kc"
}ol}kcn wzoyhnf gobpvzfyw# Zdfwf kcglvjf gobbhcjw,
z{pkghll{ vwfj i{ glvwzfy hjbkckwzyhzoyw, moy hjjkcn, boj"
km{kcn hcj yfbo}kcn gobpvzfyw# WfzMyffWphgf hcj
WfzWzoyhnfGobpvzfyWzhzf hyf vwfmvl moy vpjhz"
kcn zdf wzhzf om zdf glvwzfy, hcj hyf vwfj iozd i{ hjbkc"
8/6/2019 TidyFS is a distributed file system for parallel computations - Whitepaper
8/14
wzykcnUR LkwzJkyfgzoykfw$wzykcn phzd+5
wzykcnUR LkwzWzyfhbw$wzykcn phzd+5
}okj GyfhzfWzyfhb$wzykcn wzyfhbChbf+5
vlocn GyfhzfWzyfhb$wzykcn wzyfhbChbf,
JhzfZkbf lfhwfZkbf, kcz cvbPhyzw+5
}okj Gop{Wzyfhb$wzykcn wygWzyfhbChbf,
wzykcn jfwzWzyfhbChbf+5
}okj YfchbfWzyfhb$wzykcn wygWzyfhbChbf,
wzykcn jfwzWzyfhbChbf+5
iool JflfzfWzyfhb$wzykcn wzyfhbChbf+5
}okj GocghzfchzfWzyfhbw$wzykcn
jfwzWzyfhbChbf, wzykcn wygWzyfhbChbf+5
}okj HjjPhyzZoWzyfhb$vlocnUR phyzKjw,
wzykcn wzyfhbChbf, kcz powkzkoc+5
}okj Yfbo}fPhyzMyobWzyfhb$vlocn phyzKj,
wzykcn wzyfhbChbf+5
vlocnUR LkwzPhyzwKcWzyfhb$wzykcn
wzyfhbChbf+5
PhyzKcmoUR NfzPhyzKcmoLkwz$wzykcn
wzyfhbChbf+5
JhzfZkbf NfzLfhwf$wzykcn wzyfhbChbf+5
}okj WfzLfhwf$wzykcn wzyfhbChbf, JhzfZkbf
lfhwf+5
vlocn YfxvfwzPhyzKjw$wzykcn wzyfhbChbf,
vkcz cvbKjw+5
i{zfUR NfzWzyfhbIloiHzzykivzf$wzykcn
wzyfhbChbf, wzykcn hzzyChbf+5
}okj WfzWzyfhbHzzykivzf$wzykcn wzyfhbChbf,
wzykcn hzzyChbf, i{zfUR hzzy]hlvf+5
}okj Yfbo}fWzyfhbHzzykivzf$wzykcn
wzyfhbChbf, wzykcn hzzyChbf+5
wzykcnUR LkwzWzyfhbHzzykivzfw$wzykcn
wzyfhbChbf+5
Mknvyf :1 Zkj{MW HPK " Opfyhzkocw kc}ol}kcn wzyfhbw
}okj HjjPhyzKcmo$PhyzKcmoUR pkw+5
}okj HjjPhyzYfplkgh$vlocn phyzKj, wzykcn
cojfChbf+5
}okj Yfbo}fPhyzYfplkgh$vlocn phyzKj,wzykcn cojfChbf+5
}okj NfzYfhjPhzdw$vlocn phyzKj, wzykcn
cojfChbf, ovz WzykcnGollfgzkoc phzdw+5
}okj Nfz^ykzfPhzdw$vlocn phyzKj, wzykcn
cojfChbf, ovz WzykcnGollfgzkoc phzdw+5
Mknvyf 61 Zkj{MW HPK" Opfyhzkocw kc}ol}kcn phyzw
kwzyhzoyw hcj i{ zdf cojf wfy}kgf# Opfyhzkocw zdhz hllo~lkwzkcn hll gobpvzfyw hcj hll phyzw hz h gobpvzfy hyf hlwo
pyo}kjfj moy jkhncowzkg pvypowfw hcj hyf vwfj i{ zdf
Zkj{MW Ftployfy# NfzPhyzYfplkghLkwz kw h gob"
bhcj moy lkwzkcn hll cf~ yfplkghw zdhz dh}f iffc hwwkncfj
i{ Zkj{MW zo h wpfgkg wzoyhnf gobpvzfy, ivz zdhz dh}f
coz {fz iffc gyfhzfj# Zdkw ghll kw kc}oefj pfykojkghll{ i{
zdf cojf wfy}kgf yvcckcn oc h wzoyhnf gobpvzfy zo mfzgd
zdf lkwz om phyzw zdhz kz cffjw zo mfzgd hcj yfplkghzf#
Mknvyf : lkwzw opfyhzkocw kc}ol}kcn wzyfhbw# Jvf zo
wphgf yfwzykgzkocw ~f dh}f ocl{ kcglvjfj zdf bowz omzfc
vwfj ocfw hcj dh}f obkzzfj wobf opfyhzkocw zdhz hyf wkb"
klhy zo ozdfyw hlyfhj{ wdo~c# Moy fthbplf, ~dklf ~f ocl{
wdo~ opfyhzkocw moy nfzzkcn hcj wfzzkcn wzyfhb hzzykivzfw
om iloi jhzh z{pf, wkbklhy gobbhcjw ftkwz moy hzzykivzfw
om jkmmfyfcz z{pfw# Zdf nvyf kcglvjfw opfyhzkocw moy
lkwzkcn zdf goczfczw $iozd wvijkyfgzoykfw hcj wzyfhbw+ om
jkyfgzoykfw, hcj wzyfhb bhckpvlhzkoc gobbhcjw kcglvjkcn
opfyhzkocw moy hjjkcn hcj yfbo}kcn phyzw myob h wzyfhb#
Phyzw bh{ if hjjfj hz hc{ powkzkoc kc zdf wzyfhb, hcj
wzyfhbw bh{ if gocghzfchzfj, ~dkgd ghvwfw hll phyzw myob
ocf wzyfhb zo if hppfcjfj zo hcozdfy#
Mkchll{, kc Mknvyf 6 zdf yfbhkckcn opfyhzkocw kc}ol}kcn
phyzw hyf lkwzfj# Zdf HjjPhyzKcmo gobbhcj kw vwfj
i{ glkfczw zo kcmoyb Zkj{MW zdhz h phyz dhw iffc mvll{
~ykzzfc, hcj zo phww kcmoybhzkoc wvgd hw zdf phyz wkqf hcjcnfypykcz# Opfyhzkocw moy hjjkcn hcj yfbo}kcn yfplk"
ghw myob h wzoyhnf gobpvzfy $HjjPhyzYfplkgh hcj
Yfbo}fPhyzYfplkgh+ hyf vwfj i{ zdf cojf wfy}kgf
zo kcmoyb zdf bfzhjhzh wfy}fy ~dfc yfplkghw dh}f iffc
gyfhzfj hz h phyzkgvlhy gobpvzfy# Ozdfy kbpoyzhcz opfyh"
zkocw kcglvjf NfzYfhjPhzdw hcj Nfz^ykzfPhzdw,
~dkgd yfzvyc h lkwz om phzdw ~dfyf h phyz bh{ if yfhj myob,
oy ~ykzzfc zo# Zdfwf hyf vwfj i{ glkfczw pykoy zo yfhjkcn oy
~ykzkcn hc{ jhzh zo Zkj{MW# Zdfyf hyf hlwo opfyhzkocw moy
8/6/2019 TidyFS is a distributed file system for parallel computations - Whitepaper
9/14
nfzzkcn hcj wfzzkcn phyz hzzykivzfw om }hykovw jhzh z{pfw zdhz
hyf wkbklhy zo zdowf pyo}kjfj moy wzyfhbw hcj hyf obkzzfj
dfyf moy iyf}kz{#
Zdf YWL wzhzf yfplkghzkoc lkiyhy{ hllo~w wobf HPK ghllw
zo ftfgvzf hw mhwz yfhjw ~dkgd ghc yvc oc hc{ yfplkgh
vwkcn kzw gvyyfcz wzhzf wchpwdoz hcj jo coz yfxvkyf h yovcj
om zdf gocwfcwvw hlnoykzdb# Mhwz yfhjw ghc kc pykcgkplf yf"fgz xvkzf wzhlf kcmoybhzkoc, hcj hyf coz wfykhlkqhilf ~kzd
ozdfy wzhzf bhgdkcf gobbhcjw# Nk}fc ovy yfhj"bowzl{
~oyelohj, i{ mhy zdf bowz gobboc HPK ghllw hyf zdowf
mfzgdkcn kcmoybhzkoc hiovz ftkwzkcn wzyfhbw, wvgd hw lkwz"
kcn phyzw kc h wzyfhb oy yfhj phzdw moy h phyz# ^f zdfyfmoyf
hllo~ zdfwf zo if pfymoybfj hw mhwz yfhjw hcj vwf hll yfplk"
ghw zo wfy}kgf zdfwf yfhjw, yfjvgkcn zdf iozzlfcfge lohj oc
zdf bfzhjhzh wfy}fy# Hw ~f yfpoyz kc Wfgzkoc : bowz yfhjw
hyf myob wzyfhbw zdhz dh}f ftkwzfj moy h wviwzhczkhl pfykoj,
wo wzhlfcfww kw coz h pyoilfb# Km h mhwz yfhj yfpoyzw wzhlf
jhzh wvgd hw h phyz loghzkoc zdhz kw ovz om jhzf mollo~kcn h
yfplkghzkoc, zdf glkfcz wkbpl{ yfzykfw vwkcn zdf wlo~"phzd
}fywkoc zdhz nvhyhczffw hc vp zo jhzf yfwpocwf#
: F}hlvhzkoc hcj ftpfykfcgf
Zkj{MW dhw iffc jfplo{fj hcj hgzk}fl{ vwfj moy zdf phwz
{fhy oc h yfwfhygd glvwzfy ~kzd 96= wfy}fyw, ~dfyf joqfcw
om vwfyw yvc lhynf"wghlf jhzh"kczfcwk}f gobpvzhzkocw# Zdf
glvwzfy kw vwfj ftglvwk}fl{ moy pyonyhbw yvc vwkcn zdf
Jy{hjLKCX U94R w{wzfb# Jy{hjLKCX kw h phyhllflkqkcn
gobpklfy moy #CFZ pyonyhbw zdhz ftfgvzfw pyonyhbw vwkcn
Jy{hj U8=R# Jy{hj kw h gohywf"nyhkc jhzho~ ftfgvzkoc
fcnkcf zdhz yfpyfwfczw gobpvzhzkocw hw jkyfgzfj"hg{glkg
nyhpdw om pyogfwwfw gobbvckghzkcn }kh jhzh gdhccflw#Kz vwfw Zkj{MW moy wzoyhnf om kcpvz hcj ovzpvz jhzh, mol"
lo~kcn zdf hggfww phzzfycw wfz ovz kc Wfgzkoc 9#9# Mhvlz"
zolfyhcgf kw pyo}kjfj i{ yf"ftfgvzkoc om mhklfj oy wlo~
pyogfwwfw# Jy{hj pyogfwwfw hyf wgdfjvlfj i{ h glvwzfy"
~kjf wgdfjvlfy ghllfj Xvkcg{ U8>R zdhz zhefw kczo hggovcz
zdf wkqf hcj loghzkoc om kcpvzw moy fhgd pyogfww ~dfc
gdoowkcn ~dkgd gobpvzfy zo yvc zdf pyogfww oc# Zdf
glvwzfy dhyj~hyf kw hw jfwgykifj kc ovy Xvkcg{ phpfy U8>R#
Jy{hj xvfykfw Zkj{MW moy zdf loghzkocw om kzw kcpvz phyzw
hcj phwwfw zdkw kcmoybhzkoc zo Xvkcg{ wo zdhz bowz pyo"
gfwwfw fcj vp wgdfjvlfj glowf kc cfz~oye zopolon{ zo hz
lfhwz ocf yfplkgh om zdfky kcpvz phyzw# Jy{hjLKCX bhefw
vwf om Zkj{MW hzzykivzfw zo wzoyf z{pf kcmoybhzkoc hiovzzdf yfgoyjw kc ovzpvz wzyfhbw hcj zo yfgoyj phyzkzkockcn
kcmoybhzkociozd om zdfwf z{pfw om hzzykivzf hyf vwfj
i{ wviwfxvfcz Jy{hjLKCX pyonyhbw zdhz gocwvbf zdf
wzyfhbw hw kcpvzw# Ovy glvwzfy kcmyhwzyvgzvyf hlwo kcglvjf
Cfgzhy U89R ~dkgd kw h ghgdf bhchnfy moy gobpvzhzkocw#
Cfgzhy hcj Jy{hjLKCX gobbvckghzf zo jfzfybkcf wvi"
gobpvzhzkocw ~dowf yfwvlzw dh}f hlyfhj{ iffc wzoyfj zo
Zkj{MW, zo wh}f vccfgfwwhy{ yfgobpvzhzkoc om gobplft
xvhczkzkfw# Cfgzhy bhefw vwf om Zkj{MW wzyfhb hcj phyz
cnfypykczw zo jfzfybkcf ~dfc zdf kcpvzw om z~o gobpv"
zhzkocw hyf kjfczkghl#
Zkj{MW ~hw jfwkncfj kc gocavcgzkoc ~kzd zdf ozdfy
glvwzfy gobpocfczw lkwzfj hio}f, wo kz chzvyhll{ dhw HPKw
hcj pfymoybhcgf zdhz kw ~fll wvkzfj zo zdfky yfxvkyfbfczw#
Hw cozfj kc Wfgzkoc 9#9 ~f iflkf}f zdfwf yfxvkyfbfczw
hyf wdhyfj i{ ozdfy w{wzfbw kcglvjkcn BhpYfjvgf hcjDhjoop# Hz zdf fcj om zdf phpfy ~f kcglvjf boyf jkwgvw"
wkoc om zdf ~kjfy hpplkghiklkz{ om Zkj{MW#
:#8 Jhzh }olvbf
Oc h z{pkghl jh{, wf}fyhl zfyhi{zfw om jhzh hyf yfhj hcj
~ykzzfc zo Zkj{MW zdyovnd zdf ftfgvzkoc om Jy{hjLKCX
pyonyhbw# ^f gollfgzfj o}fyhll wzhzkwzkgw oc zdf vwhnf om
zdf w{wzfb zdyovnd lonw bhkczhkcfj i{ Zkj{MW#
Mknvyfw = hcj > pyfwfcz jhkl{ yfhj hcj ~ykzf lohjw, hcj
}olvbfw om jhzh jflfzfj, oc Zkj{MW jvykcn h whbplf z~o"
~ffe pfykoj# Zdf pvypowf om zdfwf nvyfw kw zo nk}f zdf
yfhjfy h wfcwf om zdf wghlf om w{wzfb vwhnf# Zdf hbovczom jhzh yfhj hcj ~ykzzfc oc h wpfgkg jh{ }hykfw o}fy zdf
jh{w bowzl{ ifghvwf om zdf jk}fywf chzvyf om aoiw ifkcn
yvc oc zdf glvwzfy, hcj oc ozdfy mhgzoyw wvgd hw jh{ om zdf
~ffe#
Hw fhylkfy jfwgykifj, Xvkcg{ hzzfbpzw zo plhgf pyo"
gfwwfw glowf zo zdf jhzh zdf{ ~kll yfhj, hcj ~dfc whzkwm{kcn
glkfczw yfxvfwzw moy yfhj phzdw Zkj{MW pykoykzkqfw gopkfw
om zdf jhzh zdhz hyf wzoyfj loghll{ hz zdf gobpvzfy ~dfyf
zdf glkfcz kw yvcckcn, mollo~fj i{ gopkfw wzoyfj ~kzdkc zdf
whbf yhge, hcj chll{ gyoww yhgew# Zdf jfmhvlz yfplkghzkoc
mhgzoy kc zdf glvwzfy kw z~o, wo zdfyf hyf nfcfyhll{ z~o
yfplkghw pfy phyz myob ~dkgd jhzh ghc if yfhj# Mknvyf =
glhwwkfw yfhjw hw loghl, ~kzdkc yhge, gyoww yhge oy yfbozf#
Yfbozf yfhjw yfmfy zo yfhjw ~dfyf zdf glkfcz kw ovzwkjf zdf
gobpvzf glvwzfy# Hw ftpfgzfj, zdf bhaoykz{ om yfhjw hyf
loghl, mollo~fj i{ yfhjw zdhz oggvy ~kzdkc zdf whbf yhge,
kcjkghzkcn zdhz zdf nohl om bo}kcn gobpvzhzkoc glowf zo
zdf jhzh kw }fy{ omzfc hgdkf}fj#
Jy{hjLKCX jofw coz pfymoyb hc{ fhnfy yfplkghzkoc, wo
fhgd phyz kw ~ykzzfc ocgf i{ Jy{hjLKCX hcj wviwfxvfczl{
yfplkghzfj lhqkl{ i{ Zkj{MW# Mknvyf > wdo~w zdf hbovcz
om jhzh gobbkzzfj i{ Jy{hjLKCX pfy jh{ jvykcn zdf
whbplf pfykoj# Zdf }hwz bhaoykz{ om zdfwf ~ykzfw hyf
loghl, hcj zdfyf kw hc fxvk}hlfcz hbovcz om jhzh ~ykzzfc
jvykcn lhq{ yfplkghzkoc wkcgf zdf jfmhvlz yfplkghzkoc govczkw z~o# Zdf }olvbf om jhzh jflfzfj wdo~c kc zdf nvyf
goyyfwpocjw hnhkc zo zdf }olvbf om pykbhy{ phyz jhzh1 jvf
zo zdf yfplkghzkoc mhgzoy om z~o, zdf wphgf myffj hgyoww zdf
glvwzfy jkwew kw hgzvhll{ z~kgf hw lhynf#
:#9 Hggfww phzzfycw
Boyf kcwkndz ghc if nhkcfj kczo glvwzfy vwhnf i{ wzvj{kcn
do~ wooc jhzh kw yfhj hmzfy kz dhw iffc kckzkhll{ ~ykzzfc#
8/6/2019 TidyFS is a distributed file system for parallel computations - Whitepaper
10/14
Mknvyf =1 Zfyhi{zfw om jhzh yfhj pfy jh{, nyovpfj i{ loghl, ~kzdkc yhge, gyoww"yhge, hcj yfbozf yfhjw#
Mknvyf >1 Zfyhi{zfw om pykbhy{ phyz jhzh ~ykzzfc hcj jflfzfj pfy jh{#
^f gobpvzfj, moy f}fy{ yfhj zdhz dhppfcfj o}fy h pfykoj
om zdyff boczdw, zdf hnf om zdf yfhj hw zdf zkbf kczfy}hl
ifz~ffc zdf zkbf zdf yfhj oggvyyfj hcj zdf zkbf zdf phyz
ifkcn yfhj ~hw oyknkchll{ ~ykzzfc# Mknvyf 4 pyfwfczw zdf
gvbvlhzk}f jkwzykivzkoc om jhzh yfhj hw zdf yfhj hnf kc"gyfhwfw# Hw wdo~c kc zdf nvyf ocl{ h wbhll pfygfczhnf om
jhzh kw yfhj ~kzdkc zdf ywz }f bkcvzfw hmzfy kz dhw iffc
gyfhzfj# Hlbowz :0& om zdf jhzh kw yfhj ~kzdkc zdf ywz
jh{ hmzfy zdf jhzh ifkcn yfhj dhw iffc gyfhzfj, hcj hyovcj
40& om zdf jhzh kw yfhj ~kzdkc ocf boczd om gyfhzkoc#
Nk}fc zdf wbhll pfygfczhnf om yfhjw zdhz oggvy ~kzdkc
zdf ywz bkcvzf om ~ykzkcn h phyz, zdf cojf wfy}kgfw pfyk"
ojkg zhwe om gdfgekcn moy pfcjkcn yfplkghw kw gocnvyfj zo
yvc f}fy{ bkcvzf# Zdkw kbplkfw h jflh{ om vp zo h bkcvzf
ifmoyf lhq{ yfplkghzkoc om h phyz ifnkcw, hcj yfhjw zdhz
oggvy kc wbhllfy ~kcjo~w om zkbf ~kll dh}f mf~fy gdokgfw
om ~dfyf zo yfhj myob#Zdkw fmmfgz ghc if oiwfy}fj kc Mknvyf ;, ~dkgd wdo~w
zdf pyopoyzkoc om loghl, ~kzdkc yhge hcj gyoww yhge jhzh
ovz om hll yfhjw zdhz dhppfc moy jkmmfyfcz yfhj hnfw# Hw
oiwfy}fj, bowz yfhjw zdhz dhppfc ~kzdkc zdf ywz bkcvzf
hmzfy h phyz kw ~ykzzfc hyf yfbozf yfhjw, wkcgf bhc{ om zdowf
phyzw ~ovlj ocl{ dh}f ocf gop{ hz zdhz zkbf# Do~f}fy,
hw oiwfy}fj myob Mknvyf 4 zdf zozhl cvbify om yfhjw zdhz
dhppfc hz zdhz zkbf kczfy}hl kw }fy{ wbhll yflhzk}f zo hll
yfhjw# Moy phyz yfhjw zdhz oggvy hmzfy locnfy pfykojw om
Mknvyf 41 Gvbvlhzk}f jkwzykivzkoc om yfhj hnfw $zkbf ~dfc
yfhj oggvyw " zkbf ~dfc jhzh ~hw oyknkchll{ ~ykzzfc+ moy
yfhjw oggvyykcn o}fy h pfykoj om zdyff boczdw#
zkbf wkcgf zdf phyzw gyfhzkoc, loghl hcj ~kzdkc yhge yfhjw
pyfjobkchzf#
Zo mvyzdfy gdhyhgzfykqf ovy glvwzfyw vwhnf phzzfyc ~f
hchl{qfj zdf yflhzkocwdkpw kc zkbkcn hcj myfxvfcg{ if"
z~ffc yfhjw hcj ~ykzfw om zdf whbf phyz# Kc Mknvyf 80 ~f
wdo~ do~ omzfc phyzw hyf yfhj ocgf zdf{ dh}f iffc ~ykz"
zfc# Ocgf hnhkc, ~f hchl{qfj jhzh o}fy h pfykoj om zdyff
8/6/2019 TidyFS is a distributed file system for parallel computations - Whitepaper
11/14
Mknvyf ;1 Pyopoyzkoc om loghl, ~kzdkc yhge hcj gyoww yhge
jhzh yfhj nyovpfj i{ hnf om yfhjw#
boczdw, gocwkjfykcn hll ~ykzfw hcj wviwfxvfcz yfhjw zdhz
dhppfcfj kc zdf pfykoj# Moy fhgd phyz ~ykzzfc ~f govczfj
zdf cvbify om zkbfw zdf phyz ~hw wviwfxvfczl{ yfhj# Hw
oiwfy}fj myob zdf nyhpd, bhc{ phyzw hyf yfhj ocl{ ocgf
oy h wbhll cvbify om zkbfw# Zdfyf kw hlwo h lhynf cvbify
om phyzw ~dkgd hyf cf}fy yfhj hnhkc i{ mvzvyf aoiw#
Mknvyf 801 Cvbify om zkbfw h phyz kw yfhj hmzfy kz dhw iffc
oyknkchll{ ~ykzzfc#
Mkchll{, kc Mknvyf 88 ~f pyfwfcz yfwvlzw oc zdf lhwz
hggfww zkbf om phyzw# Moy f}fy{ phyz kc zdf w{wzfb, ~f
kjfczkm{ zdf lhwz zkbf kz ~hw yfhj, vp zo h bhtkbvb om
wktz{ jh{w, hcj ploz zdf gvbvlhzk}f yhzko om phyzw hw h
mvcgzkoc om zdfky lhwz yfhj zkbf# Hppyotkbhzfl{ zdkyz{
pfygfcz om zdf phyzw dhj coz iffc yfhj kc zdf pfykoj om
wktz{ jh{w, hcj yfhj hnfw hyf f}fcl{ jkwzykivzfj o}fy zdf
wktz{ jh{ pfykoj#
Mknvyf 881 Gvbvlhzk}f jkwzykivzkoc om phyzw o}fy zkbf
wkcgf phyzw lhwz hggfww#
:#7 Lhq{ }fywvw Fhnfy Yfplkghzkoc
Kc oyjfy zo f}hlvhzf zdf fmmfgzk}fcfww om lhq{ yfplkghzkoc,
~f nhzdfyfj wzhzkwzkgw hiovz zdf h}fyhnf zkbf ifmoyf phyzw
hyf yfplkghzfj# Zhilf 8 wdo~w zdf bfhc zkbf ifz~ffc h
phyz ifkcn hjjfj zo zdf w{wzfb hcj zdf gyfhzkoc om h yfplkgh
moy zdhz phyz o}fy h zdyff boczd zkbf ~kcjo~# Cfhyl{ >0&
om phyzw dh}f h yfplkgh gyfhzfj ~kzdkc =0 wfgocjw hcj 4:&
~kzdkc 9 bkcvzfw# ;=& om phyzw dh}f h yfplkgh ~kzdkc ocf
dovy# Phyzw zdhz hyf coz yfplkghzfj ~kzdkc ocf dovy hyf
jvf zo zdf cojf wfy}kgf oc zdf wzoyhnf gobpvzfy ~dfyf
zdf yfplkgh dhw iffc wgdfjvlfj ifkcn jkwhilfj moy w{wzfb
bhkczfchcgf# Zdf jhzh kc zdfwf phyzw kw wzkll h}hklhilfmyob zdf oyknkchl wzoyhnf gobpvzfy# Zdfyfmoyf, ~f cj
zdhz lhq{ yfplkghzkoc pyo}kjfw hggfpzhilf pfymoybhcgf moy
glvwzfyw om h mf~ dvcjyfj gobpvzfyw# ^f dh}f iffc ftpf"
ykfcgkcn hyovcj ocf vcyfgo}fyhilf gobpvzfy mhklvyf pfy
boczd, hcj dh}f coz wo mhy lowz hc{ vcyfplkghzfj jhzh hw h
gocwfxvfcgf#
Bfhc zkbf zo yfplkghzkoc $w+ Pfygfcz
0 " 70 =#>&
70 " =0 =9#;&
=0 " 890 8:#=&
890 " 700 8#8&
700 " =00 9#9&
=00 " 8900 :#6&
8900 " 7=00 7#:&
7=00 " :#6&
Zhilf 81 Bfhc zkbf zo yfplkghzkoc o}fy h zdyff boczd zkbf
kczfy}hl#
8/6/2019 TidyFS is a distributed file system for parallel computations - Whitepaper
12/14
:#: Yfplkgh Plhgfbfcz hcj Lohj Ihlhcgkcn
Hw jfwgykifj kc Wfgzkoc 7#:, ~f ~ovlj lkef Zkj{MW zo
hwwknc yfplkghw zo wzoyhnf gobpvzfyw vwkcn h polkg{ zdhz
ihlhcgfw zdf wpyfhj om phyzw pfy wzyfhb hgyoww gobpvzfyw
hw ~fll hw zdf zozhl myff wphgf h}hklhilf hz wzoyhnf gob"
pvzfyw# f gobphyf zdf z~o polkgkfw ~f kbplfbfczfj1
zdf kckzkhl wphgf"ihwfj polkg{ zdhz lfj zo pooyl{"ihlhcgfj
wzyfhbw, fwpfgkhll{ moy zdowf wzyfhbw ~kzd bhc{ wbhll
phyzw5 hcj zdf wviwfxvfcz ifwz"om"zdyff yhcjob gdokgf
polkg{#
f jfcf h lohj"ihlhcgkcn gofmgkfcz moy fhgd wzyfhb
i{ ghlgvlhzkcn zdf L9 jkwzhcgf ifz~ffc h }fgzoy yfpyfwfcz"
kcn zdf cvbify om phyzw myob h phyzkgvlhy wzyfhb hwwkncfj
zo h wpfgkg wzoyhnf gobpvzfy hcj zdf pfymfgzl{"ihlhcgfj
bfhc }fgzoy# Zdf gofmgkfcz kw gobpvzfj hw mollo~w1ck28$pk
yp
c+9 ~dfyf y kw zdf wzyfhb yfplkghzkoc mhg"
zoy, p kw zdf cvbify om phyzw kc zdf wzyfhb, pk kw zdf cvbify
om phyz yfplkghw wzoyfj hz cojf k, hcj c kw zdf cvbify om
gobpvzfyw kc zdf Yfhj^ykzf wzhzf kc zdf glvwzfy# fcoybhlkqf wo zdhz h gofmgkfcz om 8 goyyfwpocjw zo zdf
~oywz"ghwf wkzvhzkoc ~dfyf avwz y gobpvzfyw hyf vwfj zo
wzoyf hll zdf phyzw, ~dkgd lfhjw zo zdf mollo~kcn gobplfzf
fxvhzkoc1
8y$p yp
c+9 % $c y+$ yp
c+9
c
k28
$pk yp
c+9 $8+
Zdf lohj"ihlhcgkcn ifdh}koy ~hw hchl{qfj o}fy z~o
pfykojw om zkbf1 kc zdf ywz ocf, zdf wphgf"ihwfj polkg{
~hw vwfj5 kc zdf wfgocj ocf, zdf yhcjobkqfj polkg{# ^f
gobpvzfj, hz zdf fcj om fhgd jh{, zdf lohj ihlhcgkcngofmgkfcz om fhgd wzyfhb, hw nk}fc i{ Fxvhzkoc 8, hcj
zdf o}fyhll h}fyhnf o}fy hll wzyfhbw# Mknvyf 89 pyfwfczw
zdf h}fyhnf gofmgkfcz moy fhgd jh{ o}fy zdfwf z~o pfykojw#
Hw wdo~c kc zdf nvyf, wzyfhbw ~fyf wknckghczl{ ifzzfy
ihlhcgfj jvykcn zdf wfgocj pfykoj ~dfc zdf yhcjobkqfj
polkg{ ~hw ifkcn vwfj#
6 Yflhzfj oye
Zdf Zkj{MW jfwknc wdhyfw bhc{ gdhyhgzfykwzkgw ~kzd ozdfy
jkwzykivzfj wzoyhnf w{wzfbw zhynfzfj moy jhzh"kczfcwk}f
phyhllfl gobpvzhzkocw, ivz ~dfyf}fy powwkilf wkbplkfw oyyfbo}fw mfhzvyfw zo kbpyo}f zdf o}fyhll pfymoybhcgf om
zdf w{wzfb ~kzdovz lkbkzkcn kzw mvcgzkochlkz{ moy kzw zhynfz
~oyelohj# ^dklf wf}fyhl w{wzfbw ocl{ mogvw oc jflk}fykcn
hnnyfnhzf pfymoybhcgf zo h lhynf cvbify om glkfczw, ocf om
zdf bhkc nohlw ~kzd Zkj{MW kw zo hlwo fcgovyhnf bo}kcn
gobpvzhzkoc glowf zo zdf jhzh i{ pyo}kjkcn kczfymhgfw zdhz
hllo~ hpplkghzkocw zo loghzf hll yfplkghw om phyzw#
Lkef wf}fyhl jkwzykivzfj wzoyhnf w{wzfbw wvgd hw
Myhcnkphck U9=R, NPMW U97R, NMW U88R, DJMW U=, 9:R,
Mknvyf 891 Lohj ihlhcgkcn gofmgkfcz ~dfc vwkcn wphgf"
ihwfj polkg{ hnhkcwz yhcjobkqfj polkg{ moy yfplkgh plhgf"
bfcz#
PhchwhwMW U9>R hcj Vywh Bkcoy U96R, Zkj{MW wfphyhzfw
bfzhjhzh bhchnfbfcz myob jhzh wzoyhnf, hllo~kcn jhzh zo
if zyhcwphyfczl{ bo}fj oy yfplkghzfj ~kzdovz glkfcz eco~l"
fjnf# Wobf om zdfwf w{wzfbw jo coz bhkczhkc zdf bfzh"
jhzh kc gfczyhlkqfj wfy}fyw hcj wvppoyz gobplft yfhj hcj
~ykzf wfbhczkgw, fkzdfy i{ yfl{kcn oc jkwzykivzfj logekcn
hlnoykzdbw $Myhcnkphck, NPMW+, oy i{ bknyhzkcn bfzhjhzh
pykoy zo ftfgvzkcn bfzhjhzh opfyhzkocw $Vywh Bkcoy+#
Zkj{MW kw bowz wkbklhy zo NMW U88R hcj DJMW U=, 9:R#
Kz mollo~w zdfky gfczyhlkqfj bfzhjhzh wfy}fy jfwknc hcj
mogvwfw oc ~oyelohjw ~dfyf jhzh kw ~ykzzfc ocgf hcj yfhj
bvlzkplf zkbfw, ~dkgd wkbplkfw zdf cffjfj godfyfcg{
bojfl# Jfwpkzf zdf wkbklhykzkfw ~kzd NMW hcj DJMW,Zkj{MWw jfwknc jkmmfyw myob zdfwf w{wzfbw kc kbpoyzhcz
~h{w# Zdf bowz wknckghcz jkmmfyfcgf kw zdhz Zkj{MW vwfw
chzk}f kczfymhgfw zo yfhj hcj ~ykzf jhzh ~dklf NMW hcj
DJMW iozd wvppl{ zdfky o~c jhzh hggfww HPKw# Zdkw
jfwknc gdokgf lfhjw zo yflhzfj jkmmfyfcgfw kc, moy fthbplf,
yfplkghzkoc wzyhzfnkfw hcj phyz"wkqf jkwzykivzkoc#
Zkj{MW hlwo jkmmfyw myob NMW kc do~ kz hgdkf}fw yf"
wklkfcgf hnhkcwz bfzhjhzh wfy}fy gyhwdfw# NMW bhkczhkcw
gdfgepokczw hcj hc opfyhzkoc lon zo ~dkgd bfzhjhzh opfy"
hzkocw wdovlj if pfywkwzfj ifmoyf gdhcnfw ifgobf }kwkilf
zo glkfczw# Zkj{MW kcwzfhj bhkczhkcw bvlzkplf bfzhjhzh
wfy}fyw, hll om ~dkgd effp zyhge om hll zdf bfzhjhzh kc
zdf w{wzfb, hcj vwfw zdf Phtow U84R hlnoykzdb zo bhkc"zhkc gocwkwzfcg{ hgyoww zdf wfy}fyw# H wkbklhy hppyohgd
kw vwfj kc IoobMW U9R, h w{wzfb wkbklhy zo DJMW ivklz
myob jfglhyhzk}f lhcnvhnf wpfgkghzkocw#
Zkj{MWw hiklkz{ zo dhcjlf jhzhihwf phyzw fchilfw h d{"
iykj lhynf"wghlf jhzh hchl{wkw hppyohgd zdhz ftplokzw zdf
pfymoybhcgf ifcfzw om jhzhihwf w{wzfbw, wkbklhyl{ zo
zdf hppyohgd zhefc moy DhjoopJI U8R# DhjoopJI gob"
ikcfw BhpYfjvgf wz{lf gobpvzhzkocw ~kzd jhzhihwf w{w"
zfbw zo hgdkf}f zdf ifcfzw om iozd hppyohgdfw, hlzdovnd
8/6/2019 TidyFS is a distributed file system for parallel computations - Whitepaper
13/14
zdf jhzhihwfw hggfwwfj i{ DhjoopJI hyf coz wzoyfj kc
DJMW oy h yfplkghzfj lf w{wzfb# Zdf BhpYfjvgf myhbf"
~oye kw vwfj zo phyhllflkqf xvfykfw, ~dkgd hyf zdfc ftf"
gvzfj oc bvlzkplf wkcnlf"cojf jhzhihwf w{wzfbw# Jhzhihwf
phyzw wzoyfj kc Zkj{MW ghc if xvfykfj vwkcn Jy{hj hcj
Jy{hjLKCX kc wkbklhy ~h{w#
= Jkwgvwwkoc
Zkj{MW kw jfwkncfj zo wvppoyz ~oyelohjw }fy{ bvgd lkef
zdowf nfcfyhzfj i{ BhpYfjvgf hcj Dhjoop# Kz kw zdvw
chzvyhl zo gobphyf Zkj{MW zo NMW hcj DJMW, zdf lf w{w"
zfbw bowz gobbocl{ vwfj i{ BhpYfjvgf hcj Dhjoop
yfwpfgzk}fl{# Zdf bowz gocwfxvfczkhl jkmmfyfcgf kw zdf
jfgkwkoc moy Zkj{MW zo nk}fc glkfczw jkyfgz hggfww zo phyz
jhzh vwkcn chzk}f kczfymhgfw# Ovy ftpfykfcgf om zdf yf"
wvlzkcn wkbplkgkz{ hcj pfymoybhcgf, hw ~fll hw zdf fhwf
om wvppoyzkcn bvlzkplf phyz z{pfw wvgd hw WXL jhzhihwf,
dhw }hlkjhzfj ovy hwwvbpzkoc zdhz zdkw ~hw h wfcwkilf jf"
wknc gdokgf moy zdf zhynfz Jy{hj ~oyelohj# Zdf bhkc
jyh~ihge kw h loww om nfcfyhlkz{# Ozdfy w{wzfbw ivklz oc
NMW, wvgd hw IknZhilf U4R, vwf zdf hiklkz{ zo pfywkwz wbhll
hppfcjw hcj bhef zdfb }kwkilf zo ozdfy glkfczw kc oyjfy
zo hgdkf}f pfymoybhcgf hcj yflkhiklkz{, hcj zdf jfwkyf zo
wvppoyz hppfcjw kc DJMW kw yflhzfj zo zdf jfwkyf zo kbplf"
bfcz wkbklhy wfy}kgfw wvgd hw DIHWF oc zop om zdhz lf
w{wzfb U80R# H ef{ pokcz kc U90R kw zdhz zdf NMW wfbhczkgw
~fyf coz h nooj z moy hll om zdf hpplkghzkocw yhpkjl{ ivklz
oc NMW# Wobf kwwvfw zdhz hyf jfwgykifj kc U90R, wvgd hw
zdf wbhll lf pyoilfb, ghc if hjjyfwwfj kc glkfcz lkiyhykfw#
Ozdfy kwwvfw, kcglvjkcn kcgocwkwzfcz jhzh yfzvycfj zo zdf
glkfcz jfpfcjkcn oc ~dkgd yfplkgh ~hw yfhj hcj lhzfcg{ kw"wvfw ifghvwf NMW ~hw jfwkncfj moy dknd"zdyovndpvz, coz
lo~"lhzfcg{, ghccoz if hjjyfwwfj kc glkfcz lkiyhykfw# ^f
iflkf}f do~f}fy zdhz yhzdfy zdhc gobplkghzkcn zdf gob"
boc vwf ghwf om h jhzh"kczfcwk}f phyhllfl lf w{wzfb kz
bhefw boyf wfcwf zo hjj h wfphyhzf wfy}kgf moy yflkhilf
lonnkcn oy jkwzykivzfj xvfvfw# Zdkw ~hw jocf moy fthbplf
kc Yk}fy U:R hcj zdf Hbhqoc ^fi Wfy}kgf U7R hcj ~ovlj
if ovy gdokgf km ~f cffjfj zo hjj wvgd mvcgzkochlkz{ zo
ovy glvwzfy#
Hcozdfy mfhzvyf zdhz Zkj{MW lhgew hw h yfwvlz om ovy
gdokgf om chzk}f kczfymhgfw kw hvzobhzkg fhnfy yfplkghzkoc,
~kzd zdf ftgfpzkoc om opzkochl fhnfy yfplkghzkoc kc zdf jhzh
kcnyfww ghwf# Hnhkc ~f hyf dhpp{ ~kzd zdkw zyhjfomm# Kc zdf{fhy ~f dh}f iffc opfyhzkcn Zkj{MW ~f dh}f coz dhj h
wkcnlf phyz lowz ifmoyf yfplkghzkoc dhw gobplfzfj# Glfhyl{
zdkw kw pykbhykl{ ifghvwf om zdf yflhzk}fl{ wbhll wkqf om
ovy jfplo{bfcz, do~f}fy kz wvnnfwzw zdhz lf}fyhnkcn zdf
glkfczw ftkwzkcn mhvlz"zolfyhcgf zo yfplhgf lowz jhzh kw h
yfhwochilf hlzfychzk}f zo fhnfy yfplkghzkoc, jfwpkzf zdf
hjjkzkochl ~oye wpfcz kc zdf yhyf mhklvyf ghwfw#
Zdf chl bhaoy jkmmfyfcgf kw ovy lhge om goczyol o}fy
phyz wkqfw# Jy{hjLKCX pyonyhbw myfxvfczl{ bhef vwf om
zdf hiklkz{ zo ovzpvz wzyfhbw ~kzd fthgz, eco~c phyzkzkoc"
kcn, ~dkgd lfhjw zo wobfzkbfw wknckghcz pfymoybhcgf
kbpyo}fbfczw# Do~f}fy ~f jo hlwo dh}f zo jfhl ~kzd
pyoilfbw ghvwfj i{ ogghwkochl phyzw ~dkgd hyf }fy{ bvgd
lhynfy zdhc zdf h}fyhnf# Zdkw ghvwfj pyoilfbw ~kzd ovy
oyknkchl wkbplf yfplkghzkoc polkg{ zdhz moyzvchzfl{ ~fyf
fhw{ zo t ~kzd zdf wlkndzl{ boyf wopdkwzkghzfj ifwz"om"zdyff yhcjob polkg{# f iflkf}f zdhz zdf ftkwzfcgf om
}fy{ lhynf phyzw hlwo hjjw zo jkwe myhnbfczhzkoc hgyoww ovy
glvwzfy# Km kncoyfj, ~f dh}f movcj zdhz zdkw myhnbfczhzkoc
yfwvlzw kc jf}hwzhzkcn pfymoybhcgf pfchlzkfw hw phyzw hyf
wplkz kczo zdovwhcjw om myhnbfczw oy boyf, pyf}fczkcn zdf
wfxvfczkhl K/O zdhz kw cfgfwwhy{ moy dknd yfhj zdyovndpvz#
^f dh}f yfgfczl{ wzhyzfj zo hnnyfwwk}fl{ jfmyhnbfcz hll
jkwew kc zdf glvwzfy zo bkzknhzf zdkw pyoilfb#
^dklf ~f bozk}hzf zdf Zkj{MW jfwknc vwkcn nfcfyhl
pyopfyzkfw om jhzh kczfcwk}f wdhyfj"cozdkcn ~oyelohjw, kc
pyhgzkgf kz kw gvyyfczl{ vwfj hlbowz ftglvwk}fl{ i{ hpplkgh"
zkocw ftfgvzkcn vwkcn Jy{hj# Yhzdfy zdhc bhekcn Zkj{MW
boyf nfcfyhl, ocf jkyfgzkoc ~f hyf gocwkjfykcn kw kczf"nyhzkcn kz boyf zkndzl{ ~kzd ovy ozdfy glvwzfy wfy}kgfw# Km
hll K/O oc zdf glvwzfy ~fyf yfhjw oy ~ykzfw myob Zkj{MW,
Jy{hj kczfybfjkhzf jhzh wdvmkcn, hcj Zkj{MW yfplkgh"
zkoc zyhmg, zdfc wviwzhczkhl pfymoybhcgf ifcfzw bkndz
hggyvf myob kczfnyhzkcn K/O kczo zdf Xvkcg{ wgdfjvlkcn
myhbf~oye, hcj powwkil{ f}fc hjopzkcn gkygvkz"w~kzgdfj
cfz~oyekcn dhyj~hyf zo zhef hj}hczhnf om zdfwf eco~c
o~w# Hw bfczkocfj kc Wfgzkoc 9#9 zdkw zkndzfy kczfnyh"
zkoc bkndz gockgz ~kzd zdf gdokgf zo hllo~ glkfczw vcmfz"
zfyfj hggfww zo chzk}f K/O# Oc zdf ozdfy dhcj km zdf ocl{
glkfcz ~fyf Jy{hj, ~dkgd kw zyvwzfj zo oif{ wgdfjvlkcn
jfgkwkocw, zdf ifcfzw om K/O wgdfjvlkcn bkndz wzkll if
hgdkf}fj# Zkndzfy kczfnyhzkoc ~kzd Jy{hj ~ovlj hlwo lfz vw
yf}kwkz h jfwknc hlzfychzk}f ~f dhj oyknkchll{ gocwkjfyfj,
~dkgd kw zo flkbkchzf zdf cojf wfy}kgf hlzonfzdfy hcj pfy"
moyb hll dovwfeffpkcn zhwew vwkcn Jy{hj pyonyhbw# ^f
hihcjocfj zdkw pozfczkhll{ wkbplkm{kcn hppyohgd pykbhy"
kl{ ifghvwf om zdf jkmgvlz{ om fcwvykcn zdhz Jy{hj ~ovlj
yvc dovwfeffpkcn zhwew oc wpfgkg gobpvzfyw kc h zkbfl{
mhwdkoc ~kzd kzw gvyyfcz mhkycfww hcj loghlkz{ polkgkfw#
^f dh}f yfgfczl{ yfkbplfbfczfj zdf bfzhjhzh wfy}fy
oc zop om h yfplkghzfj WXL jhzhihwf kcwzfhj om zdf G%%
hcj YWL kbplfbfczhzkoc jfwgykifj kc zdkw phpfy# Zdkw
yhjkghll{ yfjvgfw zdf cvbify om lkcfw om co}fl gojf kc
zdf w{wzfb i{ yfl{kcn oc zdf ftzfcwk}f ivz bhzvyf WXLWfy}fy gojfihwf# Ovy bhkc gocgfyc kw ~dfzdfy gobphyh"
ilf pfymoybhcgf ghc if fhwkl{ hzzhkcfj vwkcn WXL, ~dkgd
kw vchilf zo pfymoyb mhwz yfhjw hw jfwgykifj kc Wfgzkoc 7#=
~kzdovz zdf hjjkzkoc om h gvwzob ghgdkcn lh{fy, hcj ~f
hyf gvyyfczl{ f}hlvhzkcn zdkw zyhjfomm#
O}fyhll ~f hyf plfhwfj ~kzd zdf pfymoybhcgf, wkbplkgkz{
hcj bhkczhkchiklkz{ om Zkj{MW# I{ gocgfczyhzkcn oc h
wkcnlf ~oyelohj zdhz nfcfyhzfw h }fy{ lhynf hbovcz om
K/O zyhmg ~f ~fyf hilf zo yf}kwkz jfwknc jfgkwkocw bhjf
8/6/2019 TidyFS is a distributed file system for parallel computations - Whitepaper
14/14
i{ h wvggfwwkoc om pyf}kovw lf w{wzfbw# Zdf yfwvlzkcn
wkbplkghzkocw dh}f bhjf zdf gojf fhwkfy zo ~ykzf, jfivn,
hcj bhkczhkc#
Hgeco~lfjnbfczw
^f ~ovlj lkef zo zdhce Bkdhk Ivjkv, Aoc Gvyyf{, Yfifggh
Kwhhgw, Myhce BgWdfyy{, Bhyg Chaoye, Gdhcjv Zdfeehzd,
hcj [vhc [v moy zdfky kc}hlvhilf mffjihge, iozd oc zdkw
phpfy hcj moy bhc{ dflpmvl jkwgvwwkocw hiovz zdf Zkj{MW
w{wzfb jfwknc# f ~ovlj hlwo lkef zo zdhce zdf hcoc{"
bovw yf}kf~fyw hcj ovy wdfpdfyj, ^klwoc Dwkfd, moy zdfky
dflpmvl gobbfczw#
Yfmfyfcgfw
U8R HIOVQKFJ, H#, IHAJH"PH^LKEO^WEK, E#, HIHJK, J# A#, W KL "
IFYWGDHZQ, H#, HCJ YHWKC, H# DhjoopJI1 Hc hygdkzfgzvyhl
d{iykj om BhpYfjvgf hcj JIBW zfgdcolonkfw moy hchl{zkghl ~oye"
lohjw# Kc Pyogffjkcnw om zdf 76zd Gocmfyfcgf oc ]fy{ Lhynf JhzhIhwfw $]LJI+ $L{oc, Myhcgf, 900;+#
U9R HL]HYO, P#, GOCJKF, Z # , GOC^H[, C # , FLBFLFFN[, E#,
DFLLFYWZFKC , A# B#, HCJ WFHYW, Y# IOOB hchl{zkgw1 Ft"
ploykcn jhzh"gfczykg, jfglhyhzk}f pyonyhbbkcn moy zdf glovj# Kc
Pyogffjkcnw om zdf 6zd Fvyopfhc Gocmfyfcgf oc Gobpvzfy W{wzfbw
$FvyoW{w+ $Phykw, Myhcgf, 9080+#
U7R Hbhqoc fi Wfy}kgfw# dzzp1//h~w#hbhqoc#gob/#
U:R HYPHGK"J VWWFHV, Y # D#, HCJFYWOC, F # , ZYFVDHMZ, C#,
GVLLFY, J# F#, DFLLFYWZFKC , A# B#, PHZZFYWOC, J#, HCJ
[FLKGE, E# Glvwzfy K/O ~kzd Yk}fy1 bhekcn zdf mhwz ghwf gob"
boc# Kc Pyogffjkcnw om zdf =zd ^oyewdop oc K/O kc Phyhllfl hcj
Jkwzykivzfj W{wzfbw $KOPHJW+ $Hzlhczh, NH, VWH, 8;;;+#
U6R IHKYH]HWVCJHYHB, L# C#, NOOJWOC, N# Y#, PHWVPHZD[, W#,
HCJ WGDKCJLFY, A# Hc hchl{wkw om lhzfcz wfgzoy fyyoyw kc jkwejyk}fw# Kc Pyogffjkcnw om zdf Gocmfyfcgf oc Bfhwvyfbfcz hcj
Bojflkcn om Gobpvzfy W{wzfbw $WKNBFZYKGW+ $Whc Jkfno, GH,
VWH, 900>+#
U=R IOYZDHEVY, J# DJMW hygdkzfgzvyf# Zfgd# yfp#, Hphgdf Womz"
~hyf Movcjhzkoc, 9004#
U>R IYOJFY, H# Wobf hpplkghzkocw om yhikcw cnfypykczkcn bfzdoj#
Kc Wfxvfcgfw KK1 Bfzdojw kc Gobbvckghzkocw, Wfgvykz{, hcj Gob"
pvzfy Wgkfcgf $8;;7+, Wpykcnfy ]fylhn, pp# 8:7869#
U4R GDHCN, M#, JFHC , A#, NDFBH^HZ, W#, DWKFD, ^# G#, ^HL "
LHGD, J# H#, IVYYO^W, B#, GDHCJYH , Z#, MKEFW, H#, HCJ
NYVIFY, Y# F# Iknzhilf1 H jkwzykivzfj wzoyhnf w{wzfb moy wzyvg"
zvyfj jhzh# Kc Pyogffjkcnw om zdf >zd W{bpowkvb oc Opfyhzkcn
W{wzfbw Jfwknc hcj Kbplfbfczhzkoc $OWJK++ $Wfhzzlf, ^H, VWH,
900=+#
U;R JFHC , A#, HCJ NDFBH^HZ, W# BhpYfjvgf1 Wkbplkfj jhzh
pyogfwwkcn oc lhynf glvwzfyw# Kc Pyogffjkcnw om zdf =zd W{bpowkvb
oc Opfyhzkcn W{wzfbw Jfwknc hcj Kbplfbfczhzkoc $OWJK+ $Whc
Myhcgkwgo, GH, VWH, 900:+#
U80R Mklf hppfcjw kc DJMW# dzzp1//~~~#glovjfyh#gob/ilon/900;/0>/lf"
hppfcjw"kc"djmw/#
U88R NDFBH^HZ, W#, NOIKOMM , D#, HCJ LFVCN, W#"Z# Zdf Noonlf
lf w{wzfb# Kc Pyogffjkcnw om zdf 8;zd W{bpowkvb oc Opfyhzkcn
W{wzfbw Pykcgkplfw $WOWP+ $Iolzoc Lhcjkcn, C[, VWH, 9007+#
U89R NVCJH, P# E#, YH]KCJYHCHZD , L#, ZDFEEHZD, G# H#, [V,
[#, HCJ QDVHCN, L# Cfgzhy1 Hvzobhzkg bhchnfbfcz om jhzh
hcj gobpvzhzkoc kc jhzh gfczfyw# Kc Pyogffjkcnw om zdf ;zd W{bpo"
wkvb oc Opfyhzkcn W{wzfbw Jfwknc hcj Kbplfbfczhzkoc $OWJK+
$]hcgov}fy, Ghchjh, 9080+#
U87R Dhjoop ~kek# dzzp1//~kek#hphgdf#oyn/dhjoop/, Hpykl 9004#
U8:R Zdf DK]F pyoafgz# dzzp1//dhjoop#hphgdf#oyn/dk}f/#
U86R KWHYJ, B# Hvzopkloz1 hvzobhzkg jhzh gfczfy bhchnfbfcz#
WKNOPW Opfy# W{wz# Yf}# :8, 9 $900>+, =0=>#
U8=R KWHYJ, B#, IVJKV, B#, [V, [#, IKYYFLL, H#, HCJ MFZZFYL[,
J# Jy{hj1 Jkwzykivzfj jhzh"phyhllfl pyonyhbw myob wfxvfczkhl
ivkljkcn ilogew# Kc Pyogffjkcnw om 9cj Fvyopfhc Gocmfyfcgf oc
Gobpvzfy W{wzfbw $FvyoW{w+ $Lkwioc, Poyzvnhl, 900>+#
U8>R KWHYJ, B#, PYHIDHEHYHC, ]#, GVYYF[, A # , ^KFJFY, V#,
ZHL^HY, E#, HC J NOLJIFYN, H# Xvkcg{1 mhky wgdfjvlkcn
moy jkwzykivzfj gobpvzkcn glvwzfyw# Kc Pyogffjkcnw om zdf 99cj
W{bpowkvb oc Opfyhzkcn W{wzfbw Pykcgkplfw $WOWP+ $Ikn We{,
BZ, VWH, 900;+#
U84R LHBPOYZ, L# Zdf phyz"zkbf phylkhbfcz# HGB Zyhcw# Gobpvz#
W{wz# 8=, 9 $8;;4+, 8778=;#
U8;R BHGGOYBKGE, A # , BVYPD[, C#, YHBHWVIYHBHCKHC, ]#,
^KFJFY, V#, [HCN , A#, HCJ QDOV , L# Ekcfwkw1 H cf~ hppyohgdzo yfplkgh plhgfbfcz kc jkwzykivzfj wzoyhnf w{wzfbw# HGB Zyhcw#
Wzoyhnf :, : $900;+, 894#
U90R BGEVWKGE, B# E#, HC J XVKCLHC, W# NMW1 F}olvzkoc oc
mhwz"moy~hyj# Xvfvf > $Hvnvwz 900;+, 8018080190#
U98R BKZQFCBHGDFY , B#, YKGDH, H# ^#, HCJ WKZHYHBHC, Y#
Zdf po~fy om z~o yhcjob gdokgfw1 H wvy}f{ om zfgdckxvfw hcj
yfwvlzw# Kc Dhcjiooe om Yhcjobkqfj Gobpvzkcn $9008+, Elv~fy,
pp# 966789#
U99R OLWZOC, G#, YFFJ , I#, WYK]HWZH]H, V#, EVBHY, Y#, HCJ
ZOBEKCW, H # Pkn Lhzkc1 H coz"wo"moyfknc lhcnvhnf moy jhzh
pyogfwwkcn# Kc Pyogffjkcnw om zdf 94zd Kczfychzkochl Gocmfyfcgf
oc Bhchnfbfcz om Jhzh $WKNBOJ+ $]hcgov}fy, Ghchjh, 9004+#
U97R WGDBVGE , M#, HCJ DHWEKC, Y# NPMW1 H wdhyfj"jkwe lf w{wzfb
moy lhynf gobpvzkcn glvwzfyw# Kc Pyogffjkcnw om zdf 8wz Gocmfyfcgfoc Mklf hcj Wzoyhnf Zfgdcolonkfw $MHWZ+ $Boczfyf{, GH, 9009+#
U9:R WD]HGDEO, E# ]# DJMW wghlhiklkz{1 Zdf lkbkzw zo nyo~zd# 5lonkc
76, 9 $Hpykl 9080+#
U96R WKCCHBODKJFFC , W#, WHBIHWK]HC, Y# Y#, DFCJYKGEW, A#,
LKV , L#, HCJ NHCNFY, N# Y# H zyhcwphyfczl{"wghlhilf bfzhjhzh
wfy}kgf moy zdf Vywh Bkcoy wzoyhnf w{wzfb# Kc Pyogffjkcnw om zdf
VWFCKT Hccvhl Zfgdckghl Gocmfyfcgf $VWFCKT+ $Ifyeflf{, GH,
VWH, 9080+#
U9=R ZDFEEHZD, G# H#, BHCC , Z#, HCJ LFF, F# E# Myhcnkphck1
h wghlhilf jkwzykivzfj lf w{wzfb# Kc Pyogffjkcnw om zdf 8=zd
W{bpowkvb oc Opfyhzkcn W{wzfbw Pykcgkplfw $WOWP+ $Whkcz Bhlo,
Myhcgf, 8;;>+#
U9>R ^FLGD, I # , VCHCNWZ, B # , HIIHWK, Q # , NKIWOC, N #,
BVFLLFY, I#, WBHLL, A#, QFLFCEH, A#, HCJ QDOV , I# Wghl"
hilf pfymoybhcgf om zdf Phchwhw phyhllfl lf w{wzfb# Kc Pyo"
gffjkcnw om zdf =zd Gocmfyfcgf oc Mklf hcj Wzoyhnf Zfgdcolonkfw
$MHWZ+ $Whc Aowf, GH, VWH, 9004+#
U94R [V, [#, KWHYJ, B#, MFZZFYL[, J#, IVJKV, B#, FYLKCNWWOC ,V#, NVCJH, P# E#, HCJ GVYYF[, A# Jy{hjLKCX1 H w{wzfb moy
nfcfyhl"pvypowf jkwzykivzfj jhzh"phyhllfl gobpvzkcn vwkcn h dknd"
lf}fl lhcnvhnf# Kc Pyogffjkcnw om zdf 4zd W{bpowkvb oc Opfyhzkcn
W{wzfbw Jfwknc hcj Kbplfbfczhzkoc $OWJK+ $Whc Jkfno, GH,
VWH, 9004+#