Жылтырату (файлдық жүйе) - Lustre (file system)

«Кластерлік файлдық жүйелер» осында қайта бағытталады. Жалпы термин үшін қараңыз Кластерлік файлдық жүйе. Бағдарламалау тілі туралы қараңыз Жылтыр (бағдарламалау тілі).
Жылтыр
Luster файлдық жүйесі logo.gif
Бастапқы шығарылым16 желтоқсан 2003 ж; 16 жыл бұрын (2003-12-16)[1]
Тұрақты шығарылым
2.13.0 (соңғы шығарылым), [2]

2.12.5 (техникалық қызмет көрсетудің соңғы нұсқасы), [3]

/ 8 маусым 2020 ж; 5 ай бұрын (2020-06-08)
Репозиторийбару.whamcloud.com? p = fs% 2Flustre-release.git
ЖазылғанC
Операциялық жүйеLinux ядросы
ТүріТаратылған файлдық жүйе
ЛицензияGPL v2 LGPL
Веб-сайтжылтырлығы.org
Кластерлік файлдық жүйелер, Inc.
Жеке
Құрылған2001
ҚұрылтайшыПитер Дж. Браам
Штаб
Боулдер, Колорадо
Негізгі адамдар
Андреас Дилгер, Эрик Бартон (HPC), Фил Шван
ӨнімдерЖылтыр файлдық жүйесі
Жылтыр
ТаныстырылдыЖелтоқсан, 2003 Linux-мен
Құрылымдар
Каталог мазмұныХэш, DNE-мен 2,7+ аралықтағы Hash
Файл түріфайл, каталог, қатты сілтеме, символ сілтемесі, арнайы блок, арнайы таңба, розетка, FIFO
ЖүктелетінЖоқ
Шектер
Мин. көлем мөлшері32 МБ
Макс. көлем мөлшері300 PB (өндіріс), 16 EB жоғары (теориялық)
Макс. файл өлшемі3.2 PB (ext4), 16 EB (ZFS)
Файл өлшемінің түйіршіктігі4 КБ
Макс. файлдар саныБір метадерек мақсатына арналған мақсат (MDT): 4 миллиард файл (ldiskfs backend), 256 триллион файл (ZFS backend),[4] бір файлдық жүйеге 128 MDT дейін
Макс. файл атауының ұзындығы255 байт
Макс. лақаптың ұзындығы255 байт
Макс. каталогтың тереңдігі4096 байт
Файл аттарындағы рұқсат етілген таңбаларNUL (' 0') және '/' қоспағанда, барлық байт және арнайы файл атаулары. « және »..»
Ерекшеліктер
Жазылған күндермодификация (mtime), атрибутты өзгерту (ctime), қатынасу (atime), жою (dtime), құру (crtime)
Күндер диапазоны2 ^ 34 бит (ext4), 2 ^ 64 бит (ZFS)
Шешім күні1 с
ШанышқыларЖоқ
Атрибуттар32bitapi, acl, cheumsum, отар, lazystatfs, localflock, lruresize, noacl, noochecksum, noflock, nolazystatfs, nolruresize, nouser_fid2path, nouser_xattr, user_fid2path, user_xattr
Файлдық жүйеге арналған рұқсаттарPOSIX, POSIX.1e ACL, SELinux
Мөлдір қысуИә (тек ZFS)
Мөлдір шифрлауИя (желі, сақтау орны тек ZFS 0.8-де)
Деректердің қосарлануыИә (тек ZFS)
Жазуға көшіруИә (тек ZFS)
Басқа
Қолдау көрсетіледі операциялық жүйелерLinux ядросы

Жылтыр параллельдің бір түрі болып табылады таратылған файлдық жүйе, әдетте кең ауқымда қолданылады кластерлік есептеу. Luster атауы - а портмантау сөзі алады Linux және кластер.[5] Luster файлдық жүйесінің бағдарламалық жасақтамасы GNU жалпыға ортақ лицензиясы (тек 2-нұсқасында) және шағын жұмыс топтарының кластерлерінен ауқымды, көп сайтты жүйелерге дейінгі көлемдегі компьютерлік кластерлер үшін жоғары өнімді файлдық жүйелерді ұсынады. 2005 жылдың маусымынан бастап Luster үнемі үздік ондықтың жартысы, ал ең жылдам 100-дің 60-тан астамы үнемі қолданылады. суперкомпьютерлер Әлемде,[6][7][8]соның ішінде әлемдегі №1 рейтингте TOP500 маусымда суперкомпьютер, Фугаку,[9] сияқты алдыңғы суперкомпьютерлер сияқты Титан[10] және Секвойя.[11]

Жылтыратқыштың файлдық жүйелері масштабты болып табылады және он мыңдаған бірнеше компьютерлік кластерлердің бөлігі бола алады клиент түйіндер, ондаған петабайттар (PB) жүздеген серверлерде және терабайттан жоғары секундына (ТБ / с) жиынтық енгізу / шығару өткізу қабілеті.[12][13] Бұл Luster файлдық жүйелерін ірі деректер орталығы бар, соның ішінде сияқты салалардағы бизнес үшін танымал таңдау етеді метеорология, модельдеу,[14] мұнай және газ, өмір туралы ғылым, бай бұқаралық ақпарат құралдары және қаржы.[15] Luster енгізу-шығару өнімділігі осы қосымшаларға кеңінен әсер етіп, көпшіліктің назарын аударды.[16][17][18][19]

Тарих

Luster файлдық жүйесінің архитектурасы ғылыми жоба ретінде 1999 жылы басталды Питер Дж. Браам, кім болды? Карнеги Меллон университеті (CMU) сол уақытта. Браам 2001 жылы өзінің жеке кластерлік файлдық жүйелерін құрды,[20] бастап жұмыстан бастап InterMezzo файлдық жүйесі ішінде Coda жобасы CMU-да.[21]Жылтырлығы дамыған Жеделдетілген стратегиялық есептеу бастамасы «Алға жол» жобасы қаржыландырылады Америка Құрама Штаттарының Энергетика министрлігі, оған кірді Hewlett-Packard және Intel.[22]2007 жылдың қыркүйегінде, Sun Microsystems зияткерлік меншікті қоса алғанда, кластерлік файл жүйелерінің активтерін сатып алды.[23][24]Күнге Люстра қосылды жоғары өнімді есептеу Luster технологияларын Sun's-ке жеткізу мақсатында аппараттық ұсыныстар ZFS файлдық жүйе және Solaris операциялық жүйе. 2008 жылдың қарашасында Браам Sun Microsystems-тен кетіп, Эрик Бартон мен Андреас Дилгер жобаны бақылауға алды. 2010 ж. Oracle корпорациясы, оны сатып алу арқылы Күн, басқара бастады және босату Люстер.

2010 жылдың желтоқсанында Oracle Luster 2.x дамуын тоқтататынын және Luster 1.8 файлдық жүйенің болашақ дамуына қатысты белгісіздік тудырып, тек техникалық қолдау көрсетуге орналастыратынын мәлімдеді.[25]Осы хабарламадан кейін Whamcloud-ты қоса алғанда, қоғамдастықты дамытудың ашық моделінде қолдау мен дамуды қамтамасыз ететін бірнеше жаңа ұйымдар пайда болды,[26]Open Scalable File Systems, Inc. (OpenSFS), EUROPEAN Open File Systems (EOFS) және басқалары. 2010 жылдың аяғында Luster-тің көптеген жасаушылары Oracle-дан кетті. Браам және оның бірнеше серіктестері аппаратураға бағытталған Xyratex ол ClusterStor активтерін сатып алған кезде,[27][28]Бартон, Дилгер және басқалар Whamcloud бағдарламалық жасақтамасын құрды, сол жерде олар Лустерде жұмысын жалғастырды.[29]

2011 жылдың тамызында, OpenSFS Whustcloud-қа Luster функциясын әзірлеуге келісімшарт жасады.[30] Бұл келісімшарт Luster-ге көп ядролы метамәліметтер серверінің артықшылығын жақсартуға мүмкіндік беретін бірыңғай серверлік метадеректердің өнімділігі масштабын жақсартуды қоса, функцияларды аяқтауды қамтыды; файлдық жүйені тарату және пайдалану кезінде метамәліметтер мен серверлер арасындағы деректер жүйесінің жай-күйін тексеруге мүмкіндік беретін Luster-дің онлайн-таратылған файл жүйесін тексеру (LFSCK); және таратылған аттар кеңістігінің ортасы (DNE), бұрын кластерлік метамәліметтер (CMD), бұл Luster метадеректерін бірнеше серверлерге таратуға мүмкіндік береді. Сондай-ақ, ZFS-ге негізделген объектілерді сақтау бойынша әзірлеу жалғасты Лоуренс Ливермор ұлттық зертханасы.[11] Бұл мүмкіндіктер Luster 2.2-ден 2.4-ке дейін қоғамдастықтың жол картасында болды.[31]2011 жылдың қарашасында Whustcloud-қа Luster 2.x бастапқы кодына техникалық қызмет көрсету үшін Luster коды жеткілікті сынақтан өтіп, жаңа функциялар әзірленіп жатқанда қателерді түзету үшін бөлек келісімшарт жасалды.[32]

2012 жылдың шілдесінде Whamcloud сатып алды Intel,[33][34] Whamcloud FastForward DOE келісімін жеңіп алғаннан кейін Luster-ті кеңейтуге мүмкіндік береді экзакальды есептеу жүйелер 2018 мерзімде.[35] OpenSFS содан кейін Luster-ті дамытуға арналған келісімшарттар Intel-ге өтті.

2013 жылдың ақпанында Xyratex Ltd. Oracle компаниясынан Luster сауда маркасын, логотипін, веб-сайтын және онымен байланысты зияткерлік меншікті сатып алғандығын жариялады.[27] 2013 жылдың маусымында Intel Luster-ті дәстүрлі HPC-ден тыс кеңейте бастады, мысалы, ішіндегідей Hadoop.[36] Жалпы 2013 жыл үшін OpenSFS Luster мүмкіндіктерін дамыту, параллельді файлдық жүйенің құралдары, Luster техникалық қарызын шешу және параллельді файлдық жүйелік инкубаторлар бойынша ұсыныстарға сұраным (RFP).[37] OpenSFS сонымен қатар Luster қауымдастық порталы құрылды, ол Luster ашық бастапқы қоғамдастығын қолдау үшін анықтама мен нұсқаулық үшін бір салада ақпарат пен құжаттама жиынтығын ұсынады. 2014 жылдың 8 сәуірінде Кен Клэфи Xyratex / Seagate сыйға тартқанын хабарлады lustre.org домен қайтадан пайдаланушылар қауымдастығына,[38] және бұл 2015 жылдың наурыз айында аяқталды.

2018 жылдың маусымында Luster командасы мен активтерін Intel компаниясы сатып алды DDN. DDN жаңа сатып алуды жаңа бөлім үшін Whamcloud атауын қайта жандандырып, тәуелсіз бөлім ретінде ұйымдастырды.[39]

2019 жылдың қарашасында, OpenSFS және EOFS кезінде жарияланды SC19 Luster сауда маркасы оларға бірлесіп берілген Luster BOF Seagate.[40]

Шығарылым тарихы

Luster файлдық жүйесі өндіріске 2003 жылы наурызда MCR Linux кластерінде орнатылды Лоуренс Ливермор ұлттық зертханасы,[41] сол кездегі ең үлкен суперкомпьютердің бірі.[42]

Luster 1.0.0 2003 жылдың желтоқсанында шығарылды,[1] және Luster файл жүйесінің негізгі функционалдығын, соның ішінде сервердің істен шығуы мен қалпына келуін қамтамасыз етті.

2004 жылдың наурызында шыққан Luster 1.2.0 жұмыс істеді Linux ядросы 2.6 және жазуға ұшыраған файлдардағы құлыптың күшін жоятын және клиенттік деректерді кері қайтару кэшін есепке алудың (гранттың) алдын-алу үшін «өлшемді қарау» мүмкіндігі болды.

2004 жылдың қараша айында шығарылған Luster 1.4.0 нұсқалары арасындағы протоколдардың үйлесімділігін қамтамасыз ете алады InfiniBand желілерге ие, және ішіндегі / mballoc-ті қолдана алады ldiskfs дискідегі файлдар жүйесі.

2007 жылдың сәуірінде шыққан Luster 1.6.0 серверлерді «mkfs» және «mount» -мен теңшеуге мүмкіндік беретін монтаждық конфигурацияны («mountconf»), динамикалық қосуды рұқсат етті нысанды сақтау мақсаттары (OST), Luster таратылған құлыптау менеджерінің (LDLM) масштабталуы қосулы симметриялық мультипроцесс (SMP) серверлері және объектілерді орналастыру үшін кеңістікті басқаруды қамтамасыз етті.

2009 жылдың мамырында шығарылған Luster 1.8.0 OSS кэшін қамтамасыз етті, көптеген ақаулар кезінде қалпына келтіруді жақсартты, OST бассейндері арқылы негізгі гетерогенді сақтауды басқарды, желінің адаптивті күту уақыты және нұсқаға негізделген қалпына келтіру. Бұл Luster 1.6 және Luster 2.0 екеуімен үйлесімді болатын өтпелі шығарылым болды.[43]

2010 жылдың тамызында шыққан Luster 2.0 үлкен архитектуралық жетістіктерге дайындалу үшін ішкі қайта құрылымдалған маңызды кодқа негізделген. 2.x жылтырлығы клиенттер 1.8 немесе одан ертерегімен жұмыс істей алмайды серверлер. Алайда Luster 1.8.6 және одан кейінгі клиенттер Luster 2.0 және одан кейінгі серверлермен өзара әрекеттесе алады. Metadata Target (MDT) және OST дискісіндегі 1.8-ден форматты файлдық жүйені қайта форматтауды қажет етпестен 2.0 және одан кейінгі нұсқаларға дейін жаңартуға болады.

2011 жылдың қыркүйегінде шығарылған Luster 2.1 - бұл Oracle Luster 2.x шығарылымдарының дамуын тоқтатуға жауап ретінде бүкіл қоғамдастықтың бастамасы.[44] Ол Red Hat Linux 6-да серверлерді іске қосу мүмкіндігін қосып, ext4 негізіндегі OST максималды көлемін 24 ТБ-дан 128 ТБ-ға дейін арттырды,[45] сонымен қатар өнімділік пен тұрақтылықтың бірқатар жақсартулары. Luster 2.1 серверлері 1.8.6 және одан кейінгі клиенттермен жұмыс істей берді.

2012 жылдың наурызында шыққан Luster 2.2, метамәліметтердің өнімділігі мен жаңа мүмкіндіктерін жақсартуға бағытталған.[46] Ол бірнеше клиенттерге бір уақытта бір үлкен каталогты айналып өтуге және өзгертуге, сервердің ақауларын тез қалпына келтіруге, бір файл үшін жолақ санын көбейтуге мүмкіндік беретін параллель каталог операцияларын қосты (2000 OST дейін) және бір клиенттік каталогтың травервальды жұмысын жақсартты.

2012 жылдың қазан айында шыққан Luster 2.3, көптеген CPU ядроларымен (16-дан жоғары) түйіндердегі ішкі бұғаттаудағы тосқауылдарды жою үшін метадеректер серверінің кодын жақсартуды жалғастырды. Объектілер дүкені алдын-ала пайдалану қабілетін қосты ZFS файлдық жүйе ретінде. Luster File System ChecK (LFSCK) мүмкіндігі файлдық жүйе қолданыста болған кезде, файл деңгейіндегі сақтық көшірмеден / қалпына келтіруден кейін немесе MDS бұзылған жағдайда MDS объектілер индексін (OI) тексеріп, жөндей алады. Сияқты серверлік IO статистикасы пакеттік жұмыс жоспарлаушыларымен интеграциялануға мүмкіндік беру үшін жақсартылды ЕҢБЕК бір жұмыс орнына статистиканы қадағалау. Клиенттерге арналған бағдарламалық жасақтама 3.0 нұсқасына дейін Linux ядроларымен жұмыс істеу үшін жаңартылды.

2013 жылдың мамырында шыққан Luster 2.4 көптеген негізгі функцияларды қосты, көбісі тікелей қаржыландырылды OpenSFS. Таратылған аттар кеңістігінің ортасы (DNE) метадеректердің көлденең сыйымдылығы мен масштабын 2,4 клиентке мүмкіндік береді, бұл бір аттар кеңістігінің ішкі каталогтарын жеке MDT-де орналастыруға мүмкіндік береді. ZFS енді MDT және OST сақтаудың резервтік файлдық жүйесі ретінде пайдалануға болады. LFSCK мүмкіндігі MDT FID және LinkEA атрибуттарының ішкі сәйкестігін сканерлеу және тексеру мүмкіндігін қосты. Желіге сұранысты жоспарлаушы[47][48](NRS) дискіге тапсырыс беру немесе әділеттілік үшін клиенттің сұранысын өңдеуді оңтайландыру саясатын қосады. Клиенттер өз қалауы бойынша көлемін 4 МБ дейінгі көлемде RPC жібере алады. Клиенттерге арналған бағдарламалық жасақтама Linux ядроларымен 3.6 нұсқасына дейін жұмыс істейтін етіп жаңартылды және әлі күнге дейін 1,8 клиентпен жұмыс істейді.

2013 жылдың қазан айында шыққан Luster 2.5 жоғары күтілген функцияны қосты, Иерархиялық сақтауды басқару (HSM). Кәсіпорын ортасындағы негізгі талап HSM тұтынушыларға деңгейлік сақтау шешімдерін өз жұмыс ортасында оңай енгізуге мүмкіндік береді. Бұл шығарылым Luster-тің ағымдағы OpenSFS-техникалық қызмет көрсету релизі болып табылады.[49][50][51][52] Соңғы техникалық қызмет көрсету нұсқасы - 2.5.3 және 2014 жылдың қыркүйегінде шығарылды.[53]

Luster 2.6, 2014 жылы шілдеде шыққан,[54] LFSCK функционалдығын қосып, OST бойынша жергілікті консистенцияны және MDT мен OST нысандары арасындағы консистенцияны тексеруді қосу үшін қарапайым шығарылым мүмкіндігі болды. NRS Token Bucket сүзгісі[55](TBF) саясаты қосылды. Бір клиенттің IO өнімділігі алдыңғы шығарылымдарға қарағанда жақсарды.[56] Бұл шығарылым сонымен қатар DNE жолақты каталогтарының алдын-ала қарауын қосып, өнімділік пен масштабтауды жақсарту үшін бірнеше үлкен MDT-де жалғыз үлкен каталогтарды сақтауға мүмкіндік берді.

Luster 2.7, 2015 жылы наурызда шыққан,[57] бірнеше MDT арасындағы қашықтағы және жолақты каталогтардың DNE дәйектілігін тексеру үшін LFSCK функциясын қосты. Dynamic LNet Config жұмыс уақытында LNet желілік интерфейстерін, маршруттары мен маршрутизаторларын теңшеу және өзгерту мүмкіндігін қосады. Әр түрлі әкімшілік домендері бар клиенттер үшін UID / GID карталарын бейнелеу үшін жаңа бағалау мүмкіндігі қосылды, сонымен қатар DNE жолақ каталогының жұмысын жақсартты.

Luster 2.8, 2016 жылдың наурызында шыққан,[58] MDN және cross-MDT арасында каталогтарды тасымалдауға қолдауды қоса, жолақты DNE жолағын аяқтады қатты сілтеме және атауын өзгерту. Оған жақсартылған қолдау кірді Қауіпсіздігі жақсартылған Linux (SELinux ) клиентте, Керберос желі арқылы аутентификация және RPC шифрлау және LFSCK үшін өнімділігін жақсарту.

Luster 2.9 2016 жылдың желтоқсанында шығарылды[59]және қауіпсіздік пен өнімділікке қатысты бірқатар ерекшеліктерді қамтыды. Ортақ құпия кілттің қауіпсіздік хош иісі дәл осылай қолданылады GSSAPI клиенттің және сервер түйіндерінің аутентификациясын және RPC хабарламасының тұтастығы мен қауіпсіздігін (шифрлау) қамтамасыз ететін Kerberos ретінде механизм. Nodemap мүмкіндігі клиенттік түйіндерді топтарға бөлуге, содан кейін осы клиенттер үшін UID / GID карталарын бейнелеуге мүмкіндік береді, қашықтан басқарылатын клиенттерге барлық клиенттік түйіндер үшін бірыңғай UID / GID жиынтығы болмай, ортақ файлдық жүйені ашық түрде пайдалануға мүмкіндік береді. Ішкі каталогты орнату мүмкіндігі клиенттерге MDS-тен файлдық жүйенің аттар кеңістігінің ішкі жиынын орнатуға мүмкіндік береді. Сондай-ақ, бұл шығарылым дискіге енгізу / шығаруды тиімдірек жіберу үшін 16МиБ-қа дейінгі RPC-ге қолдау көрсетті және қосылды ладвиз Клиенттерге сервердегі кэшке файл деректерін алдын-ала алу немесе сервер кэшінен файл деректерін алу үшін серверлерге енгізу-шығару кеңестерін ұсынуға мүмкіндік беретін интерфейс. Файлдық жүйенің әдепкі OST бассейндерін көрсету бойынша қолдау жақсарды және OST бассейндерінің мұрагерлік қасиеттері басқа файлдарды орналастыру параметрлерімен бірге жақсартылды.

Luster 2.10 2017 жылдың шілдесінде шығарылды[60]және бірқатар маңызды жақсартулар бар. The LNet көп рельсті (LMR) мүмкіндігі бірнеше желілік интерфейстерді байланыстыруға мүмкіндік береді (InfiniBand, Омни-жол, және / немесе Ethernet ) жиынтық енгізу-шығару өткізу қабілетін арттыру үшін клиент пен серверде. Жеке файлдар бірнеше компоненттерден тұрғызылған композициялық файлдардың орналасуын қолдана алады, олар файлдарды ығысуға негізделген файл аймақтары болып табылады, олар жолақтар саны, OST бассейні / сақтау түрі және т.б. сияқты әртүрлі орналасу параметрлеріне мүмкіндік береді. Прогрессивті файл орналасуы (PFL) - бұл композициялық макеттерді қолданудың бірінші мүмкіндігі, бірақ іске асыру басқа файлдардың макеттерімен, мысалы, шағылыстыру және өшіру кодтауымен қолдануға икемді. NRS Token Bucket Filter (TBF) сервер жағынан жоспарлаушы жаңа ереже түрлерін, соның ішінде RPC типті жоспарлауды және ережелерді сәйкестендіру үшін JobID және NID сияқты бірнеше параметрлерді көрсету мүмкіндігін енгізді. Luster файлдық жүйелерінің ZFS суреттерін басқарудың құралдары қосылды, олар MDT және OST ZFS суреттерін жеке Luster орнату нүктелері ретінде құруды, монтаждауды және басқаруды жеңілдетеді.

Luster 2.11 2018 жылдың сәуір айында шығарылды[61]және екі маңызды жаңа функцияларды және бірнеше кішігірім мүмкіндіктерді қамтиды. The Файл деңгейінің артықтығы (FLR) функциясы 2.10 PFL-ді кеңейтуге мүмкіндік береді, және нақтылау мүмкіндігін қосады айналы сақтау немесе сервер ақаулығы жағдайында жақсартылған қол жетімділікке арналған файл макеттері және / немесе жоғары параллель оқылымдармен өнімділік жақсарған. The MDT туралы мәліметтер (DoM) мүмкіндігі MDST-де кішкентай (бірнеше MiB) файлдарды OST-де қолданылатын әдеттегі HDD RAID-6 сақтау орнына аз кідіріс пен азайған IO дау-дамай үшін әдеттегі флэш негізіндегі RAID-10 сақтауды пайдалануға мүмкіндік береді. LNet Dynamic Discovery мүмкіндігі LNet желісін ортақ пайдаланатын құрдастар арасында LNet Multi-Rail автоматты түрде конфигурациялауға мүмкіндік береді. LDLM Lock Ahead мүмкіндігі тиісті түрде өзгертілген қосымшалар мен кітапханаларға DLM-дің OST файлдарынан алдын-ала файлдарды алуға мүмкіндік береді, егер қолданба бұл файл ауқымы жақын арада өзгертілетінін білсе (немесе болжаса), бұл құлып дау-дамайын азайта алады. бір файлға бірнеше клиент жазу.

Luster 2.12 2018 жылдың 21 желтоқсанында шығарылды[62] және Luster 2.11-ге қосылған FLR және DoM мүмкіндіктерінің өнімділігі мен функционалдығын жақсартумен, сондай-ақ NRS-ке кішігірім өзгертулер енгізіп, жылтырдың қолайлылығы мен тұрақтылығын жақсартуға бағытталды. ТБФ, HSM, және JobStats. Ол қосылды LNet Network Health Luster 2.10 жүйесіндегі LNet Multi-Rail функциясы түйін бірнеше желілік интерфейстерге ие болған кезде желінің ақауларын жақсартуға мүмкіндік беру. MDT-дегі жалқау өлшем[63] (LSOM) функциясы саясат қозғалтқыштары, файлдық жүйенің сканерлері және басқа басқару құралдарын пайдалану үшін MDT-де файл өлшемін бағалауды сақтауға мүмкіндік береді, олар файлдар туралы толық дәл өлшемдерсіз немесе блоктар санамай-ақ файлдар туралы шешімдерді тиімді қабылдай алады. Осы ақпарат үшін OST. Бұл шығарылым қолмен жасау мүмкіндігін де қосқан қайта пісіру бірнеше MDT түйіндерінің сыйымдылығы мен өнімділігін пайдалану үшін көптеген файлдар каталогтарын тасымалдауға мүмкіндік беретін бірнеше MDT-дегі бар каталог. Luster RPC деректерінің бақылау сомасы қосылды SCSI T10-PI деректерді біріктірілген бақылау сомалары[64] клиенттен ядро ​​блогының деңгейіне, SCSI хост адаптері, және T10 қосылған қатты дискілер.

Luster 2.13 2019 жылдың 5 желтоқсанында шығарылды[2] және тұрақты клиенттік кэштің өнімділігіне қатысты жаңа мүмкіндіктерді қосты[65] (PCC), тікелей пайдалануға мүмкіндік береді NVMe және NVRAM файлдардың ғаламдық жүйелер аттары кеңістігінің бөлігін сақтай отырып, клиент түйіндерінде сақтау және OST Overstriping[66] бұл файлдарға бірнеше жолақты бір OST-те сақтауға мүмкіндік береді, олар OSS-тің жылдам жабдықтарын жақсы пайдаланады. LNet RDMA маршрутизатор түйіндерімен жұмыс істеу үшін LNet Multi-Rail Network Health функциясы жақсартылды. PFL функциясы өзін-өзі кеңейтетін макеттермен жақсартылды[67] (SEL) файл құрамдастарын динамикалық өлшемге бөлуге мүмкіндік беру, сол файлдық жүйеде орналасқан OST дискілерінен әлдеқайда аз болуы мүмкін жарқыл OST-тарымен жақсы жұмыс істеу. Шығарылымда DNE қашықтықтағы каталог құруды MDT арқылы теңгерімдеу, «lfs find» үстеме ақысын азайту үшін Lazy-size-on-MDT пайдалану, ldiskfs үшін әр франда 10M файлдары бар каталогтар және жаппай RPC сияқты бірқатар жетілдірулер бар. өлшемдері 64 МБ дейін.[68]

Сәулет

Luster файлдық жүйесінде үш негізгі функционалды бөлім бар:

  • Бір немесе бірнеше метадеректер серверлері (MDS) бір немесе одан да көп түйіндер метадеректер мақсат (MDT) Файл аттары, каталогтар, рұқсат рұқсаттары және файл орналасуы сияқты ат кеңістігінің метадеректерін сақтайтын Luster файлдық жүйесіне арналған құрылғылар. MDT деректері жергілікті диск файлдық жүйесінде сақталады. Алайда, блокқа негізделген таратылған файлдық жүйелерден айырмашылығы, мысалы GPFS және PanFS, метамәліметтер сервері барлық блокты бөлуді басқаратын болса, Luster метамәліметтер сервері тек жолдың аты мен рұқсатты тексеруге қатысады және метамәліметтер серверіндегі енгізу-шығару масштабталуындағы кедергілерді болдырмай, файл енгізу-шығару операцияларына қатыспайды. Бір файлдық жүйеде бірнеше MDT-ді қолдану мүмкіндігі Luster 2.4-тегі жаңа мүмкіндік болып табылады және каталогтардың ішкі ағаштарының екінші MDT-де орналасуына мүмкіндік береді, ал 2.7 және одан кейін үлкен жалғыз каталогтарды бірнеше MDT-да таратуға мүмкіндік береді.
  • Бір немесе бірнеше нысанды сақтау сервері (OSS) файл деректерін бір немесе бірнеше жерде сақтайтын түйіндер нысанды сақтау мақсаты (OST) құрылғылар. Сервердің аппараттық құралына байланысты OSS әдетте екі мен сегіз OST арасында қызмет етеді, әр OST бір жергілікті дискілік файлдық жүйені басқарады. Luster файлдық жүйесінің сыйымдылығы дегеніміз - OST ұсынған мүмкіндіктердің жиынтығы.
  • Клиент (тер) мәліметтерге қол жеткізуге және пайдалануға мүмкіндік береді. Luster барлық клиенттерге стандартты қолдана отырып, файлдық жүйенің барлық файлдары мен деректері үшін бірыңғай атау кеңістігін ұсынады POSIX семантикасы және файл жүйесіндегі файлдарға бір уақытта және біртұтас оқуға және жазуға мүмкіндік береді.

MDT, OST және клиент бір түйінде болуы мүмкін (әдетте тестілеу мақсатында), бірақ типтік өндірістік қондырғыларда бұл құрылғылар желі арқылы байланысатын бөлек түйіндерде болады. Әрбір MDT және OST тек бір файлдық жүйенің бөлігі болуы мүмкін, бірақ әр түрлі файлдық жүйелердің құрамына кіретін бір түйінде бірнеше MDT немесе OST болуы мүмкін. The Luster Network (LNet) қабаты желі байланысының бірнеше түрін қолдана алады, оның ішінде жергілікті InfiniBand етістіктер, Омни-жол, ROCE, және iWARP арқылы OFED, TCP / IP қосулы Ethernet сияқты басқа меншікті желілік технологиялар Cray Егіздердің өзара байланысы. Luster 2.3 және одан ертеректе, Миринет, Квадрикалар, Cray SeaStar және RapidArray желілеріне де қолдау көрсетілді, бірақ бұл желілер драйверлері бұл желілер бұдан былай коммерциялық қол жетімді болмаған кезде ескірді және қолдау Luster 2.8-де толығымен жойылды. Жылтырату жадқа қашықтан тікелей қол жетімділікті пайдаланады (RDMA ) трансферттер, қол жетімді болған кезде, өткізу қабілетін жақсарту және CPU пайдалануды азайту.

MDT және OST резервтік файлдық жүйелерінде қолданылатын сақтауды, әдетте, аппараттық қамтамасыз етеді RAID құрылғылар кез келген блоктық құрылғылармен жұмыс істейтін болады. Luster 2.4 бастап, MDT және OST қолдана алады ZFS қосымша файлдық жүйеге арналған ext4, оларды тиімді пайдалануға мүмкіндік береді JBOD аппараттық RAID құрылғыларының орнына сақтау орны. Luster OSS және MDS серверлері файлдық жүйеге енгізілген форматта оқиды, жазады және өзгертеді және осы деректерді клиенттерге қайтарады. Бұл Luster-ке негізгі файлдық жүйенің жақсартулары мен мүмкіндіктерін пайдалануға мүмкіндік береді, мысалы, ZFS-те қысу және деректерді бақылау жиынтығы. Клиенттерде негізгі жадқа тікелей қол жетімділік жоқ, бұл дұрыс жұмыс істемейтін немесе зиянды клиенттің файл жүйесі құрылымын бұза алмауын қамтамасыз етеді.

OST - файлдарды оқуға / жазуға арналған байт диапазонына интерфейсті экспорттайтын, арнайы файлдық жүйе дәрежесі деректердің дәйектілігін қорғау үшін құлыптар. MDT - бұл инодтарды, каталогтарды, POSIX және кеңейтілген файл атрибуттары, файлға кіру рұқсаттарын басқарады /ACL, және клиенттерге әрбір қарапайым файлды құрайтын объектілердің орналасуын айтады. MDT және OST қазіргі уақытта жақсартылған нұсқасын қолданады ext4 деп аталады ldiskfs, немесе ZFS / DMU файлдарды / объектілерді сақтауға арналған деректерді сақтауға арналған[69] Linux портындағы ZFS ашық көзін пайдалану арқылы.[70]

Клиент Luster файлдық жүйесін жергілікті орнатады VFS жүргізушісі Linux клиентті серверге (лерге) қосатын ядро. Бастапқы орнату кезінде клиентке файлға арналған идентификатор (FID) беріледі түбірлік каталог орнату нүктесінің. Клиент файлға қол жеткізген кезде, ол MDS файл атын іздейді. MDS файл атауын іздеу аяқталған кезде және пайдаланушы мен клиенттің файлға кіруге және / немесе оны құруға рұқсаты болған кезде, бұрыннан бар файлдың орналасуы клиентке қайтарылады немесе егер қажет болса, клиенттің атынан жаңа файл жасалады. Оқу немесе жазу операциялары үшін клиент файлдың орналасуын интерпретациялайды логикалық объектінің көлемі (LOV) қабаты, ол файлды бір немесе бірнеше объектінің логикалық ығысуы мен өлшемін бейнелейді. Клиент файлдар ауқымын құлыптайды деректер объектілерін ұстайтын OSS түйіндеріне тікелей немесе бір немесе бірнеше параллель оқу немесе жазу операцияларын орындайды және орындайды. Осы тәсілдің көмегімен клиенттен OSS-ке дейінгі байланыстардың тар болуы алынып тасталады, сондықтан клиенттер үшін мәліметтер жүйесіндегі файлдар жүйесіндегі файлдар жүйесіндегі OST санымен сызықтық түрде оқу және жазу үшін жалпы өткізу қабілеттілігі қол жетімді.

Файл орналасуын алғашқы іздеуден кейін MDS әдетте файлдық IO операцияларына қатыспайды, өйткені барлық блокты бөлу және IO деректерді OST ішкі басқарады. Клиенттер OST файлдық жүйелеріндегі объектілерді немесе деректерді тікелей өзгертпейді, керісінше бұл тапсырманы OSS түйіндеріне береді. Бұл тәсіл ауқымды кластерлер мен суперкомпьютерлердің масштабталуын, сондай-ақ қауіпсіздік пен сенімділіктің жоғарылауын қамтамасыз етеді. Керісінше, ортақ блокқа негізделген файлдық жүйелер GPFS және OCFS файлдық жүйеде барлық клиенттердің негізгі жадына тікелей қол жеткізуге мүмкіндік береді, бұл үлкен қолдауды қажет етеді Сан барлық клиенттерге бекітіліп, файл жүйесінің бұзылу қаупін жоғарылатады / дұрыс емес клиенттер.

Іске асыру

Linux клиентіндегі әдеттегі Luster инсталляциясында Luster файлдық жүйенің драйвер модулі ядроға жүктеледі және файлдық жүйе кез-келген басқа жергілікті немесе желілік файлдық жүйелер сияқты орнатылады. Клиенттік қосымшалар бірыңғай, бірыңғай файлдық жүйені көреді, бірақ ол оннан-мыңға дейін жеке серверлерден және MDT / OST файлдық жүйелерден тұруы мүмкін.

Кейбіреулерінде жаппай параллельді процессор (MPP) қондырғылары, есептеуіш процессорлар өздерінің кіру-шығару сұрауларын Luster клиенті ретінде конфигурацияланған арнайы енгізу-шығару түйініне бағыттау арқылы Luster файлдық жүйесіне қол жеткізе алады. Бұл тәсіл қолданылады Көк ген орнату[71] кезінде Лоуренс Ливермор ұлттық зертханасы.

Люстердің алғашқы жылдарында қолданылған тағы бір тәсіл - бұл кітапхана кітапхана Cray XT3 пайдаланып Catamount операциялық жүйесі сияқты жүйелерде Sandia Red Storm,[72] бұл қолданушылар кеңістігінің қосымшаларына файлдық жүйеге тікелей қол жеткізуді қамтамасыз етті. Кітапхана - бұл есептеу процессорларына Luster файлдық жүйесін орнатуға және клиент ретінде пайдалануға мүмкіндік беретін пайдаланушы деңгейіндегі кітапхана. Liblustre көмегімен есептеуіш процессорлар Luster файлдық жүйесіне, егер жұмыс басталған сервистік түйін Linux клиенті болмаса да кіре алады. Кітапхана деректердің қолданба кеңістігі мен Luster OSS арасында ядроның аралық көшірмесін талап етпестен деректердің қозғалысына мүмкіндік берді, осылайша Lust файлдық жүйесіне шектеулі операциялық ортада есептеуіш процессорлардан қол жеткізуді қамтамасыз етті. Lustlustre функциясы Luster 2.6.0-ден бастап өшірілгеннен кейін Luster 2.7.0-ден жойылды және Luster 2.3.0-ден бастап тексерілмеген.

Linux Kernel 4.18 нұсқасында Luster клиентінің толық емес порты дамуды және жаңа ядроларға көшіруді жеделдету үшін ядроны сахналау аймағынан алынып тасталды.[73] Ағаштан тыс Luster клиенті мен сервері әлі де RHEL, SLES және Ubuntu дистрофирлеріне, сондай-ақ ванильді ядроларға қол жетімді.

Мәліметтер нысандары және файлдар жолағы

Дәстүрлі Unix дискілік файлдық жүйесінде inode деректер құрылымы әр файл туралы негізгі ақпаратты қамтиды, мысалы, файлдағы деректер қай жерде сақталады. Luster файлдық жүйесі инодтарды да пайдаланады, бірақ MDT-дегі инодтар деректер блоктарына емес, файлмен байланысты бір немесе бірнеше OST нысандарын көрсетеді. Бұл нысандар OST файлдарында орындалады. Клиент файлды ашқанда, файлды ашу операциясы объект идентификаторларының жиынтығын және олардың орналасуын MDS-тен клиентке тасымалдайды, сонда клиент объект сақталған OSS түйінімен тікелей әрекеттесе алады. Бұл клиентке MDS-мен одан әрі байланыссыз файлдағы барлық OST нысандары бойынша параллель енгізу-шығаруды жүзеге асыруға мүмкіндік береді.

Егер бір ғана OST нысаны MDT инодымен байланысты болса, ол объект Luster файлындағы барлық деректерді қамтиды. Файлмен бірнеше объект байланыстырылған кезде, файлдағы мәліметтер а-да «жолақ» болады айналма робин ұқсас OST нысандары бойынша тәсіл RAID 0 бөліктерде әдетте 1МБ немесе одан үлкен. Файлды бірнеше OST нысандарының үстінен сызу, егер бір үлкен файлға өткізу қабілеттілігі жоғары қол жетімділік қажет болса, өнімділіктің айтарлықтай артықшылықтарын береді. Жолақ қолданылған кезде файлдың максималды өлшемі бір мақсаттың өлшемімен шектелмейді. Файлдың жолақталған OST санымен сыйымдылығы және енгізу-шығару өткізу қабілетінің жиынтық шкаласы. Сондай-ақ, әр объектінің құлыптауы әр OST үшін дербес басқарылатындықтан, жолақтардың көбірек қосылуы (бір OST үшін бір) файлдың кіру / шығару құлпын пропорционалды түрде масштабтайды. Файлдық жүйеде құрылған әр файлда жолақ саны (сол файлды құрайтын OST нысандарының саны), жолақтың өлшемі (келесіге ауыспас бұрын әр OST-те сақталатын мәліметтер бірлігі) және OST таңдау сияқты әр түрлі орналасу параметрлері көрсетілуі мүмкін. өнімділігі мен сыйымдылығы әр файл үшін оңтайлы күйге келтірілуі мүмкін. Көптеген қосымшалар тізбегі бөлек файлдарды оқып немесе жазып жатқанда, файлға бір жолақтың болғаны оңтайлы, өйткені бағдарлама өзінің параллелизмін қамтамасыз етеді. Бір уақытта бір үлкен файлды оқитын немесе жазатын көптеген ағындар болған кезде, осы файлдың өнімділігі мен сыйымдылығын арттыру үшін әр OST-де бір жолақ болуы оңтайлы болады.

Luster 2.10 шығарылымында нақтылау мүмкіндігі композициялық орналасулар файлдардың файлдың әр түрлі аймақтары үшін орналасу параметрлерінің әр түрлі болуына мүмкіндік беру үшін қосылды. The Прогрессивті файл орналасуы (PFL) функциясы жұмыс жүктемелерінің кең ауқымында файлдық IO өнімділігін жақсартуға, сондай-ақ пайдалану мен басқаруды жеңілдетуге арналған композициялық орналасуды қолданады. Мысалы, кішігірім PFL файлында төмен қол жетімділігі үшін жарқылда бір жолақ болуы мүмкін, ал үлкенірек файлдарда өткізу қабілеті жоғары және OST жүктемесін жақсы теңдестіру үшін көптеген жолақтар болуы мүмкін. Композиттік орналасулар 2.11 шығарылымында одан әрі жетілдірілген Файл деңгейінің артықтығы (FLR) мүмкіндігі, бұл файлға файл үшін бірнеше қабаттастырылған орналасуға мүмкіндік береді RAID 0 + 1 бұл файлдардың артықтығы, сондай-ақ оқудың жақсартылған өнімділігі. Luster 2.11 шығарылымы сонымен бірге Метадеректер туралы мәліметтер Мүмкіндік беретін (DoM) мүмкіндігі бірінші MDF-де инодпен тікелей сақталатын PFL файлының компоненті. Бұл кішігірім файлдарға кеңістікті пайдалану (OST нысаны қажет емес), сондай-ақ желіні пайдалану (ақпараттарға қол жеткізу үшін азырақ RPC қажет) бойынша қатынасу шығындарын азайтады. DoM, егер MDT болса, кішкентай файлдардың жұмысын жақсартады SSD негізге алынады, ал OST дискілерге негізделген. 2.13 Luster-те OST үстінен өту функциясы бір компонентке бір OST-те бірнеше жолақты болуға мүмкіндік береді, ал Өздігінен кеңейтілетін макет функциясы жазу кезінде динамикалық болуға мүмкіндік береді, осылайша бүкіл файлдық жүйе бос орын таппай тұрып OST орындарын жеңе алады.

Метадеректер объектілері және қашықтағы немесе жолақты DNE каталогтары

Клиент бастапқыда файлдық жүйені орнатқанда, оған 128 биттік жылтыратқыш файлының анықтағышы (FID, 64 биттік реттік нөмірден, 32 биттік объект идентификаторынан және 32 биттік нұсқадан) жинақтау нүктесіне арналған. Файл атауын іздеу кезінде клиент ата-аналық каталогты FID реттік нөмірін белгілі бір MDT-ге FID орналасқан жерінің дерекқоры (FLDB) арқылы салыстыру арқылы әрбір жол атауы компонентін іздейді, содан кейін осы MDT-ді ата-ананың көмегімен басқаратын MDS іздейді FID және файл атауы. MDS сұралатын жол атауының компоненті үшін FID кодын a-мен бірге қайтарады DLM құлыптау. Соңғы ата-аналық каталогтың MDT анықталғаннан кейін, каталогтардың келесі әрекеттері (жолақсыз каталогтар үшін) тек MDT-да қайшылықтардан аулақ болып, тек сол MDT-де болады. DNE жолақ каталогтары үшін ата-аналық каталогта сақталған әр каталогтың орналасуы хэш функциясын және каталог таратылатын MDT каталогының тізімін ұсынады. The Логикалық метадеректер көлемі Клиенттегі (LMV) файл атауын сақтайды және оны белгілі бір MDT каталогымен салыстырады сынық, ол файлмен жасалынған әрі қарайғы әрекеттерді жолақсыз каталогқа дәл осылай жасайды. Үшін readdir () операциялар, әр каталогтың ішіндегі жазбалар жергілікті MDT каталогының хэш тәртібінде сұрыпталған клиентке қайтарылады және клиент файлдардың аттарын хэш ретімен қою үшін біріктіру сұрыптауын орындайды, осылайша жалғыз 64 биттік cookie файлын анықтауға болады каталог ішіндегі ағымдағы ығысу.

Құлыптау

Жылтыр таратылған құлып менеджері (LDLM), жүзеге асырылды OpenVMS стиль, әр файлдың және метадеректердің тұтастығын қорғайды. Luster файлына қол жетімділік пен модификация толықтай аяқталды кэш келісімді барлық клиенттер арасында. Метамәліметтерді құлыптауды MDT басқарады inode файл үшін, FID-ді ресурс атауы ретінде қолданады. Метамәліметтердің құлыптары файлды іздеуді қорғайтын бөлек биттерге бөлінеді (файл иесі мен тобы, рұқсат және режим, және қол жетімділікті басқару тізімі (ACL)), инод күйі (каталог өлшемі, каталог мазмұны, сілтемелер саны, уақыт белгілері), орналасуы (Luster 2.4 бастап файлдар жолағы) және кеңейтілген атрибуттар (xattrs, Luster 2.5-тен бастап). Клиент бір индук үшін бірнеше метадеректерді құлыптау биттерін жалғыз RPC сұранысы арқылы ала алады, бірақ қазіргі уақытта олар инод үшін тек оқуға арналған құлыпқа ие болады. Құлыптауды болдырмау үшін MDS инодтың барлық түрлендірулерін басқарады ресурстық қайшылық және қазіргі уақытта инодтарда жазуды құлыптайтын жалғыз түйін болып табылады.

Файл деректерін құлыптау OST арқылы басқарылады, онда файлдың әр объектісі жолақталған, байт ауқымын қолданады дәрежесі құлыптар. Клиенттерге бір файлдың бірнеше оқырмандарын оқуға мүмкіндік беретін файлдың бір бөлігінің немесе бір бөлігінің оқылу деңгейінің қабаттасуы және / немесе файлдың тәуелсіз аймақтары үшін бір-бірімен қабаттаспауы мүмкін. Бұл көптеген Luster клиенттеріне оқуға да, жазуға да бір файлға кіруге мүмкіндік береді, бұл енгізу-шығару кезінде қиындықтарды болдырмайды. Іс жүзінде, өйткені Linux клиенттері деректер кэшін бірліктермен басқарады беттер, the clients will request locks that are always an integer multiple of the page size (4096 bytes on most clients). When a client is requesting an extent lock the OST may grant a lock for a larger extent than originally requested, in order to reduce the number of lock requests that the client makes. The actual size of the granted lock depends on several factors, including the number of currently granted locks on that object, whether there are conflicting write locks for the requested lock extent, and the number of pending lock requests on that object. The granted lock is never smaller than the originally requested extent. OST extent locks use the Lustre FID of the object as the resource name for the lock. Since the number of extent lock servers scales with the number of OSTs in the filesystem, this also scales the aggregate locking performance of the filesystem, and of a single file if it is striped over multiple OSTs.

Желі

The communication between the Lustre clients and servers is implemented using Lustre Networking (LNet), which was originally based on the Сандиа Portals network programming application programming interface. Disk storage is connected to the Lustre MDS and OSS server nodes using direct attached storage (SAS, ФК, iSCSI ) or traditional сақтау аймағы (SAN) technologies, which is independent of the client-to-server network.

LNet can use many commonly used network types, such as InfiniBand and TCP (commonly Ethernet ) networks, and allows simultaneous availability across multiple network types with routing between them. Remote Direct Memory Access (RDMA) is used for data and metadata transfer between nodes when provided by the underlying networks, such as InfiniBand, ROCE, iWARP, және Омни-жол, as well as proprietary high-speed networks such as Cray Aries and Gemini, and Атос BXI. High availability and recovery features enable transparent recovery in conjunction with failover servers.

Since Lustre 2.10 the LNet Multi-Rail (MR) feature[74]мүмкіндік береді байланыстыру of two or more network interfaces between a client and server to improve bandwidth. The LNet interface types do not need to be the same network type. In 2.12 Multi-Rail was enhanced to improve fault tolerance if multiple network interfaces are available between peers.

LNet provides end-to-end throughput over Гигабит Ethernet networks in excess of 100 MB/s,[75] throughput up to 11 GB/s using InfiniBand enhanced data rate (EDR) links, and throughput over 11 GB/s across 100 гигабиттік Ethernet интерфейстер.[76]

High availability

Lustre file system high availability features include a robust failover and recovery mechanism, making server failures and reboots transparent. Version interoperability between successive minor versions of the Lustre software enables a server to be upgraded by taking it offline (or failing it over to a standby server), performing the upgrade, and restarting it, while all active jobs continue to run, experiencing a delay while the backup server takes over the storage.

Lustre MDSes are configured as an active/passive pair exporting a single MDT, or one or more active/active MDS pairs with DNE exporting two or more separate MDTs, while OSSes are typically deployed in an active/active configuration exporting separate OSTs to provide redundancy without extra system overhead. In single-MDT filesystems, the standby MDS for one filesystem is the MGS and/or monitoring node, or the active MDS for another file system, so no nodes are idle in the cluster.

HSM (Hierarchical Storage Management)

Lustre provides the capability to have multiple storage tiers within a single filesystem namespace. It allows traditional HSM functionality to copy (archive) files off the primary filesystem to a secondary archive storage tier. The archive tier is typically a tape-based system, that is often fronted by a disk cache. Once a file is archived, it can be released from the main filesystem, leaving only a stub that references the archive copy. If a released file is opened, the Coordinator blocks the open, sends a restore request to a copytool, and then completes the open once the copytool has completed restoring the file.

In addition to external storage tiering, it is possible to have multiple storage tiers within a single filesystem namespace. OSTs of different types (e.g. HDD and SSD) can be declared in named storage pools. The OST pools can be selected when specifying file layouts, and different pools can be used within a single PFL file layout. Files can be migrated between storage tiers either manually or under control of the Policy Engine. Since Lustre 2.11, it is also possible to mirror a file to different OST pools with a FLR file layout, for example to pre-stage files into flash for a computing job.

HSM includes some additional Lustre components to manage the interface between the primary filesystem and the archive:

  • Coordinator: receives archive and restore requests and dispatches them to agent nodes.
  • Agent: runs a copytool to copy data from primary storage to the archive and vice versa.
  • Copytool: handles data motion and metadata updates. There are different copytools to interface with different archive systems. A generic POSIX copytool is available for archives that provide a POSIX-like front-end interface. Copytools are also available for the High Performance Storage System[77] (HPSS), Tivoli сақтау менеджері[78] (TSM), Amazon S3[79], және Google Drive.[80]
  • Policy Engine: watches filesystem Changelogs for new files to archive, applies policies to release files based on age or space usage, and communicates with MDT and Coordinator. The Policy Engine can also trigger actions like migration between, purge, and removal. The most commonly used policy engine is RobinHood, but other policy engines can also be used.

HSM also defines new states for files including: [81]

  • Exist: Some copy, possibly incomplete exists in a HSM.
  • Archive: A full copy exists on the archive side of the HSM.
  • Dirty: The primary copy of the file has been modified and differs from the archived copy.
  • Released: A stub inode exists on an MDT, but the data objects have been removed and the only copy exists in the archive.
  • Lost: the archive copy of the file has been lost and cannot be restored
  • No Release: the file should not be released from the filesystem
  • No Archive: the file should not be archived

Орналастыру

Lustre is used by many of the TOP500 supercomputers and large multi-cluster sites. Six of the top 10 and more than 60 of the top 100 supercomputers use Lustre file systems. Оларға мыналар жатады: K компьютер кезінде RIKEN Advanced Institute for Computational Science,[11] The Tianhe-1A кезінде National Supercomputing Center жылы Тяньцзинь, Қытай, Ягуар және Титан кезінде Oak Ridge ұлттық зертханасы (ORNL), Көк сулар кезінде Иллинойс университеті, және Секвойя және Көк ген /L at Лоуренс Ливермор ұлттық зертханасы (LLNL).

There are also large Lustre filesystems at the National Energy Research Scientific Computing Center, Тынық мұхиты солтүстік-батыс ұлттық зертханасы, Техас кеңейтілген есептеу орталығы, Brazilian National Laboratory of Scientific Computing,[82] және НАСА[83] in North America, in Asia at Токио технологиялық институты,[84] in Europe at CEA,[85][86] және басқалары.

Commercial technical support

Commercial technical support for Lustre is often bundled along with the computing system or storage hardware sold by the vendor. Some vendors includeДелл,[87] Hewlett-Packard (as the HP StorageWorks Scalable File Share, circa 2004 through 2008),[88]Groupe Bull, Фудзитсу.[89] Vendors selling storage hardware with bundled Lustre support include Hitachi Data Systems,[90] DataDirect Networks (DDN),[91] NetApp және басқалар. It is also possible to get software-only support for Lustre file systems from some vendors, including Whamcloud.[92]

Amazon веб-қызметтері offers Amazon FSx for Lustre[93], a fully managed service, making it easy to launch and run high-performance file systems cost effectively in the cloud.

Сондай-ақ қараңыз

Әдебиеттер тізімі

  1. ^ а б Corbet, Jonathon (December 17, 2003). "Lustre 1.0 released". Linux апталық жаңалықтары. LWN.net. Алынған 15 наурыз, 2015.
  2. ^ а б "Release 2.13.0". Lustre Wiki. OpenSFS. 5 желтоқсан, 2019. Алынған 5 желтоқсан, 2019.
  3. ^ "Lustre 2.12.5 released". Lustre.org. 8 маусым, 2020. Алынған 8 маусым, 2020.
  4. ^ Oracle Corporation / Intel Corporation (August 4, 2002). "Lustre* Software Release 2.x Operations Manual" (PDF). Instruction Manual. Intel. Алынған 19 мамыр, 2015.
  5. ^ "Lustre Home". Архивтелген түпнұсқа on March 31, 2001. Алынған 23 қыркүйек, 2013.
  6. ^ "Lustre File System, Version 2.4 Released". Open Scalable File Systems. Алынған 2014-10-18.
  7. ^ "Open-source Lustre gets supercomputing nod". Алынған 2014-10-18.
  8. ^ "Xyratex Captures Oracle's Lustre". HPCWire. Алынған 2014-10-18.
  9. ^ "Post-K (Fugaku) Information". Фудзитсу. Алынған 2020-06-23.
  10. ^ "Titan System Overview". Oak Ridge ұлттық зертханасы. Архивтелген түпнұсқа 2018-02-13. Алынған 2013-09-19.
  11. ^ а б в Brian Behlendorf. "ZFS on Linux for Lustre" (PDF). Лоуренс Ливермор ұлттық зертханасы. Архивтелген түпнұсқа (PDF) on 2014-10-31. Алынған 2020-06-23.
  12. ^ "Spider Center-Wide File System". Oak Ridge Leadership Computing Facility. Архивтелген түпнұсқа 2016-03-04. Алынған 2012-02-02.
  13. ^ "Rock-Hard Lustre: Trends in Scalability and Quality" (PDF). Nathan Rutman, Xyratex. Алынған 2012-02-02.
  14. ^ Wang, Teng; Byna, Suren; Dong, Bin; Tang, Houjun (Sep 2018). "UniviStor: Integrated Hierarchical and Distributed Storage for HPC". 2018 IEEE International Conference on Cluster Computing (CLUSTER). IEEE. 134–144 бб. дои:10.1109/CLUSTER.2018.00025. ISBN  978-1-5386-8319-4. S2CID  53235423.
  15. ^ Lustre File System presentation, November 2007 қосулы YouTube By Peter Braam, November 10, 2007
  16. ^ Wang, Teng; Byna, Suren; Lockwood, Glenn K.; Snyder, Shane; Carns, Philip; Kim, Sunggon; Wright, Nicholas J. (May 2019). "A Zoom-in Analysis of I/O Logs to Detect Root Causes of I/O Performance Bottlenecks". 2019 19th IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing (CCGRID). IEEE. 102–111 бет. дои:10.1109/CCGRID.2019.00021. ISBN  978-1-7281-0912-1. S2CID  195832257.
  17. ^ "Comparative I/O workload characterization of two leadership class storage clusters" (PDF). ACM. Қараша 2015.
  18. ^ Wang, Teng; Snyder, Shane; Lockwood, Glenn; Carns, Philip; Wright, Nicholas; Byna, Suren (Dec 2018). "IOMiner: Large-Scale Analytics Framework for Gaining Knowledge from I/O Logs". 2018 IEEE International Conference on Cluster Computing (CLUSTER). IEEE. pp. 466–476. дои:10.1109/CLUSTER.2018.00062. ISBN  978-1-5386-8319-4. S2CID  53235850.
  19. ^ Saini, Subhash; Rappleye, Jason; Chang, Johnny; Баркер, Дэвид; Mehrotra, Piyush; Biswas, Rupak (Dec 2012). "I/O performance characterization of Lustre and NASA applications on Pleiades". 2012 19th International Conference on High Performance Computing. IEEE. 1-10 беттер. дои:10.1109/HiPC.2012.6507507. ISBN  978-1-4673-2371-0. S2CID  14323627.
  20. ^ «Компания». old web site. Cluster File Systems, Inc. Archived from the original on August 12, 2007.CS1 maint: BOT: түпнұсқа-url күйі белгісіз (сілтеме)
  21. ^ Питер Дж.Браам (4 тамыз 2002). «Жылтыр, галактикааралық файлдық жүйе» (PDF). Презентация слайдтары. Лоуренс Ливермор ұлттық зертханасы. Алынған 23 қыркүйек, 2013.
  22. ^ Кент Койнингер (маусым 2003). «Ультра масштабталатын HPTC жылтыр файлдық жүйесі» (PDF). Cluster World 2003 көрмесіне арналған слайдтар. Алынған 23 қыркүйек, 2013.
  23. ^ Бритта Вульфинг (2007 жылғы 13 қыркүйек). «Күн жылтыр файлдық жүйені игереді». Linux журналы. Алынған 23 қыркүйек, 2013.
  24. ^ «Күн микросистемалары кластерлік файлдық жүйелер активтерін, соның ішінде жылтыр файлдық жүйесін алуға нақты келісіммен жоғары тиімділікті есептеу портфолиосын кеңейтеді». ұйықтауға бару. Sun Microsystems. 12 қыркүйек 2007 ж. Мұрағатталған түпнұсқа 2007 жылғы 2 қазанда. Алынған 23 қыркүйек, 2013.
  25. ^ «Oracle жолды жылжытты». HPC ішінде. 2011-01-10.
  26. ^ J. Leidel (August 20, 2010). "Whamcloud aims to make sure Lustre has a future in HPC". HPC ішінде. Алынған 23 қыркүйек, 2013.
  27. ^ а б "Xyratex Advances Lustre® Initiative, Assumes Ownership of Related Assets". ұйықтауға бару. Xyratex. 19 ақпан 2013 ж. Мұрағатталған түпнұсқа 2016 жылғы 7 қыркүйекте. Алынған 18 қыркүйек, 2013.
  28. ^ Rich Brueckner (November 9, 2010). "Bojanic & Braam Getting Lustre Band Back Together at Xyratex". HPC ішінде. Алынған 23 қыркүйек, 2013.
  29. ^ Rich Brueckner (January 4, 2011). "Whamcloud Staffs up for Brighter Lustre". HPC ішінде. Алынған 18 қыркүйек, 2013.
  30. ^ "Whamcloud Signs Multi-Year Lustre Development Contract With OpenSFS". ұйықтауға бару. HPC сымы. August 16, 2011. Archived from түпнұсқа 2013 жылдың 25 қаңтарында. Алынған 23 қыркүйек, 2013.
  31. ^ Galen Shipman (November 18, 2011). "OpenSFS Update" (PDF). Slides for Supercomputing 2011 presentation. Open Scalable File Systems. Алынған 23 қыркүйек, 2013.
  32. ^ Whamcloud (November 15, 2011). "OpenSFS and Whamcloud Sign Lustre Community Tree Development Agreement". ұйықтауға бару. Алынған 23 қыркүйек, 2013.
  33. ^ Joab Jackson (2012-07-16). "Intel Purchases Lustre Purveyor Whamcloud". PC World.
  34. ^ Timothy Prickett Morgan (2012-07-16). "Intel gobbles Lustre file system expert Whamcloud". Тізілім.
  35. ^ Timothy Prickett Morgan (2012-07-11). "DOE doles out cash to AMD, Whamcloud for exascale research". Тізілім.
  36. ^ Nicole Hemsoth (June 12, 2013). "Intel Carves Mainstream Highway for Lustre". HPC сымы. Алынған 23 қыркүйек, 2013.
  37. ^ Брюкнер, бай. «Жаңа RFP-мен OpenSFS HPC үшін маңызды ашық бастапқы технологияларға инвестиция салады». insideHPC. Алынған 1 қазан 2013.
  38. ^ "Seagate Donates Lustre.org Back to the User Community". Алынған 9 қыркүйек 2014.
  39. ^ Daniel Robinson (June 27, 2018). "DDN Breathes New Life Into Lustre File System".
  40. ^ "Lustre Trademark Released to User Community". InsideHPC. 24 қараша, 2019. Алынған 5 желтоқсан, 2019.
  41. ^ "Lustre Helps Power Third Fastest Supercomputer". DSStar. Архивтелген түпнұсқа 2013-02-03.
  42. ^ "MCR Linux Cluster Xeon 2.4 GHz – Quadrics". Top500.Org.
  43. ^ Peter Bojanic (June 15, 2008). "Lustre Roadmap and Future Plans" (PDF). Presentation to Sun HPC Consortium. Sun Microsystems. Алынған 23 қыркүйек, 2013.
  44. ^ "OpenSFS Announces Collaborative Effort to Support Lustre 2.1 Community Distribution". Open Scalable File Systems. 8 ақпан, 2011. мұрағатталған түпнұсқа 2011 жылғы 23 мамырда. Алынған 13 желтоқсан, 2016.
  45. ^ "Lustre 2.1 Released". Алынған 2012-02-02.
  46. ^ "Lustre 2.2 Released". Yahoo! Қаржы. Алынған 2012-05-08.
  47. ^ "A Novel Network Request Scheduler for a Large Scale Storage System" (PDF). Lustre Wiki. OpenSFS. Маусым 2009.
  48. ^ "A Novel Network Request Scheduler for a Large Scale Storage System". Lustre Wiki. OpenSFS. Маусым 2009.
  49. ^ Прикетт Морган, Тимоти. «OpenSFS Luster 2.5-тің қол жетімділігі туралы хабарлайды». EnterpriseTech.
  50. ^ Брюкнер, бай. «Бейне: Жаңа Luster 2.5 шығарылымы HSM мүмкіндіктерін ұсынады». Inside Big Data. Алынған 11 желтоқсан 2013.
  51. ^ Хемсот, Николь. «Luster HSM көмегімен бизнес-классты жаңартады». HPCwire. Архивтелген түпнұсқа 2013 жылғы 17 желтоқсанда. Алынған 11 желтоқсан 2013.
  52. ^ «Luster 2.5». Ғылыми есептеу әлемі. Алынған 11 желтоқсан 2013.
  53. ^ Jones, Peter (September 9, 2014). "Lustre 2.5.3 released". HPDD-discuss mailing list archive. Алынған 21 қазан, 2014.Morrone, Chris (Dec 7, 2015). "Retired Release Terminology". Lustre Wiki. Алынған 18 қаңтар, 2016.
  54. ^ "Lustre 2.6.0 released". HPDD-discuss mailing list archive. 30 шілде, 2014 ж. Алынған 21 қазан, 2014.
  55. ^ Ihara, Shuichi (2014-10-14). "Lustre QoS Based on NRS Policy of Token Bucket Filter" (PDF).
  56. ^ Uselton, Andrew. "Demonstrating the Improvement in the Performance of a Single Lustre Client from Version 1.8 to Version 2.6" (PDF). Алынған 2014-10-18.
  57. ^ Jones, Peter (March 13, 2015). "Lustre 2.7.0 released". HPDD-discuss mailing list archive. Алынған 15 наурыз, 2015.
  58. ^ Jones, Peter (March 16, 2016). "Lustre 2.8.0 released". Lustre-announce mailing list archive. OpenSFS. Алынған 28 наурыз, 2016.
  59. ^ "Lustre 2.9.0 Changelog". Lustre Wiki. OpenSFS. 2016 жылғы 7 желтоқсан. Алынған 8 желтоқсан, 2016.
  60. ^ "Lustre 2.10.0 Changelog". Lustre Wiki. OpenSFS. 2017 жылғы 13 шілде. Алынған 3 қазан, 2017.
  61. ^ "Release 2.11.0". Lustre Wiki. OpenSFS. 2018 жылғы 3 сәуір. Алынған 4 сәуір, 2018.
  62. ^ "Release 2.12.0". Lustre Wiki. OpenSFS. 21 желтоқсан, 2018 жыл. Алынған 11 ақпан, 2019.
  63. ^ Li Xi, DDN (June 2018). "Lazy Size on MDS" (PDF). Lustre Wiki. Алынған 5 желтоқсан, 2019.
  64. ^ Shuichi Ihara, DDN (June 2018). "T10PI End-to-End Data Integrity Protection for Lustre" (PDF). Lustre Wiki. Алынған 5 желтоқсан, 2019.
  65. ^ Li Xi, Whamcloud (June 2018). "Lustre Persistent Client Cache" (PDF). Lustre Wiki. Алынған 5 желтоқсан, 2019.
  66. ^ Patrick Farrell, Whamcloud (April 2019). "Overstriping: Extracting Maximum Shared File Performance" (PDF). Lustre Wiki. Алынған 5 желтоқсан, 2019.
  67. ^ Patrick Farrell, Cray (March 15, 2019). "Spillover Space: Self-Extending Layouts HLD" (PDF). Алынған 5 желтоқсан, 2019.
  68. ^ "Lustre 2.13.0 Changelog". Lustre Wiki. 5 желтоқсан, 2019.
  69. ^ "Lustre to run on ZFS". Government Computer News. 2008-10-26.
  70. ^ "ZFS on Lustre". 2011-05-10. Архивтелген түпнұсқа 2011-12-05. Алынған 2011-11-25.
  71. ^ "DataDirect Selected As Storage Tech Powering BlueGene/L". HPC сымы. October 15, 2004. Archived from түпнұсқа 2013 жылғы 14 маусымда. Алынған 9 мамыр, 2012.
  72. ^ Suzanne M. Kelly (2006). "Catamount Software Architecture with Dual Core Extensions" (PDF). Алынған 2016-02-16.
  73. ^ "Linux Kernel 4.18rc1 release notes".
  74. ^ Shehata, Amir. "Multi-Rail LNet for Lustre" (PDF). Lustre User Group, April 2016.
  75. ^ Lafoucrière, Jacques-Charles. "Lustre Experience at CEA/DIF" (PDF). HEPiX Forum, April 2007. Archived from түпнұсқа (PDF) 2012-02-08.
  76. ^ Caldwell, Blane (March 9, 2016). "Lustre Networking Technologies: Ethernet vs. Infiniband" (PDF). OLCF Lustre Center of Excellence. Алынған 6 желтоқсан, 2019.
  77. ^ Aurélien Degrémont (September 17, 2013). "LUSTRE/HSM BINDING IS THERE!" (PDF).
  78. ^ Thomas Stibor (September 20, 2016). "TSM Copytool for Lustre HSM" (PDF).
  79. ^ Robert Read (March 24, 2015). "Lustre HSM in the Cloud" (PDF).
  80. ^ Stéphane Thiell. "Lustre/HSM Google Drive copytool".
  81. ^ Aurélien Degrémont; Thomas Leibovici (April 16, 2009). "Lustre HSM Project—Lustre User Advanced Seminars" (PDF). Мұрағатталды (PDF) from the original on May 25, 2010. Алынған 5 мамыр, 2018.
  82. ^ "LNCC – Laboratório Nacional de Computação Científica". Lncc.br. Алынған 2015-05-27.
  83. ^ "Pleiades Supercomputer". www.nas.nasa.gov. 2008-08-18.
  84. ^ "TOP500 List – November 2006". TOP500.Org.
  85. ^ "TOP500 List – June 2006". TOP500.Org.
  86. ^ "French Atomic Energy Group Expands HPC File System to 11 Petabytes". HPCwire.com. 2012-06-15. Архивтелген түпнұсқа 2012-02-04. Алынған 2012-06-15.
  87. ^ "Dell HPC Solutions". 2015-04-14.
  88. ^ "HP StorageWorks Scalable File Share". Hewlett-Packard. Архивтелген түпнұсқа 2008 жылғы 12 маусымда. Алынған 13 желтоқсан, 2016.
  89. ^ "Fujitsu Releases World's Highest-Performance File System – FEFS scalable file system software for advanced x86 HPC cluster systems". 2015-06-13.
  90. ^ "High Throughput Storage Solutions with Lustre". 2015-04-14.
  91. ^ "Exascaler: Massively Scalable, High Performance, Lustre File System Appliance". 2015-04-14.
  92. ^ "Lustre Support". 2018-11-27.
  93. ^ "Amazon FSx for Lustre". 2019-06-11.

Сыртқы сілтемелер

Information wikis

Community foundations

Hardware/software vendors

  1. ^ Black, Doug. "Cray Moves to Acquire the Seagate ClusterStor Line". HPCWire. HPCWire. Алынған 2017-12-01.