Թույլ մի տվեք, որ պահեստը դառնա մոդելների ուսուցման հիմնական խոչընդոտը

Ասվում է, որ տեխնոլոգիական ընկերությունները կա՛մ պայքարում են GPU-ների համար, կա՛մ դրանք ձեռք բերելու ճանապարհին են: Ապրիլին Tesla-ի գործադիր տնօրեն Իլոն Մասկը գնեց 10,000 GPU և հայտարարեց, որ ընկերությունը կշարունակի մեծ քանակությամբ GPU գնել NVIDIA-ից: Ձեռնարկությունների կողմից ՏՏ անձնակազմը նույնպես մեծ ջանքեր է գործադրում ապահովելու, որ GPU-ները մշտապես օգտագործվեն ներդրումների վերադարձը առավելագույնի հասցնելու համար: Այնուամենայնիվ, որոշ ընկերություններ կարող են պարզել, որ մինչ GPU-ների թիվը մեծանում է, GPU-ի անգործությունը դառնում է ավելի լուրջ:

Եթե ​​պատմությունը մեզ ինչ-որ բան է սովորեցրել բարձր արդյունավետությամբ հաշվողականության (HPC) մասին, ապա դա այն է, որ պահեստավորումը և ցանցային կապը չպետք է զոհաբերվեն հաշվարկների վրա չափազանց շատ կենտրոնանալու հաշվին: Եթե ​​պահեստը չի կարող արդյունավետ կերպով տվյալներ փոխանցել հաշվողական միավորներին, նույնիսկ եթե դուք ունեք աշխարհում ամենաշատ GPU-ները, դուք չեք հասնի օպտիմալ արդյունավետության:

Small World Big Data-ի վերլուծաբան Մայք Մաչեթի խոսքով, ավելի փոքր մոդելները կարող են կիրառվել հիշողության մեջ (RAM), ինչը թույլ է տալիս ավելի շատ կենտրոնանալ հաշվարկների վրա: Այնուամենայնիվ, ավելի մեծ մոդելները, ինչպիսիք են ChatGPT-ն, միլիարդավոր հանգույցներով, չեն կարող պահվել հիշողության մեջ՝ բարձր արժեքի պատճառով:

«Դուք չեք կարող հիշողության մեջ տեղավորել միլիարդավոր հանգույցներ, ուստի պահեստավորումն ավելի կարևոր է դառնում», - ասում է Մատչեթը: Ցավոք, պլանավորման գործընթացում տվյալների պահպանումը հաճախ անտեսվում է:

Ընդհանուր առմամբ, անկախ օգտագործման դեպքից, մոդելի վերապատրաստման գործընթացում կան չորս ընդհանուր կետեր.

1. Մոդելների ուսուցում
2. Եզրակացության կիրառում
3. Տվյալների պահպանում
4. Արագացված հաշվարկ

Մոդելների ստեղծման և տեղակայման ժամանակ պահանջների մեծամասնության համար առաջնահերթություն է տրվում հայեցակարգի արագ ապացուցման (POC) կամ փորձարկման միջավայրերին՝ մոդելային ուսուցում սկսելու համար, որտեղ տվյալների պահպանման կարիքները մեծ ուշադրություն չեն դարձնում:

Այնուամենայնիվ, մարտահրավերը կայանում է նրանում, որ ուսուցումը կամ եզրակացության տեղակայումը կարող է տևել ամիսներ կամ նույնիսկ տարիներ: Շատ ընկերություններ այս ընթացքում արագորեն մեծացնում են իրենց մոդելների չափերը, և ենթակառուցվածքը պետք է ընդլայնվի՝ հարմարեցնելու աճող մոդելներն ու տվյալների հավաքածուները:

Google-ի հետազոտությունը միլիոնավոր ML ուսուցման ծանրաբեռնվածության վերաբերյալ ցույց է տալիս, որ վերապատրաստման ժամանակի միջինը 30%-ը ծախսվում է մուտքային տվյալների խողովակաշարի վրա: Թեև անցյալ հետազոտությունները կենտրոնացած էին GPU-ների օպտիմիզացման վրա՝ ուսուցումն արագացնելու համար, շատ մարտահրավերներ դեռևս մնում են տվյալների խողովակաշարի տարբեր մասերի օպտիմալացման հարցում: Երբ դուք ունեք զգալի հաշվողական հզորություն, իրական խոչընդոտը դառնում է այն, թե որքան արագ կարող եք տվյալները մուտքագրել հաշվարկներին՝ արդյունքներ ստանալու համար:

Մասնավորապես, տվյալների պահպանման և կառավարման մարտահրավերները պահանջում են տվյալների աճի պլանավորում, ինչը թույլ է տալիս շարունակաբար արդյունահանել տվյալների արժեքը, երբ առաջադիմում եք, հատկապես, երբ դուք ձեռնամուխ եք լինում ավելի առաջադեմ օգտագործման դեպքերին, ինչպիսիք են խորը ուսուցումը և նեյրոնային ցանցերը, որոնք ավելի մեծ պահանջներ են դնում: պահեստավորում՝ հզորության, կատարողականի և մասշտաբայնության առումով:

Մասնավորապես.

Մասշտաբայնություն
Մեքենայական ուսուցումը պահանջում է հսկայածավալ տվյալների մշակում, և քանի որ տվյալների ծավալը մեծանում է, մոդելների ճշգրտությունը նույնպես բարելավվում է: Սա նշանակում է, որ ձեռնարկությունները պետք է ամեն օր հավաքեն և պահեն ավելի շատ տվյալներ: Երբ պահեստը չի կարող մասշտաբավորվել, տվյալների ինտենսիվ աշխատանքային ծանրաբեռնվածությունը ստեղծում է խցանումներ՝ սահմանափակելով կատարողականությունը և հանգեցնելով GPU-ի պարապ ժամանակի ծախսերին:

Ճկունություն
Մի քանի արձանագրությունների (ներառյալ NFS, SMB, HTTP, FTP, HDFS և S3) ճկուն աջակցությունն անհրաժեշտ է տարբեր համակարգերի կարիքները բավարարելու համար, այլ ոչ թե սահմանափակվելու մեկ տեսակի միջավայրով:

Լատենտություն
I/O հետաձգումը չափազանց կարևոր է մոդելներ կառուցելու և օգտագործելու համար, քանի որ տվյալները մի քանի անգամ կարդացվում և վերընթերցվում են: I/O հետաձգման կրճատումը կարող է կրճատել մոդելների ուսուցման ժամանակը օրերով կամ ամիսներով: Մոդելի ավելի արագ զարգացումն ուղղակիորեն հանգեցնում է բիզնեսի ավելի մեծ առավելությունների:

թողունակությունը
Պահպանման համակարգերի թողունակությունը շատ կարևոր է մոդելների արդյունավետ ուսուցման համար: Ուսուցման գործընթացները ներառում են մեծ քանակությամբ տվյալներ, սովորաբար ժամում տերաբայթներով:

Զուգահեռ մուտք
Բարձր թողունակության հասնելու համար ուսուցման մոդելները գործունեությունը բաժանում են մի քանի զուգահեռ առաջադրանքների: Սա հաճախ նշանակում է, որ մեքենայական ուսուցման ալգորիթմները միաժամանակ մուտք են գործում միևնույն ֆայլերը բազմաթիվ գործընթացներից (հնարավոր է մի քանի ֆիզիկական սերվերների վրա): Պահպանման համակարգը պետք է կարգավորի միաժամանակյա պահանջները՝ առանց կատարողականությունը խախտելու:

Ցածր հետաձգման, բարձր թողունակության և լայնածավալ զուգահեռ I/O-ի բացառիկ հնարավորություններով՝ Dell PowerScale-ը իդեալական պահեստային լրացում է GPU-ով արագացված հաշվում: PowerScale-ը արդյունավետորեն նվազեցնում է վերլուծության մոդելների համար պահանջվող ժամանակը, որոնք վերապատրաստում և փորձարկում են բազմաթերաբայթ տվյալների հավաքածուներ: PowerScale-ի ամբողջական ֆլեշ պահեստում թողունակությունը մեծանում է 18 անգամ՝ վերացնելով I/O խցանումները, և կարող է ավելացվել գոյություն ունեցող Isilon կլաստերներին՝ արագացնելու և բացելու մեծ քանակությամբ չկառուցված տվյալների արժեքը:

Ավելին, PowerScale-ի բազմապրոտոկոլի հասանելիության հնարավորությունները ապահովում են անսահմանափակ ճկունություն աշխատանքային ծանրաբեռնվածության համար, ինչը թույլ է տալիս տվյալները պահել մեկ արձանագրության միջոցով և մուտք գործել մյուսի միջոցով: Մասնավորապես, PowerScale հարթակի հզոր առանձնահատկությունները, ճկունությունը, մասշտաբայնությունը և ձեռնարկության մակարդակի ֆունկցիոնալությունը օգնում են լուծել հետևյալ մարտահրավերները.

- Արագացնել նորարարությունը մինչև 2,7 անգամ՝ նվազեցնելով մոդելային ուսուցման ցիկլը:

- Վերացնել I/O խցանումները և ապահովել մոդելների ավելի արագ ուսուցում և վավերացում, մոդելի բարելավված ճշգրտություն, տվյալների գիտության բարձր արտադրողականություն և հաշվողական ներդրումների առավելագույն եկամտաբերություն՝ օգտագործելով ձեռնարկության մակարդակի առանձնահատկությունները, բարձր կատարողականությունը, միաժամանակությունը և մասշտաբայնությունը: Բարելավեք մոդելի ճշգրտությունը ավելի խորը, ավելի բարձր լուծաչափով տվյալների հավաքածուներով՝ օգտագործելով մինչև 119 PB արդյունավետ պահեստային հզորություն մեկ կլաստերում:

- Ձեռք բերեք մասշտաբի տեղակայում` սկսելով փոքր և ինքնուրույն մասշտաբային հաշվարկներ և պահեստավորում, ապահովելով տվյալների պաշտպանության և անվտանգության կայուն տարբերակներ:

- Բարելավել տվյալների գիտության արտադրողականությունը՝ տեղում վերլուծություններով և նախապես հաստատված լուծումներով՝ ավելի արագ, ցածր ռիսկային տեղակայման համար:

- Լավագույն տեխնոլոգիաների վրա հիմնված ապացուցված նմուշների կիրառում, ներառյալ NVIDIA GPU արագացումը և հղումային ճարտարապետությունները NVIDIA DGX համակարգերով: PowerScale-ի բարձր կատարողականությունը և միաժամանակյաությունը բավարարում են պահեստավորման կատարողականի պահանջները մեքենայական ուսուցման յուրաքանչյուր փուլում՝ սկսած տվյալների հավաքագրումից և պատրաստումից մինչև մոդելի ուսուցում և եզրակացություն: OneFS օպերացիոն համակարգի հետ միասին բոլոր հանգույցները կարող են անխափան գործել նույն OneFS-ի վրա հիմնված կլաստերի մեջ՝ ձեռնարկության մակարդակի առանձնահատկություններով, ինչպիսիք են կատարողականի կառավարումը, տվյալների կառավարումը, անվտանգությունը և տվյալների պաշտպանությունը, ինչը հնարավորություն է տալիս ավելի արագ ավարտել մոդելի ուսուցումն ու վավերացումը բիզնեսի համար: