[Չինաստան, Շենժեն, 14 հուլիսի, 2023 թ.] Այսօր Huawei-ը բացահայտեց իր նոր AI-ի պահպանման լուծումը լայնածավալ մոդելների դարաշրջանի համար՝ ապահովելով օպտիմալ պահեստային լուծումներ հիմնական մոդելների ուսուցման, արդյունաբերության հատուկ մոդելների ուսուցման և սեգմենտային սցենարների եզրակացությունների համար, հետևաբար. սանձազերծելով AI նոր հնարավորություններ:
Լայնածավալ մոդելային հավելվածների մշակման և իրականացման ժամանակ ձեռնարկությունները բախվում են չորս հիմնական մարտահրավերների.
Նախ, տվյալների պատրաստման համար պահանջվող ժամանակը երկար է, տվյալների աղբյուրները ցրված են, և ագրեգացումը դանդաղ է ընթանում, հարյուրավոր տերաբայթ տվյալների նախնական մշակման համար տևում է մոտ 10 օր: Երկրորդ, բազմամոդալ մեծ մոդելների համար, որոնց զանգվածային տեքստային և պատկերային տվյալների հավաքածուներ կան, զանգվածային փոքր ֆայլերի բեռնման ընթացիկ արագությունը 100 ՄԲ/վ-ից պակաս է, ինչը հանգեցնում է ուսումնական հավաքածուի բեռնման ցածր արդյունավետության: Երրորդ, մեծ մոդելների պարամետրերի հաճախակի ճշգրտումները, ինչպես նաև անկայուն ուսուցողական հարթակները, առաջացնում են ուսուցման ընդհատումներ մոտավորապես 2 օրը մեկ, ինչը պահանջում է Checkpoint մեխանիզմը վերսկսել մարզումները, իսկ վերականգնումը տևում է մեկ օր: Վերջապես, մեծ մոդելների համար կատարման բարձր շեմերը, բարդ համակարգի կարգավորումները, ռեսուրսների պլանավորման խնդիրները և GPU ռեսուրսների օգտագործումը հաճախ 40%-ից ցածր:
Huawei-ը համահունչ է AI-ի զարգացման միտումներին լայնածավալ մոդելների դարաշրջանում՝ առաջարկելով լուծումներ՝ հարմարեցված տարբեր ոլորտների և սցենարների համար: Այն ներկայացնում է OceanStor A310 Deep Learning Data Lake Storage-ը և FusionCube A3000 Training/Inference Super-Converged Appliance-ը: OceanStor A310 Deep Learning Data Lake Storage-ը նպատակաուղղված է ինչպես հիմնական, այնպես էլ արդյունաբերական մակարդակի խոշոր մոդելային տվյալների լճերի սցենարներին՝ հասնելով AI տվյալների համապարփակ կառավարման տվյալների համախմբումից, նախնական մշակումից մինչև մոդելային ուսուցում և եզրակացության հավելվածներ: OceanStor A310-ը, մեկ 5U դարակում, աջակցում է արդյունաբերության առաջատար 400 ԳԲ/վ թողունակություն և մինչև 12 միլիոն IOPS, գծային մասշտաբայնությամբ մինչև 4096 հանգույց, ինչը հնարավորություն է տալիս անխափան խաչաձև արձանագրային հաղորդակցություն: Գլոբալ ֆայլային համակարգը (GFS) հեշտացնում է խելացի տվյալների հյուսումը տարածաշրջաններում՝ պարզեցնելով տվյալների ագրեգացման գործընթացները: Մոտ պահեստային հաշվարկն իրականացնում է մոտ տվյալների նախնական մշակում, նվազեցնում տվյալների շարժը և բարելավում նախնական մշակման արդյունավետությունը 30%-ով:
FusionCube A3000 Training/Inference Super-Converged Appliance-ը, որը նախատեսված է արդյունաբերության մակարդակի խոշոր մոդելների ուսուցման/եզրակացության սցենարների համար, սպասարկում է միլիարդավոր պարամետրերով մոդելներ ներառող հավելվածներ: Այն ինտեգրում է OceanStor A300 բարձր արդյունավետության պահեստավորման հանգույցները, վերապատրաստման/եզրակացության հանգույցները, փոխարկիչ սարքավորումները, AI պլատֆորմի ծրագրակազմը և կառավարման և շահագործման ծրագրակազմը՝ խոշոր մոդելի գործընկերներին տրամադրելով plug-and-play տեղակայման փորձ՝ մեկ կանգառի առաքման համար: Պատրաստ է օգտագործման, այն կարող է տեղակայվել 2 ժամվա ընթացքում: Ե՛վ ուսուցման/եզրակացության, և՛ պահեստավորման հանգույցները կարող են ինքնուրույն և հորիզոնական ընդլայնվել՝ համապատասխանելու մոդելի մասշտաբի տարբեր պահանջներին: Միևնույն ժամանակ, FusionCube A3000-ն օգտագործում է բարձր արդյունավետության կոնտեյներներ, որոնք հնարավորություն են տալիս մի քանի մոդելների ուսուցման և եզրակացության առաջադրանքներ կիսել GPU-ները՝ ավելացնելով ռեսուրսների օգտագործումը 40%-ից մինչև 70%: FusionCube A3000-ն աջակցում է երկու ճկուն բիզնես մոդելների՝ Huawei Ascend One-Stop Solution-ին և երրորդ կողմի գործընկերոջ միանվագ լուծումը՝ բաց հաշվողական, ցանցային և AI պլատֆորմի ծրագրաշարով:
Huawei-ի Data Storage Product Line-ի նախագահ Չժոու Յուֆենգը հայտարարել է. «Լայնածավալ մոդելների դարաշրջանում տվյալները որոշում են արհեստական ինտելեկտի բարձրությունը: Որպես տվյալների կրող՝ տվյալների պահպանումը դառնում է AI լայնածավալ մոդելների հիմնական հիմնարար ենթակառուցվածքը: Huawei Data Storage-ը կշարունակի նորամուծություններ կատարել՝ տրամադրելով դիվերսիֆիկացված լուծումներ և ապրանքներ արհեստական ինտելեկտի խոշոր մոդելների դարաշրջանի համար, համագործակցելով գործընկերների հետ՝ խթանելու AI-ի հզորացումը արդյունաբերության լայն շրջանակում»:
Հրապարակման ժամանակը՝ օգ-01-2023
