] täze AI mümkinçiliklerini açmak.
Uly göwrümli model goşundylaryny işläp düzmekde we durmuşa geçirmekde kärhanalar dört esasy kynçylyk bilen ýüzbe-ýüz bolýarlar:
Birinjiden, maglumatlary taýýarlamak üçin zerur wagt uzyn, maglumat çeşmeleri dargaýar we ýüzlerçe terabaýt maglumatlary gaýtadan işlemek üçin 10 gün töweregi wagt gerek. Ikinjiden, köp tekstli we şekil maglumatlar binýady bolan köp modally uly modeller üçin uly göwrümli faýllar üçin häzirki ýükleýiş tizligi 100MB / s-den pes bolup, okuw toplumyny ýüklemek üçin pes netijelilik döredýär. Üçünjiden, uly modeller üçin ýygy-ýygydan parametr düzedişleri, durnuksyz okuw platformalary bilen birlikde, takmynan her 2 günden bir gezek okuw kesilmegine sebäp bolýar, barlag nokady mehanizminiň okuwy dowam etdirmegini talap edýär we dikeldiş bir gün dowam edýär. Iň soňunda bolsa, uly modeller üçin ýokary durmuşa geçiriş çäkleri, çylşyrymly ulgam gurmak, çeşmeleri meýilleşdirmek kynçylyklary we GPU çeşmelerini ulanmak köplenç 40% -den pes.
Huawei, dürli pudaklara we ssenariýalara laýyk çözgütleri hödürläp, uly göwrümli modeller döwründe AI ösüş tendensiýasyna laýyk gelýär. “OceanStor A310” çuňňur öwreniş maglumatlary köl saklanyşy we “FusionCube A3000 Training / Inference Super-Converged” enjamy bilen tanyşdyrýar. “OceanStor A310 Çuňňur öwreniş maglumatlary köli saklamak” esasy we senagat derejesindäki uly model maglumat köl ssenarilerini nyşana alýar, maglumatlary jemlemekden başlap, AI maglumatlaryny hemmetaraplaýyn dolandyrmagy gazanmak, model taýýarlygy we gözleg programmalary. “OceanStor A310”, 5U tekerde, öňdebaryjy 400GB / s zolakly giňligi we 12 million IOPS-i goldaýar, çyzykly ulalmagy 4096 düwmä çenli, protokol aragatnaşygyny üpjün edýär. Global Faýl Ulgamy (GFS) sebitlerde akylly maglumatlary dokamagy aňsatlaşdyrýar, maglumatlary ýygnamak proseslerini tertipleşdirýär. Storageakyn saklanylýan hasaplamalar, maglumatlary ýakyn işlemegi, maglumatlaryň hereketini azaltmagy we gaýtadan işlemegiň netijeliligini 30% ýokarlandyrmagy amala aşyrýar.
Senagat derejesindäki uly model okuw / gözleg ssenarileri üçin döredilen “FusionCube A3000 Training / Inference Super-Converged Enjam”, milliardlarça parametrli modelleri öz içine alýan programmalary özüne çekýär. “OceanStor A300” ýokary öndürijilikli saklaýyş düwünlerini, okuw / ähmiýetli düwünleri, kommutasiýa enjamlaryny, AI platforma programma üpjünçiligini we dolandyryş we iş programma üpjünçiligini birleşdirýär, uly model hyzmatdaşlara bir gezeklik eltip bermek üçin plug-play oýnamak tejribesini hödürleýär. Ulanmaga taýyn, 2 sagadyň içinde ýerleşdirilip bilner. Okuw / gözleg we saklaýyş düwünleriniň ikisi hem dürli model ölçeg talaplaryna laýyk garaşsyz we keseligine giňeldilip bilner. Şol bir wagtyň özünde, FusionCube A3000 ýokary öndürijilikli konteýnerlerden peýdalanýar, köp sanly okuw we GPU-lary paýlaşmak üçin ähmiýetli meseleler, çeşmeleriň ulanylyşyny 40% -den 70% -e çenli ýokarlandyrýar. FusionCube A3000 iki çeýe iş modelini goldaýar: Huawei Ascend One-Stop Solution we açyk hasaplaýyş, torlaýyn we AI platforma programma üpjünçiligi bilen üçünji tarap hyzmatdaş.
Huawei-iň maglumatlary saklaýan önüm liniýasynyň prezidenti Zhou ueuefeng: “Uly göwrümli modeller döwründe maglumatlar AI intellektiniň beýikligini kesgitleýär. Maglumat göteriji hökmünde maglumat saklamak AI uly göwrümli modeller üçin esasy binýadyna öwrülýär. Huawei Data Storage, AI iri modelleriniň döwri üçin dürli görnüşli çözgütler we önümler bilen üpjün edip, dürli pudaklarda AI ygtyýarlyklaryny güýçlendirmek üçin hyzmatdaşlar bilen hyzmatdaşlykda täzelenmegi dowam etdirer. "
Iş wagty: Awgust-01-2023
