AI xulosa tarmoqlari uchun InfiniBand va RoCE

TanlangInfiniBandsizning taxminiy ish yukingiz kutilgan kutish muddati bilan tugasa yoki o'lsa va tanlangRoCE(Converged Ethernet orqali RDMA) Ethernet tizimida RDMA{0}}sinf unumdorligini istasangiz, sizda mavjud bo'lgan jamoa bilan miqyoslash, almashish va ishlashingiz mumkin. Ikkala variant ham hamma joyda g'alaba qozonmaydi. To‘g‘ri qo‘ng‘iroq qilish sizning xulosalaringiz namunasiga, p99 va p999 kutish maqsadlariga, GPU ko‘lamiga, byudjetga va jamoangizda qanchalik yo‘qotishsiz{5}}ethernet sozlash tajribasiga bog‘liq.

Nima uchun tarmoq xulosalar guruhlari kutganidan ham muhimroq

Ko'p yillar davomida xulosa chiqarish GPU hikoyasining oson yarmi sifatida ko'rib chiqildi: bitta tugunga yuklangan model, so'rovlar mustaqil ravishda xizmat qiladi, sharq{0}}g'arbiy trafik juda kam. Bu rasm endi eskirgan. Zamonaviy xulosalar tobora ko'proq tarqalmoqda va bir nechta naqshlar matoga haqiqiy bosim o'tkazadi.

• Tensor parallelizmiGPUlar boʻylab bitta qatlamni ajratadi, shuning uchun har bir token qadami ular orasidagi barcha-qisqartirish yoki-toʻplash operatsiyalarini ishga tushiradi. Bu tez-tez, kechikish{3}}sezgir, oʻzaro{4}}GPU trafigini GPU kutish vaqtida bloklaydi.
• Quvurlar parallelligibir bosqichdan ikkinchisiga, ko'pincha tugunlar bo'ylab faollashtirishni qo'llaydi, har bir oldinga o'tishga o'zaro{0}}tugun bog'liqliklarini qo'shadi.
• Ajratilgan oldindan to'ldirish va dekodlashhisoblash-og‘ir to‘ldirish bosqichini kechikish-sezgir dekodlash bosqichidan ajratadi, so‘ngra KV keshini ular orasiga o‘tkazadi. Bu transferlar katta va tez sur'atda bo'lib, har qanday kechikish to'g'ridan-to'g'ri -birinchi{4}}token-va tokenlar orasidagi-kechikish vaqti sifatida namoyon bo'ladi.
• Qidiruv{0}}kengaytirilgan avlod (RAG)vektor va qidiruv xizmatlariga sharq-g‘arbiy trafikni qo‘shadi. Bu, odatda, jamoaviy operatsiyalarga qaraganda kamroq kechikish-kritik hisoblanadi, lekin u baribir matoni yuklaydi, ayniqsa yuqori so'rovlar hajmida.
• Ko'p-ijarachilarga xizmat ko'rsatishko'plab modellar va foydalanuvchilarni bitta matoga joylashtiradi, bunda mikro portlashlar va shovqinli{0}}qo'shni effektlar asosiy xavfga aylanadi.

Tarmoq tiqilib qolsa, alomatlar qimmat bo'ladi:-birinchi{1}}token-ko'proq vaqt, ma'lumotni kutayotganda GPUlar to'xtab qoladi, portlashlar ostida yiqilib ketadigan o'tkazuvchanlik va beqaror p95 va p99. Va bu erda benchmarklarni o'zgartiradigan qism: o'rtacha kechikish hammasini yashiradi. Ishlab chiqarish xulosasi o'rtacha emas, balki dumga qarab baholanadi.

InfiniBand va RoCE: AI xulosasi uchun umumiy jadval

InfiniBand nima?

InfiniBand – bu boshidanoq past kechikish, yuqori o‘tkazuvchanlik va yo‘qotishsiz aloqa uchun mo‘ljallangan,{0}}maqsadli tarmoq tuzilishi. Bu Ethernet-ning tezroq ta'mi emas. U oʻzining xost-kanal adapterlari, kalitlari, quyi tarmoq menejeri, kabel ekotizimi va tiqilinchni boshqarish-modeli bilan birga keladi. Uning belgilovchi qiymati deterministik xatti-harakatdir: ko'plab GPU'lar qat'iy vaqt talablari bilan bog'lana oladi va hatto kollektiv trafik og'ir bo'lsa ham mato o'zini barqaror tutishda davom etadi.

AI{0}}yo'naltirilgan zamonaviy InfiniBand platformalari bu bazani to'g'ridan-to'g'ri yirik GPU klasterlariga qaratilgan imkoniyatlar bilan kengaytiradi. Masalan, NVIDIA-ning Quantum InfiniBand liniyasi qo'shiladimoslashtirilgan marshrutlash,-tarmoq hisoblashlari va telemetriya{1}}asosidagi tirbandlikni boshqarish, bu matoning traffikni oqilona yoyishiga yordam beradi va bir ijarachining yukini boshqasidan ajratib turadi. Xulosa qilish uchun, InfiniBand ish yuki jitterga toqat qilmasa yoki bir nechta GPU tugunlari tez va izchil ma'lumot almashishi kerak bo'lganda o'z o'rnini topadi.

Narxlar, ekotizim kontsentratsiyasi va operatsion ixtisoslashuv-biznes. Maxsus InfiniBand matosi maxsus kalitlar, adapterlar, kabellar yoki optik modullar va InfiniBand matolarni boshqarish bilan qulay muhandislarni anglatadi. Yirik Ethernet ob'ektlari allaqachon ishlayotgan tashkilot uchun alohida matoga murvat qo'yish xaridlarni murakkablashtiradi, ehtiyot qismlarni rejalashtirish va nazorat qilish xarajatlarini-qo'shadi.

RoCE (Converged Ethernet orqali RDMA) nima?

RoCE RDMA, toʻgʻridan-toʻgʻri xotira-xotira maʼlumotlarini{1}}kam protsessor sarfi bilan Ethernet tarmoqlariga olib keladi. RoCEv2, zamonaviy ma'lumotlar markazlarida qo'llaniladigan versiya, Layer 3 IP tarmoqlari bo'ylab yo'naltiriladi va standartlashtirilganInfiniBand savdo uyushmasi. Aynan mana shu yoʻnalish RoCE-ga tanish NIC-lar, kalitlar, optika va monitoring vositalarini qayta ishlatishda Ethernet barg{1}}umurtqa pogʻonasi dizaynlariga tabiiy ravishda moslashish imkonini beradi.

Shunisi e'tiborga loyiqki, RDMA transportlari deyarli yo'qotishsiz-tarmoqqa ega. Paketni tashlab yuboring va transport qayta uzatish rejimiga qaytadi, bu esa kechikishni buzadi. Shunday qilib, RoCE o'zini yo'qotmaydigan mato kabi tutishi uchun uning ostidagi Ethernetga muhtoj va bu, xususan, ikkita mexanizmning ehtiyotkorlik bilan konfiguratsiyasiga bog'liq:Priority Flow Control (IEEE 802.1Qbb), tomchilarning oldini olish uchun bitta trafik sinfini to'xtatib turadi vaAniq tirbandlik haqida bildirishnoma (ECN), bu erta tirbandlik haqida signal beradi, shuning uchun jo'natuvchilar buferlar to'lib ketishidan oldin sekinlashadi. Bunga navbat boshqaruvi, bufer taqsimoti va QoS xaritasini qo‘shing, shunda yuqori -ishchanlikli RoCE oddiy Ethernet emasligi ayon bo‘ladi.

Yaxshi ishlangan, RoCE keng ko'lamli ishlab chiqarish xulosalari xizmatlari uchun etarli kechikish va o'tkazuvchanlikni ta'minlaydi va ko'plab xulosalar ish yuklari RoCE foydasiga ishlaydigan taqsimlangan treningga qaraganda kamroq sinxronlashtiriladi. Yomon bajarilsa, u paketlarning yo'qolishiga,-yo'nalishning bloklanishiga, tirbandlikning tarqalishiga va beqaror dumlarga olib keladi, bularning barchasi to'g'ridan-to'g'ri xizmat sifatining yomonlashishiga olib keladi.

InfiniBand va RoCE kechikishi: p99 xulosasi uchun qaysi biri yaxshiroq?

Ikkala mato ham yuqori-o‘tkazish qobiliyati, past-kechikuvchi tarmoqni taqdim etishi mumkin. Ular u erga qanday etib borishlari bilan farqlanadi. InfiniBand qurilishi bo'yicha deterministikdir, shuning uchun chayqalish aralash yuk ostida ham past bo'lib qoladi. RoCE uni ko'plab ish yuklari uchun moslashtirishi mumkin, ammo natija Ethernet matosiga va uning qanchalik yaxshi sozlanganligiga bog'liq.

Joylashtirish nuqtai nazaridan, ishlab chiqarishdagi haqiqiy muammo kamdan-kam hollarda yuqori o'tkazish qobiliyatidir. Bu aralash, to'satdan, ko'p-ijarachilar trafigida titroq. Toza, iperf{3}}uslubdagi oʻtkazuvchanlik sinovidan oʻtgan RoCE matosi rasmga mikro portlashlar va tortishuvlar kirishi bilanoq ham p99 maqsadini oʻtkazib yuborishi mumkin. Laboratoriya ko'rsatkichi va ishlab chiqarish SLA o'rtasidagi bo'shliq eng ko'p kutilmagan hodisalar yashaydi.

InfiniBand quyidagi hollarda ustunlikka ega bo'ladi:

• Xizmat qattiq p99 yoki p999 kechikish maqsadlariga ega.
• Xulosa tensor yoki quvur liniyasi parallelligi bilan bir nechta GPU tugunlarini qamrab oladi yoki ajratilgan oldindan to'ldirish va dekodlashdan foydalanadi.
• GPU-dan foydalanish tarmoq kechikishiga juda sezgir, shuning uchun do'konlar qimmat.
• Klaster oz sonli yuqori{0}}prioritetli ish yuklarini boshqaradi, bunda bashorat qilish moslashuvchanlikdan ustun turadi.

RoCE odatda quyidagi hollarda etarli darajada yaxshi bo'ladi:

• So'rovlar asosan mustaqil yoki ulanish bo'sh.
• Ish tugun yoki oz sonli tugunlar ichida ishlaydi.
• To'plamni o'tkazish ultra-past kechikishdan ko'ra muhimroqdir.
• Jamoa allaqachon Ethernet bilan ishlaydi va narx yoki sotuvchining moslashuvchanligi ustuvor hisoblanadi.
• Klaster bir nechta ijarachilarni yoki aralash ish yuklarini qo'llab-quvvatlaydi.

RoCE va InfiniBand narxi: TCO ni nima boshqaradi?

RoCE ko'pincha arzonroq variant deb ataladi, lekin almashtirish narxi rasmning kichik bir qismidir. Haqiqiy taqqoslash butun stekni ko'rib chiqadi: tarmoq adapterlari yoki HCA'lar, kalitlar, optik modullar, DAC, AOC va tolali kabellar, rack topologiyasi, quvvat va sovutish, tarmoq operatsion tizimi, monitoring va telemetriya, muhandislik vaqti, ehtiyot qismlar, sotuvchini qo'llab-quvvatlash va 400G yoki 800G yo'li.

InfiniBand odatda yuqori narxga ega, chunki u maxsus mato va maxsus komponentlarni talab qiladi. Deterministik xulq-atvor ustuvor ahamiyatga ega bo'lgan muhitda u yo'qotishsiz Ethernet mato talab qiladigan sozlash va muammolarni bartaraf etish harakatlarini kamaytirishi mumkin. Mavjud Ethernet mulki, to'g'ri Data Center Bridging qo'llab-quvvatlashi bilan qayta ishlatilishi mumkin bo'lganda, RoCE apparat narxini pasaytiradi, ammo u kuchni yo'qotishsiz matoni loyihalash, tekshirish, monitoring qilish va muammolarni bartaraf etishga o'tkazadi. Arzon -RoCE dizayni barqaror boʻlmagan kechikish va takroriy yongʻin oʻchirishga sabab boʻlsa, tezda qimmatga tushadi.

Tezlik oshib borishi bilan xarajat va xavf jismoniy qatlamda to'planadi. 400G va 800G da optika hisob-kitob va nosozlik rejimlarida ustunlik qiladi. Eng yuqori{4}}tezkor portlar qo'nadiQSFP-DD yoki oʻxshash shakl omillari, va o'ngga mos keladiyagona-rejim yoki koʻp rejimli optikauzoq masofali modullarni talab qilmaydigan matoga ortiqcha xarajat qilmaslikning eng oddiy usullaridan biri hisoblanadi.

Ochig'ini aytganda: agar jamoangiz yo'qotishsiz{0}}Ethernet tajribasiga ega bo'lmasa, RoCE arzonroq variant emas. Uskunadagi tejamkorlik matoni barqaror saqlash uchun muhandislik xarajatlari bilan tezda iste'mol qilinishi mumkin.

Masshtablilik va operatsiyalar

Kengaytirish port sonidan ko'proq. U matoning qanchalik oson joylashtirilishi, kuzatilishi, kengaytirilishi va biror narsa muvaffaqiyatsizlikka uchraganida tiklanishini o'z ichiga oladi.

InfiniBand klaster birinchi kundan boshlab yuqori{0}}ta'sirli mato sifatida yaratilgan bo'lsa, kuchli bo'ladi. U miqyosda izchil xatti-harakatni ta'minlaydi, lekin u InfiniBand{2}}o'ziga xos asboblarni, masalan, quyi tarmoq menejeri va yagona mato boshqaruvi hamda InfiniBand kontseptsiyalaridan qulay bo'lgan xodimlarni kutadi. Bu GPU ish yuklari atrofida qurilgan markazlashtirilgan AI klasterlari uchun tabiiy mos keladi.

RoCE Ethernet maʼlumotlar markazi dizaynlariga kiradi: barg{0}}umurtqa pogʻonasi topologiyalari, IP marshrutlash, ECMP va tanish kuzatuv amaliyotlari. Aynan shuning uchun u bulut{2}}uslubi va ko'p-ijarachi GPU infratuzilmasiga murojaat qiladi. U talab qiladigan intizom - bu izchillik. PFC, ECN, QoS, buferni boshqarish va tirbandlikni nazorat qilish butun yo'l bo'ylab izchil tarzda ishlab chiqilishi kerak, chunki matoning bir burchagidagi kichik noto'g'ri konfiguratsiya bir vaqtning o'zida ko'plab ish yuklarini tarqatishi va yomonlashishi mumkin. Jismoniy qatlam ham toza miqyosda bo'lishi kerak; yuqori-zichlikMPO va MTP magistral va uzilish kabellariHar bir kengayishni kabel oʻrnatish jumbogʻiga aylantirishdan koʻra, oʻsib borayotgan barg-umurtqa pogʻonasi toʻqimasini boshqarish mumkin boʻladi.

Ko'zgu{0}}tasvir nuqtasini ta'kidlash joiz: InfiniBand xulosasi asosan bitta tugun ichida qolsa va mato deyarli ishlatilmasa, uni oqlash qiyin.

Har bir xulosa ish yuki uchun qaysi tarmoq

Qachon RoCE etarlicha yaxshi va qachon xavfli bo'ladi

RoCE mustaqil yoki oʻzaro bogʻliq boʻlmagan soʻrovlar, oʻtkazuvchanlik{0}}yoʻnaltirilgan toʻplamli ishlar va izolyatsiyani sozlashingiz mumkin boʻlgan koʻp-ijarachilar klasterlari uchun yetarli, ayniqsa jamoa Data Center Bridge Ethernet-ni yaxshi bilsa. Bu o'ziga xos, taniqli yo'llar bilan xavfli bo'ladi:

• PFC bo'ronlari.Pauza ramkalari yuqori oqimga tarqaladi va asl tirbandlikka hech qanday aloqasi bo'lmagan trafikni muzlatib qo'yadi.
• Chiziqni bloklash-boshi-.Qo'pol ustuvor xaritalash bir tiqilib qolgan sinfga navbatni baham ko'rishda to'xtab qolish imkonini beradi.
• ECN noto'g'ri.Juda kech belgilang va siz tomchi olasiz; juda tajovuzkor tarzda belgilang va siz o'tkazuvchanlikni keraksiz ravishda pasaytirasiz.
• Mikroburst tiqilishi.Sub{0}}ikkinchi portlashlar toʻlib toshgan buferlar, lekin bir soniyalik ruxsatda namunalarni kuzatish uchun koʻrinmas qoladi.
• Mos kelmaydigan konfiguratsiya.Barglar va umurtqa pog'onasi bo'ylab mos kelmaydigan sozlamalar mahalliy bo'lib qolishdan ko'ra, tirbandlikning tarqalishiga olib keladi.

Bularning hech biri RoCEdan qochish uchun sabablar emas. Bular yo‘qotmaydigan matoni uchdan uchigacha izchil loyihalash va o‘lchovdan oldin nozik{1}}parchalangan, mikroburst-bilan telemetriyaga sarmoya kiritish uchun sababdir.

InfiniBand qachon bunga arziydi va siz haddan tashqari xarid qilsangiz

InfiniBand qat'iy p99 va p999 maqsadlari, bir-biriga chambarchas bog'langan ko'p{2}}tugunli xizmat va muhim ish yuklari- uchun SLA jazolari yuqori bo'lgan, ayniqsa mato atrofida yaratilgan maxsus GPU klasterida yuqori bahoga loyiqdir. Xulosa tugun ichida qolsa, ish oʻtkazuvchanlikka yoʻnaltirilgan boʻlsa, xotira, boshqaruv va koʻp{6}}ijarachi bulutli trafigini tashish uchun bir xil mato kerak boʻlganda yoki InfiniBand-ni yaxshi ishlatish uchun operatsion imkoniyatlaringiz yetarli boʻlmasa, siz haddan tashqari xarid qilishingiz mumkin.

Kommutator kotirovkasida ko'rinmaydigan xarajatlar haqiqiydir: ekotizim kontsentratsiyasi, Ethernet tarmog'ingiz bilan parallel ravishda ikkinchi matoni ishga tushirish va ehtiyot qismlar, optika va monitoring uchun alohida rejalashtirish.

Tanlashdan oldin InfiniBand va RoCEni qanday sinab ko'rish kerak

Protokol obro'si yoki spetsifikatsiya varag'i haqida qaror qilmang. Ishlab chiqarishga o'xshash benchmark haqida qaror qabul qiling. Amaliy ketma-ketlik:

• SLA ni quyruqlarda aniqlang.P50, p95, p99 va p999ni oʻrtacha emas, balki-birinchi{5}}token{6}}va tokenlararo{7}}kechikish vaqtini belgilang.
• Haqiqiy trafikni takrorlang.Bitta toza oqimdan koʻra koʻp qirrali, aralash model oʻlchamlari va koʻp-ijarachidan foydalaning.
• Tiklanish uchun yuk.Matoni to'g'ridan-to'g'ri tortishguncha itaring, so'ngra GPUdan foydalanishni o'lchang. Agar GPUlar tarmoqda to'xtab qolsa, mato sizning darbog'ingizdir.
• To'g'ri hisoblagichlarga e'tibor bering.Pauza ramkalarini, ECN belgilarini, paket tushishini, qayta uzatishni, port xatolik hisoblagichlarini va 400G va 800G da FEC xatolarini kuzating.
• Jismoniy qatlamni tasdiqlang.Toza, to'g'ri o'rnatilgan tolalar;ehtiyotkorlik bilan tolani o'rnatishyuqori tezlikdagi havolalar duchor boʻladigan oraliq-tashhis qoʻyish qiyin{1}}xatolarni oldini oladi.

Agar RoCE o'zining p99 maqsadini barqaror hisoblagichlar bilan real, bahsli, ko'p{1}}ijarachilar yuki ostida ushlab tursa, bu kuchli va iqtisodiy jihatdan samarali tanlovdir. Agar u faqat bitta{4}}toza test sinovlaridan o'tgan bo'lsa, siz hali SLAni hal qiladigan narsani sinab ko'rmagansiz.

Qochish kerak bo'lgan umumiy xatolar

• Barcha xulosalar engil tarmoq deb faraz.Ba'zi xulosalar oddiy va mustaqildir; ba'zilari taqsimlangan, kechikish-sezgir va tarmoqli kengligi-och. Bularning barchasini oson deb hisoblash kam qurilgan infratuzilmaga olib keladi.
• Faqat o'rtacha kechikishni solishtirish.Ishlab chiqarish xulosasi quyruqga bog'liq. Haqiqiy trafik ostida har doim p95, p99 va p999 ni baholang.
• RoCE ni plagin-va-play Ethernet sifatida qabul qiladi.Yuqori -samarador RoCE ataylab yoʻqotishsiz{1}}mato dizayni, tirbandlikni nazorat qilish va doimiy kuzatuvchanlikni talab qiladi.
• InfiniBand ni faqat tezroq bo'lgani uchun tanlash.Eng yaxshi ishlash varianti har doim ham eng yaxshi biznes varianti emas. Agar ish yuki deterministik xatti-harakatga muhtoj bo'lmasa, RoCE yaxshiroq qiymat berishi mumkin.
• Jismoniy qatlamga e'tibor bermaslik.400G va 800G da kabellar, optika, ulagichlar va tolaning tozaligi topish qiyin va tuzatish qimmat bo'lgan vaqti-vaqti bilan xatolarni keltirib chiqaradi.

Pastki chiziq

AI xulosasi uchun InfiniBand va RoCE ikkalasi ham amal qiladi va ular turli ustuvorliklarga xizmat qiladi. Haqiqiy{2}}vaqt, SLA-sezgir yoki chambarchas bog‘langan xulosalar uchun eng barqaror past{1}}kechikishli tarmoq kerak bo‘lganda InfiniBand-ni tanlang. Ommaviy xulosalar, koʻp-ijarachilarga moʻljallangan GPU xizmatlari, RAG ish yuklari va moslashuvchan infratuzilma uchun kengaytiriladigan, Ethernet-asosidagi, iqtisodiy{6}}tejamkor mato kerak boʻlganda RoCE’ni tanlang.

Qaror protokol bilan emas, balki ish yuki, kechikish maqsadi, klaster shkalasi, operatsion qobiliyatingiz va yangilash yo'l xaritasidan boshlanishi kerak. Agar sizning klasteringiz og'ir yuk ostida qattiq p99 ni ushlab turishi kerak bo'lsa, InfiniBand jiddiy e'tiborga loyiqdir. Agar sizning maqsadingiz Ethernet ma'lumotlar markazida iqtisodiy jihatdan xulosa chiqarish bo'lsa, RoCE odatda amaliyroq yo'ldir. Qanday bo'lmasin, yukni bajarishdan oldin-ishlab chiqarishda sinovdan o'ting.