AI klasterli tarmoq dizayni: Spine-Leaf, RoCE va NICs

Sun'iy intellekt klasteri tarmog'i dizayni - bu GPU server NIC-larining o'lchamlari, barg{0}}o'tkazuvchanlik kengligi, ortiqcha obuna koeffitsienti, RoCE sozlamalari, optika va kabellarni o'lchash jarayoni bo'lib, klaster miqyosidagi taqsimlangan trening trafigini oldindan aytish mumkin bo'lib qoladi. Bulardan birini noto‘g‘ri qabul qiling va tarmoq GPU - emas, balki - muammoga aylanadi.

Nima uchun AI klaster tarmog'i boshqacha

An'anaviy korporativ ma'lumotlar markazida tarmoq shimoliy{0}}janubiy foydalanuvchi trafigini, xotiraga kirishni, virtualizatsiyani va boshqaruvni boshqaradi. Sharq-g‘arbiy yo‘l harakati bor, lekin kamdan-kam hollarda ustunlik qiladi. AI klasterida vaziyat o'zgaradi. Taqsimlangan o'quv almashinuv gradientlarini ishga tushiradigan GPU serverlari ishning har bir bosqichida parametrlarni sinxronlashtiradi. Bu aloqa hisoblashning bir qismidir, uning yon ta'siri emas.

Agar 30 000 dollarlik GPU barcha qisqartirish operatsiyalari vaqtida 30% vaqtini tarmoqda kutishga sarflasa, klaster ishlamay turishi uchun hisoblash quvvatining 30 foizini samarali to‘laydi. AI tarmog'iga katta e'tibor qaratilishining iqtisodiy sababi shu.

Ish yukining uchta xususiyati dizaynni boshqaradi:

• Sharqiy{0}}gʻarbiy yoʻnalishdagi tirbandlik.Hammasi{0}}qisqartirish, barcha-to‘plash va kamaytirish-tarqalishi kabi jamoaviy aloqa operatsiyalari bir vaqtning o‘zida bir nechta tugunlar bo‘ylab sinxronlashtirilgan portlashlarni hosil qiladi.
• Quyruq{0}}kechikish sezgirligi.Bitta sekin tugun butun mashg'ulot bosqichini kechiktiradi. Bashorat qilinadigan kechikish o'rtacha kechikishdan ko'ra muhimroqdir.
• O'sish-ko'lamini kengaytiring.32 GPUdan boshlanadigan klasterlar odatda 18 oy ichida 256 yoki 1024 gacha o'sadi. Mato qayta ishlanmasdan kattalashishi kerak.

Nima uchun orqa miya-barg AI klasterlariga mos keladi?

Spine{0}}bargi gipermiqyosdagi ma'lumotlar markazlari uchun standart matodir, chunki u har bir serverga{1}}serverga{2}}bir xil hop soni va bir xil nazariy tarmoqli kengligi beradi. AI ish yuklari uchun bu bir xillik to'g'ridan-to'g'ri ko'proq prognoz qilinadigan o'quv bosqichlariga aylanadi.

Orqa miya{0}}barg topologiyasida GPU serverlari barg kalitlariga ulanadi va har bir barg har bir umurtqaga ulanadi. Har qanday GPU{2}}to-GPU aloqasi aynan bitta barg, bitta umurtqa pogʻonasi va yana bitta bargni kesib oʻtadi. O'zgaruvchan kechikish yoki bo'g'ilish nuqtalarini kirituvchi yig'ish qatlamlari mavjud emas.

Bashorat qilinadigan kechikish

Teng{0}}xarajatli ko'p{1}}yo'l (ECMP) marshrutlash umurtqa pog'onalari bo'ylab oqimlarni taqsimlaydi. Moslashuvchan marshrutlash yoki dinamik yuk balansi bilan toʻgʻri sozlangan boʻlsa, bu baʼzi oqimlarning boshqalarga qaraganda ancha sekinroq boʻlishiga olib keladigan hash toʻqnashuvlarining oldini oladi - kam, lekin katta oqimlarni oʻtkazuvchi statik ECMP matolarida maʼlum muammodir, bu esa AI taʼlimini keltirib chiqaradi.

Yuqori ikki qismli tarmoqli kengligi

Ikki qismli tarmoqli kengligi - bu klasterning har qanday ikkita teng yarmi o'rtasida mavjud bo'lgan o'tkazuvchanlik. Sun’iy intellekt bo‘yicha treninglar -bloklanmaydigan yoki-bloklanmaydigan{3}}barg{4}}to‘g‘riga{5}}bog‘lanish imkoniyati serverlar oldida turgan pastga ulanish sig‘imiga teng yoki deyarli teng bo‘lgan dizaynlardan foyda oladi. IETF ushbu tushunchalarni belgilaydi va muhokama qiladiRFC 7938, bu katta hajmdagi maʼlumotlar markazlarida keng qoʻllaniladigan BGP-yoʻnaltirilgan Clos matolarini qamrab oladi.

Masshtabni osonlashtirish-

Ko'proq serverlar qo'shish uchun ko'proq barglar qo'shing. Ko'proq ikki qismli tarmoqli kengligi qo'shish uchun ko'proq tikanlar qo'shing. Bir necha ming GPUdan ortiq klasterlar uchun super{2}}umurtqa pog‘onasi (5-bosqichli Clos) yoki temir yo‘l bilan optimallashtirilgan topologiya bir xil printsipni yana bir qatlamga kengaytiradi.

AI klaster tarmog'ining asosiy komponentlari

GPU serverlari va NIClar

NIC - bu mato uy egasi bilan uchrashadigan joy. Sun'iy intellekt klasterlarida NIC tanlovi barcha quyi oqim - o'tish port tezligini, optikani tanlashni va kabel zichligini boshqaradi.

AI ish yuklarini tanlash mezonlari:

• Port tezligi:Har bir port uchun 200G, 400G yoki 800G. GPU ishlab chiqarish va PCIe tarmoqli kengligi bilan mos keladi.
• PCIe avlodi:400G NIC-ga xostning yon tomonlarini -bosib qo'ymaslik uchun PCIe Gen5 x16 kerak. ~256 Gbit/s tezlikda foydalanish mumkin bo'lgan PCIe Gen4 x16 qopqoqlari.
• RDMA va RoCEv2-ni qo'llab-quvvatlash:Yadro{0}}NCCL kabi GPU aloqa kutubxonalarini chetlab o‘tish uchun talab qilinadi.
• GPUDirect RDMA:GPUni{0}}NIC DMA-ga-to‘g‘ridan-to‘g‘ri xost xotirasi nusxalarini olib tashlash imkonini beradi.
• Ko'p{{0}temiryo'l qobiliyati:Koʻpgina sunʼiy intellekt serverlari optimallashtirilgan topologiyalar- uchun har bir tugun uchun 4 yoki 8 NIC, har bir GPU juftiga bittadan foydalanadi.

Bugungi kunda odatiy 8-GPU serveri ish yuki va byudjetga qarab 4× 400G NIC (har ikki GPU uchun bitta) yoki 8× 400G NIC (har bir GPU uchun bitta) dan foydalanadi. Arxitekturalarga havolaNVIDIA tarmoq hujjatlaridizayn kelishuvlarini batafsil yoritib bering.

Barg va orqa miya kalitlari

AI matolari uchun kalit tanlash mezonlari korxona tanlovidan farq qiladi. Bufer hajmi, tirbandlikni nazorat qilish harakati va telemetriya xususiyat kengligidan ko'ra muhimroqdir.

• Har-port tezligi va radis:51,2 Tbps ASIC kaliti 64 × 800G yoki 128 × 400G portlarini taqdim etadi. Radix matoning qanchalik tekis bo'lishi mumkinligini aniqlaydi.
• Bufer arxitekturasi:Chuqur buferlar incast portlashlarni o'zlashtiradi, lekin kechikish vaqtini oshiradi. Sayoz buferlar kechikishni kamaytiradi, lekin tiqilib qolishni aniq nazorat qilishni talab qiladi.
• RoCE xususiyatlari to'plami:ECN belgisi, PFC, DCQCN yoki shunga o'xshash tirbandlikni nazorat qilish va ustuvor navbatlarni oxirigacha-oxirigacha-to'g'ri boshqarish.
• Telemetriya:Tarmoq ichidagi tarmoq telemetriyasi (INT), har bir{0}}navbat chuqurligi hisoboti va ECN belgilari va PFC pauzalari uchun mikrosoniya{1}}ravshanlik hisoblagichlari.

Optika, DAC va AOC kabellari

400G va 800G da kabel zavodi haqiqiy muhandislik muammosiga aylanadi. Shakl omillari, havolalar budjetlari va ajratilgan konfiguratsiyalar hammasi erta rejalashtirishni talab qiladi.

• DAC (to'g'ridan-to'g'ri biriktiruvchi mis):400G uchun ~3 metrgacha, eng past narx va eng kam quvvat. Og'ir va katta hajmli.
• AOC (faol optik kabel):~30 metrgacha, DAC dan yupqaroq, lekin belgilangan-uzunligi va ikkala uchida optik quvvat sarflaydi.
• Ulanadigan optika:AOC masofasidan tashqarida talab qilinadi. QSFP-DD va OSFP shakl omillari 400G/800Gda ustunlik qiladi. MPO/MTP tolali birikmalari parallel{5}}tolali ulanishlarni boshqaradi.

400G/800G da{0}}raklararo havolalar va tizimli kabellar uchun MPO uzilishlari orqali parallel optika endi standart hisoblanadi. Magistral kabellar va uzilish moslamalari o'rtasidagi tanlov kommutator portining joylashuviga bog'liq - bizning ma'lumotimizga qarang.MPO uzilish kabeli qo'llanmasiamaliy tanlash mantig'i uchun va kengroqMPO trunk va breakout solishtirishbarg{0}}umurtqa pog'onasiga-yugurishni rejalashtirayotganda.

AI matolarida RoCE va Lossless Ethernet

RoCEv2 (Converged Ethernet v2 orqali RDMA) AI ish yuklari uchun dominant Ethernet transportidir. Bu NIC-larga ma'lumotlarni GPU xotirasi hududlari o'rtasida yadro ishtirokisiz ko'chirish imkonini beradi. NCCL, deyarli barcha tarqatilgan o'quv tizimlari asosidagi GPU aloqa kutubxonasi, InfiniBand mavjud bo'lmaganda RoCEv2 dan foydalanadi.

RoCE to'g'ri sozlanganda yaxshi ishlaydi. Noto'g'ri tuzilgan bo'lsa, u yomon ishlamaydi. TheInfiniBand savdo uyushmasiRoCE spetsifikatsiyalarini e'lon qiladi va ko'pchilik NIC va switch sotuvchilari oxirigacha-oxirigacha- amal qilinishi kerak bo'lgan batafsil konfiguratsiya qo'llanmalarini nashr etadilar.

Nima uchun yo'qotishsiz xulq-atvor muhim

RDMA yo'qotishsiz tashishni nazarda tutgan holda ishlab chiqilgan. Paketlar tushib qolsa, RDMA-ni qayta tiklash qimmat - qaytish-orqaga-N qayta uzatish o'quv bosqichini millisekundlarga to'xtatib qo'yishi mumkin, bu esa mikrosoniyali -miqyosdagi RDMA byudjetiga nisbatan juda katta.

Ethernet-da yo'qotishsiz harakatni taxmin qilish uchun mato birgalikda ishlaydigan ikkita mexanizmdan foydalanadi:

• PFC (Priority Flow Control, IEEE 802.1Qbb):Kommutator buferi to'ldirilganda ma'lum bir ustuvor navbatda kiruvchi trafikni to'xtatib turadi. Bu oxirgi chora-mexanizm.
• ECN (aniq tirbandlik haqida bildirishnoma, RFC 3168):Navbatlar ostonaga yaqinlashganda, kalitlar paketlarni belgilaydi. NIC buferlar to'ldirilishidan oldin jo'natish tezligini pasaytiradi, ideal holda PFCdan butunlay qochadi.

Maqsad - ECN deyarli barcha tirbandliklarni boshqarish, PFC xavfsizlik tarmog'i sifatida. Agar doimiy traffik-da tez-tez PFC pauzalarini ko‘rsangiz, ECN chegaralari noto‘g‘ri yoki matoingiz past o‘lchamda.

RoCE tarqatishda keng tarqalgan nosozliklar

AI klaster tarmog'ini qanday loyihalash mumkin: ishchi ramka

Bu "AI tarmog'i" maqolalarining ko'p qismini o'tkazib yuboradigan bo'lim. Quyidagi yetti bosqich sizga har bir bosqichda aniq kirish va chiqishlarni beradi.

1-qadam: Ish yuki va masshtabni aniqlang

Kirishlar:Ish yuki turi (oldindan tayyorlash, nozik{0}}sozlash, xulosa chiqarish, aralash), bugungi kundagi maqsadli GPU soni, 18 oydagi maqsadli GPU soni, model o‘lchami diapazoni.

Chiqish:NIC tezligi va ortiqcha obuna tolerantligi haqida ma'lumot beruvchi ish yuki profili. Chegara modellarini katta hajmda oldindan tayyorlash 400G+ matolarni-bloklanmasdan talab qiladi. Ish yuklarini nozik{5}}sozlash 2:1 ortiqcha obunaga bardosh bera oladi. Xulosa klasterlari ko'pincha kamroq o'tkazish qobiliyatini talab qiladi, lekin past kutish vaqti.

2-qadam: NIC tezligini va server uchun hisoblashni tanlang

Qaror mantiqi:

• Katta modellarni, 8-GPU serverlarini oldindan tayyorlash → har bir server uchun 4–8× 400G NIC yoki 4× 800G
• Oʻrta{0}}oʻqitish, 8-GPU serverlari → Har bir server uchun 2–4× 400G NIC
• Model parallelligiga qarab, har bir server uchun xulosa chiqarish → 1–2× 200G yoki 400G NIClar

Xostda PCIe tarmoqli kengligini tekshiring. Bitta 400G porti liniya tezligida ishlashi uchun PCIe Gen5 x16 ni talab qiladi; 800G ga ikki baravar oshirish Gen6 ni yoki ikkita uyaga bo'linishni talab qiladi.

3-qadam: Barg qatlamini o'lchami

Ishlagan misol - 32-tugun klasteri, har bir tugun uchun 8 ta GPU, har bir tugun uchun 4× 400G NIC:

• Jami server{0}}kerakli portlar: 400G da 32 × 4=128 port
• Har bir tugun uchun pastga ulanish o'tkazish qobiliyati: 4 × 400=1.6 Tbps
• Klasterning umumiy oʻtkazuvchanligi: 32 × 1.6=51.2 Tbit/s

64 portli 400G bargli kalit (jami 25,6 Tbps) yordamida har bir varaq 32 ta server portini ulashi va qolgan 32 portdan yuqoriga ulanish sifatida foydalanishi mumkin. 4 barg bilan siz barcha 128 server portlarini qamrab olasiz. Har bir barg umurtqa pog‘onasi tomon 32 × 400 G=12.8 Tb/s yuqoriga ulanish imkonini beradi.

4-qadam: Orqa miya qatlamini o'lchami

Bloklanmagan{0}}(1:1) dizayn uchun umumiy yuqoriga ulanish sig‘imi umumiy pastga ulanish sig‘imiga teng bo‘lishi kerak. 3-bosqichdan:

• Kerakli jami barg yuqoriga ulanishi: 4 barg × 12,8 Tb/s=51.2 Tb/s
• Har bir umurtqa pog'onasida 32× 400G=12.8 Tbit/s port bo'lsa, sizga 4 ta umurtqa kerak bo'ladi.
• Har bir barg har bir umurtqa pog‘onasida 8 ta ko‘tarilish orqali barcha 4 umurtqa pog‘onasiga ulanadi (har bir barg uchun 8 × 400G × 4=12.8 Tbps - mos keladi)

Agar 64 portli 400G umurtqa pog‘onasi kalitlari ishlatilsa, har bir umurtqa pog‘onasi klasterni o‘stirish uchun zaxira sig‘imga ega bo‘lib, 1-bosqichdan boshlab 18 oylik reja uchun foydalidir.

5-qadam: Ortiqcha obuna nisbatini o'rnating

6-qadam: Alohida hisoblash, saqlash va trafikni boshqarish

Izolyatsiyani oshirish tartibida uchta variant:

• QoS sinflari bilan umumiy mato:Alohida DSCP ustuvorliklarida hisoblash, saqlash va boshqarish. Eng past narx; ehtiyotkor QoS konfiguratsiyasini talab qiladi.
• Mantiqiy ravishda ajratilgan VLAN/VRF:Xuddi shu apparat, alohida boshqaruv samolyotlari. Ko'p ijarachilar klasterlari- uchun foydali.
• Jismoniy jihatdan ajratilgan matolar:Hisoblash va saqlash uchun ajratilgan NIClar, kalitlar va kabellar. Eng yuqori narx; har qanday tortishuvni qabul qilib bo'lmaydigan-model klasterlarida keng tarqalgan.

AI uchun saqlash trafigining o'zi og'ir - nazorat nuqtasi katta model uchun qisqa vaqt ichida yuzlab gigabaytlarni siljitishi mumkin. Buni aniq rejalashtiring. Foydalanilayotgan yuqori-zichlikdagi strukturali kabel qurilmasiMPO/MTP magistral kabellaribir xil jismoniy infratuzilmada parallel matolarni ishga tushirishni soddalashtiradi.

7-qadam: Ishlab chiqarishdan oldin tasdiqlang

Tarmoq{0}}darajasi sinovlari ayrim muammolarni aniqlaydi. Ish yuki-darajasi testlari qolganini ushlaydi.

• Tarmoqli kengligi:har bir tugun juftligi orasida iperf3 yoki ib_send_bw; NIC liniyasi tezligining 90% + ga yetishi kerak.
• Kechikish:ib_read_lat yoki shunga o'xshash; faqat o'rtacha emas, balki taqsimlashni tekshiring. P99.9 o'rtachadan ko'ra muhimroqdir.
• Paket yo'qolishi:Yuk ostida 24-soatlik suvga cho‘milish sinovini o‘tkazing; RoCE trafik sinfida nolga teng bo'lmagan har qanday yo'qotish muammodir.
• ECN belgilarining harakati:PFC yonishidan oldin belgilar paydo bo'lishini tekshiring; Agar PFC pauzalari barqaror holatda tez-tez bo'lsa, qayta sozlang.
• Kollektiv muloqot:NCCL testlarini (all_reduce_perf, all_gather_perf) to'liq klaster o'lchamida bajaring. Sotuvchining ma'lumot raqamlari bilan solishtiring.
• Ish-darajasi testi:4-6 soat davomida vakillik mashg'ulotini boshqaring. Toʻgʻri oʻlchamdagi modelda - 50% dan past boʻlgan GPUdan foydalanishning barqaror qiymatlarini koʻring-odatda tarmoq muammosini koʻrsatadi.

Anʼanaviy maʼlumotlar markazi tarmogʻi va AI Spine-Leaf Fabric

Ethernet RoCE va InfiniBand: Tez qaror qabul qilish bo'yicha qo'llanma

Savol deyarli har bir AI klaster loyihasida paydo bo'ladi. Ikkalasi ham ishlaydi. Tanlov odatda sof ishlashga emas, balki operatsion moslashuvga bog'liq.

• InfiniBand-ni tanlang, agar:Sizning jamoangiz allaqachon InfiniBand matolari bilan ishlaydi, siz yo'qotishsiz tashishning eng oddiy yo'lini xohlaysiz yoki to'liq integratsiyalangan-sotuvchi ma'lumotnomasi arxitekturasini xarid qilyapsiz.
• Ethernet RoCE ni tanlang, agar:Operatsion guruhingiz Ethernet-mahalliy, siz koʻp sotuvchini almashtirish opsiyalarini xohlaysiz, AI tuzilishini mavjud maʼlumotlar markazi tarmoqlari bilan integratsiyalashingiz kerak yoki joriy InfiniBand topologiyalari qoʻllab-quvvatlaganidan oshib ketishini kutasiz.

2023-yilda tashkil etilgan Ultra Ethernet Konsortsiumi AI ish yuklari uchun Ethernet yaxshilanishlarini standartlashtirish ustida faol ishlamoqda. 2026 yildagi aksariyat yangi klasterlar uchun Ethernet RoCE himoyalangan standart hisoblanadi, agar boshqacha tanlash uchun aniq sabab bo'lmasa.

Qochish kerak bo'lgan umumiy xatolar

NIClarni tekshirmasdan kalitlarni yangilash

Agar NIC-laringiz 400G-da ishlasa yoki kompyuteringizning PCIe-ning tarmoqli kengligi tugasa, 800G kalitli mato siz uchun hech narsa qilmaydi. Avval xost tomonini, so'ngra kalit tomonini loyihalashtiring. PCIe Gen5 x16 bitta portni taxminan 504 Gbit/s real{7}}umumjahon o‘tkazish qobiliyatini - 400G uchun qulay, 800G uchun cheklov bilan cheklaydi.

Port tezligini optimallashtirish, lekin kabel zichligiga e'tibor bermaslik

64-port 400G chiqishlarida, har bir kalit ostidagi kabelni rejalashtirishsiz jismonan boshqarib bo'lmaydigan holga kelishi mumkin. Kerakli hollarda ajratuvchi kabellardan foydalaning, tolalarni tuzilgan yo'llar orqali yo'naltiring va ulagich turlarini standartlashtiring. Ulagichning sifati va tugatish yuqori tezlikda muhim - bizningoptik tolali ulagichlar turlari bo'yicha qo'llanmaLC, MPO va paydo bo'layotgan yuqori{0}}zichlikdagi shakl omillari o'rtasidagi kelishuvlarni qamrab oladi.

RoCEni Plug-va-Play sifatida qabul qilish

Haqiqiy AI klasterlaridagi eng katta dizayn xatosi noto‘g‘ri kalitni tanlamaslikdir - bu RoCE konfiguratsiyasining oxirigacha{1}}qanchalik{2}}ishini yetarlicha baholamaslikdir. ECN chegaralarini, PFC ustuvorliklarini va MTU izchilligini sozlash uchun byudjet vaqti. Har qanday ishlab chiqarish ish yukini ishga tushirishdan oldin maxsus tekshirish bosqichini rejalashtiring.

QoSsiz bitta matoda barcha trafikni aralashtirish

Saqlash replikatsiyasi, monitoring agentlari va trafikni boshqarish, agar ular buferlarni hisoblash trafigiga ulashgan bo'lsa, mashg'ulotlar vaqtini buzishi mumkin. Ularni jismonan ajratib oling yoki alohida ustuvorliklar va ECN konfiguratsiyasi bilan qat'iy QoS sinflarini qo'llang.

Faqat bugungi klaster uchun qurilish

Aksariyat AI klasterlari dastlabki ishga tushirilgandan keyin ikki yil ichida 4-8 marta o'sadi. Uzluksiz kengayishga imkon beruvchi-shamchalar va umurtqa pog‘onasi sig‘imini tanlang. Jonli AI ma'lumotlar markazida kabellarni tortib olish qimmatga tushadi; joylashtirish vaqtida quvur va yamoq quvvatini rejalashtirish arzon.

Qachon 400G dan 800G gacha ko'tariladi

800G NIC va kalitlari mavjud, lekin har bir port uchun qimmatroq. Quyidagi hollarda oshirishni o'ylab ko'ring:

• Har bir{0}}GPU tarmoqli kengligi talabi 400G taʼminlay oladigan darajadan oshadi -, masalan, H100 va NVLink 5’ga ega yangi GPU’lar tashqi tarmoqli kengligi yuqoriroq boʻlishini kutishadi.
• NCCL barcha{0}}kamaytirish vaqtini klaster o'lchami bilan yomon ko'rsatib, tarmoqning to'yinganligini ko'rsatadi
• 400G kabel zichligi jismonan boshqarib bo'lmaydigan bo'lib bormoqda - kamroq 800G portlar ko'proq 400G portlarni almashtira oladi
• Sizning yo'l xaritangizdagi keyingi GPU avlodiga klasterning amortizatsiya oynasida kerak bo'lishi kutilmoqda
• Siz -model oʻqitish klasterini qurmoqdasiz, bunda har qanday hisoblashning boʻsh turishi optikani yangilashdan ancha qimmat turadi.

2026-yildagi aksariyat ishlab chiqarish klasterlari uchun 400G xarajat, ekotizim etukligi va qobiliyatning to‘g‘ri balansi bo‘lib qolmoqda. 800G yuqori darajadagi ma’noga ega va bugungi kunda qurilayotgan va 4-5 yil davomida ishlashi kutilayotgan klasterlar uchun istiqbolli sarmoya sifatida.

Xulosa

Eng kuchli AI klaster tarmog'i eng tezkor kalitlarga ega emas. Bu NIC tanlovi, barg / umurtqa pog'onasi o'lchami, ortiqcha obuna, RoCE konfiguratsiyasi, trafikni ajratish va jismoniy kabellar bir-birini va ular tanlangan ish yukini qo'llab-quvvatlaydigan joy.

Ish yukidan va 18-oylik o'sish rejasidan boshlang. Har bir qatlamda tarmoqli kengligi ehtiyojlarini faqat oddiy qoidalar emas, balki haqiqiy raqamlar yordamida hisoblang. RoCE end-ni-tugatish- uchun sozlang va haqiqiy kollektiv aloqa mezonlari bilan tasdiqlang. Kabel zavodi uchun byudjet - 400G va 800G da, jismoniy qatlam endi ahamiyatsiz emas.

Har bir o'quv bosqichida o'zining GPU-larini 95% + foydalanish darajasida band qiladigan klaster ushbu qatlamlarning barchasiga e'tibor bergan klasterdir. Tezroq o'zgartirish va sekinroq mato bilan jo'natiladigan klaster GPU nima uchun ishlamasligini tushuntirish uchun yillar sarflaydi.

Qo'shimcha o'qish

• RFC 7938 - BGP yirik-koʻlamli maʼlumotlar markazlarida
• InfiniBand Trade Association - RoCE xususiyatlari
• NVIDIA tarmoq hujjatlari
• Optik tolali kabelni o'rnatish bo'yicha qo'llanma
• Insertion Loss vs Return Loss izohlangan