Търсенето на мащабна инфраструктура с изкуствен интелект доведе настоящите центрове за данни до техните граници. С ограничено пространство, захранване и охлаждане, просто разширяване в рамките на една сграда вече не е достатъчно. В този контекст Nvidia представя Spectrum-XGS Ethernet , технология, която свързва отдалечени съоръжения, за да работят безпроблемно като единна, унифицирана мрежа.
Предложението въвежда трети подход за мащабиране на ИИ: в допълнение към scale-up (разширяване на система) и scale-out (добавяне на повече възли), то включва scale-across за свързване на географски разделени центрове за данни. Целта е да се трансформират множество обекти в истински „суперфабрики“ за ИИ с предвидима производителност и ниска латентност между местоположенията.
Какво е Spectrum-XGS Ethernet и какъв проблем решава?
Когато един център за данни достигне максималния си капацитет по отношение на мощност, плътност и охлаждане , по-нататъшното мащабиране става сложно. Дори разполагането на повече стелажи има физически ограничения. Освен това, синхронизирането на хиляди процесори дистанционно изисква мрежа със стабилна латентност и много фин контрол на претоварването, нещо, което общият Ethernet не може да гарантира. Ето къде се намесва Spectrum-XGS Ethernet.
Това е еволюция на Ethernet екосистемата на Nvidia Spectrum-X , която разширява производителността ѝ отвъд едно място. Идеята е чиповете с изкуствен интелект на различни места да функционират като един единствен „суперчип“, минимизирайки променливостта на трептенето и осигурявайки постоянно време за реакция в различните обекти.
Как работи: Контрол на претоварването, базиран на разстояние, и телеметрия от край до край
Ключът се крие в алгоритми, които настройват мрежата въз основа на разстоянието между центровете , прилагайки автоматичен контрол на претоварването, прецизно управление на латентността и телеметрия от край до край . Това трио от техники позволява координация на трафика между отдалечени клъстери без пикове на натоварване, които да влияят негативно върху производителността на обучението или извода.
С тези възможности, Nvidia твърди, че Spectrum-XGS Ethernet постига увеличение на производителността от приблизително 1,9 пъти в сравнение с типичните Ethernet мрежи между центрове за данни в тестове, използващи нейната NCCL библиотека. На практика това се изразява в почти двойно по-висока ефективна скорост за комуникации между множество графични процесори и множество възли, когато работните натоварвания са разпределени между различни местоположения.
Измерима производителност и показатели за платформата
В допълнение към скока в NCCL, Ethernet платформата Spectrum-X, върху която е интегриран XGS, предлага приблизително 1,6 пъти по-голяма плътност на честотната лента от стандартните Ethernet решения. Тази комбинация цели мрежова структура, способна да захранва GPU ферми в голям мащаб с по-малко пречки, дори в сценарии с множество наематели и хипермащабиране.
Резултатът е, че множество центрове за данни могат да работят като едно цяло , с по-предсказуемо поведение в дългосрочен план. Това улеснява всичко - от обучението на масивни модели, разпределени в различни региони, до разширяване на капацитета, без да се налага пълно преустройство на електрическата или термичната архитектура на всеки обект.
Техническа основа: Spectrum-X комутатори и ConnectX-8 SuperNIC
Spectrum-XGS Ethernet е интегриран в мрежовата платформа на Nvidia и се поддържа от Spectrum-X комутатори и ConnectX-8 SuperNIC . Изборът на Ethernet не е случаен: въпреки че Nvidia промотира InfiniBand във високопроизводителни среди, Ethernet стандартът е повсеместен и улеснява приемането в съществуващи инфраструктури.
Успоредно с това, Nvidia продължава да усъвършенства силициевото фотонно превключване в рамките на своите семейства Spectrum-X и Quantum-X, път, който има за цел да свърже милиони графични процесори между различни обекти с по-ниска консумация на енергия и оперативни разходи. Тези устройства се вписват в подхода за мащабиране, който Spectrum-XGS позволява.
Случаи на употреба и първи внедрявания
Сред първите, които възприемат новата инфраструктура, е CoreWeave , доставчик, специализиран в облачно-базирани възможности за изкуствен интелект. Неговият главен технологичен директор, Питър Саланки, отбелязва, че обединяването на центровете му в единен суперкомпютър ще им позволи да предлагат проекти с изкуствен интелект в мащаб, който преди това е бил труден за постигане.
Моделът „център за данни като фабрика за изкуствен интелект“ може да бъде особено полезен за мащабни инициативи, задвижвани от технологичния и телекомуникационния сектор. Концепцията за свързване на съоръжения в градове, държави или континенти е в съответствие с планове, целящи разширяване на капацитета, без да се концентрира всичко в един-единствен кампус.
Интеграция с разпределени AI работни натоварвания
За обучението и разсъжденията на ИИ, пречката обикновено е в комуникацията между графичните процесори и ефективността на колективните операции. Акцентът на Spectrum-XGS върху NCCL и стабилността на латентността на дълги разстояния има за цел да подобри именно този аспект, намалявайки времената за синхронизация и увеличавайки използването на ускорители.
Този подход е от полза както за клъстери с един клиент, така и за среди с много клиент , където предвидимостта на мрежата е от решаващо значение за осигуряване на нива на обслужване. С телеметрия от край до край, операторите получават видимост, за да диагностицират и коригират производителността в различните обекти по-бързо.
Наличност и вписване в екосистемата
Nvidia посочва, че Spectrum-XGS Ethernet е наличен като част от платформата Spectrum-X. Това улеснява приемането му от организации, които вече използват комутационната екосистема ConnectX-8 и SuperNIC , опростявайки пилотните тестове и поетапното внедряване.
За операторите и екипите по мрежово инженерство преходът не е свързан с подмяна на всичко, а по-скоро с въвеждане на равнина за свързване между центровете за данни, готова за AI натоварвания. Съвместимостта с Ethernet позволява интеграция със съществуващи инструменти и процеси, намалявайки кривата на обучение.
Преглед на индустрията и присъствие на Hot Chips
Компанията планира да се задълбочи в това предложение на Hot Chips , където ще се обърне внимание на архитектури за шкафове и центрове за данни. В рамките на програмата, сегментът на комбинираните оптични комутатори също се фокусира върху повишаване на ефективността и производителността на големи фабрики с изкуствен интелект, подчертавайки ролята на Spectrum-XGS в мащабирането между обектите.
Този ход потвърждава една тенденция: растежът на изкуствения интелект вече не зависи единствено от натрупването на повече графични процесори, а от комбинирането на множество местоположения без компромис с производителността. Това разширява възможностите за разпределение на натоварванията, оптимизиране на разходите за енергия и доближаване на изчислителната мощност до мястото, където е необходима.
Ходът на Nvidia със Spectrum-XGS Ethernet позиционира мащабируемостта като ключов елемент за преодоляване на физическите ограничения на една сграда. С измерими подобрения в колективните комуникации, увеличена плътност на честотната лента и широко съвместима Ethernet основа, предложението отваря вратата за работа на множество центрове за данни като единна система с изкуствен интелект – стратегия, която би могла да окаже решаващо влияние в следващата вълна от мащабни проекти за изкуствен интелект.