## غول هوش مصنوعی ایلان ماسک، xAI، از قدرت شبکههای انویدیا برای آموزش مدلهای زبان بزرگ خود استفاده میکند
ایکسای، شرکت هوش مصنوعی متعلق به ایلان ماسک، در همکاری با انویدیا، از خوشه ابررایانه Colossus خود برای آموزش مدلهای زبان بزرگ (LLM) Grok استفاده میکند. Colossus که بزرگترین ابررایانه هوش مصنوعی جهان است، به بیش از 100,000 پردازنده گرافیکی Hopper انویدیا مجهز شده است که توسط پلتفرم شبکه Spectrum-X انویدیا متصل شدهاند.
Spectrum-X با استفاده از RDMA (دسترسی به حافظه مستقیم از راه دور) به عنوان یک شبکه انعطافپذیر و کارآمد برای ابررایانه Colossus عمل میکند و به xAI اجازه میدهد تا مدلهای زبان بزرگ خود را با سرعت و کارایی بالاتری آموزش دهد.
یکی از چالشهای اصلی در آموزش مدلهای زبان بزرگ، مدیریت ترافیک شبکه است. معمولا در این فرایند، به دلیل تداخل جریانهای داده، شاهد کاهش چشمگیر کارایی شبکه هستیم.
اما Spectrum-X انویدیا با مدیریت هوشمندانهی ترافیک شبکه، نه تنها از افت کارایی جلوگیری میکند، بلکه به xAI اجازه داده است تا به 95 درصد بازدهی در انتقال دادهها دست یابد.
xAI با استفاده از این پلتفرم، توانسته است مدلهای زبان بزرگ Grok را با سرعت چشمگیری آموزش دهد. Grok-1 با 314 میلیارد پارامتر و Grok-2 که در زمان معرفی خود از Claude 3.5 Sonnet و GPT-4 Turbo پیشی گرفت، به عنوان نمونهای از این دستاوردها هستند.
همکاری xAI و انویدیا به منظور ساخت Colossus تنها 122 روز زمان برد و این شرکت در حال حاضر قصد دارد تعداد پردازندههای گرافیکی Hopper را در این ابررایانه به 200,000 عدد برساند.
جیلاد شاینر، معاون ارشد شبکههای انویدیا میگوید: “هوش مصنوعی به سرعت در حال تبدیل شدن به یک فناوری حیاتی است و به همین دلیل نیاز به افزایش عملکرد، امنیت، مقیاسپذیری و هزینه بهینگی دارد. پلتفرم شبکه Spectrum-X انویدیا برای نوآوران مانند xAI سرعت پردازش، تحلیل و اجرای بارهای کاری هوش مصنوعی را فراهم میکند و در نتیجه باعث شتاب در توسعه، استقرار و کاهش زمان به بازار برای راه حلهای هوش مصنوعی میشود.”