Figuur 1: Belangrijkste voordelen van Dense Wavelength Division Multiplexing Co-Packaged Optics (DWDMCPO). (Afbeelding tegoed: Scintil Photonics)
Er is een gezegde op het gebied van datacenterontwerp: "Gebruik waar mogelijk koperen kabels en gebruik alleen optische technologie als glasvezel absoluut noodzakelijk is." Jarenlang is de pragmatische aanpak van de industrie geweest om voorrang te geven aan goedkope koperkabels- totdat de wetten van de natuurkunde een technologische upgrade afdwingen. Maar nu de computerclusters van kunstmatige intelligentie (AI) zich bewegen in de richting van de schaal van 'computerkrachtfabrieken' die miljoenen grafische verwerkingseenheden (GPU's) inzetten, en de kosteneffectiviteit van datacenters- onder enorme druk staat, ontdekken mensen dat dit 'geen-optica-alternatieve' technologische keerpunt veel eerder is aangebroken dan iemand had verwacht.
Netwerkarchitecten zijn zich er al lang van bewust dat koperkabels aanzienlijke beperkingen hebben in de transmissieafstand onder hogesnelheidsscenario's, maar slechts weinigen hebben de onderliggende oorzaken vanuit een fundamenteel fysiek perspectief geanalyseerd. Hoewel netwerkingenieurs met hun expertise de grenzen van de transmissieafstand en bandbreedte van koperkabels tot het uiterste hebben verlegd, kunnen de beperkingen van de natuurwetten niet worden overwonnen; zelfs de meest ingenieuze technische ontwerpen hebben moeite om de inherente beperkingen van koperkabels te overwinnen. Als u dit begrijpt, verklaart dit waarom de sector dringend overschakelt naar Co-Packaged Optics (CPO)-technologie.
Hoe hoger de frequentie van de elektrische signalen die via koperkabels worden verzonden, hoe hoger de symboolsnelheid en bandbreedte, en hoe meer informatie ze kunnen bevatten. Het probleem is dat naarmate de signaalfrequentie toeneemt, de transmissieafstand aanzienlijk afneemt. Er zijn twee primaire oorzaken van signaalverlies: het skin-effect en diëlektrisch verlies.
Huideffect: de "oppervlakteconcentratie" van stroom
Wanneer een wisselstroomsignaal door een koperen kabel gaat, induceert het veranderende magnetische veld wervelstromen in de geleider. Het magnetische veld dat door deze wervelstromen wordt gegenereerd, heft het magnetische signaalveld in het midden van de kabel op. Hoe sneller het magnetische signaalveld verandert-dat wil zeggen, hoe hoger de frequentie-hoe sterker dit annuleringseffect wordt.
Het directe resultaat is dat de stroom in een extreem dunne oppervlaktelaag van de geleider wordt "geperst"; de dikte van deze laag staat bekend als de huiddiepte. De huidige signaaloverdracht in AI-datacenters maakt doorgaans gebruik van frequenties rond de 53 GHz. Bij deze frequentie bedraagt de huiddiepte van koperen kabels slechts 0,3 μm. Zo'n dunne transmissielaag gebruikt minder dan 1% van het dwarsdoorsnedeoppervlak van de geleider, waardoor de weerstand van de kabel omhoogschiet- en zelfs de DC-weerstand ruim honderd keer overschrijdt.
Diëlektrisch verlies: "Energiedissipatie" in de isolatielaag
Een andere grote boosdoener achter signaalverzwakking in koperen kabels is diëlektrisch verlies. In hoogfrequente scenario's op gigahertzniveau kunnen de moleculen in het isolerende diëlektricum van de kabel geen gelijke tred houden met de snelle fluctuaties van het elektrische veld. De vertraging tussen de snelle fluctuaties van het elektrische veld en de achterblijvende reactie van de moleculen zet de elektromagnetische energie van het signaal om in thermische energie, wat resulteert in energieverlies.
Dubbele verliezen: de fatale zwakte van koperkabels
Wanneer het skin-effect en het diëlektrisch verlies samenwerken, neemt het signaalverlies in koperen kabels exponentieel toe naarmate de frequentie stijgt.
Om dit duidelijk te illustreren: bij een frequentie van 50 GHz zal het gecombineerde verlies van deze twee effecten, zelfs met koperen kabels van hoge- kwaliteit, meer dan 90% van het signaalvermogen verbruiken binnen een transmissieafstand van 2 meter. De fysieke eigenschappen van koperkabels dicteren een onverenigbare kerntegenspraak: bandbreedte en transmissieafstand kunnen niet tegelijkertijd worden bereikt.
Dense Wavelength Division Multiplexing Co-Packaged Optics (DWDMCPO)
Tegenwoordig is het prestatieknelpunt voor AI-trainingsclusters verschoven van floating{0}} operations per second (FLOPS) naar bandbreedtevereisten.
In schaalbare netwerken met consistent geheugen is een nieuwe generatie netwerktechnologie nodig om aan meerdere eisen te voldoen:
|Aangezien het stroomverbruik een beperkende factor wordt bij de implementatie van datacenters, is een lager energieverbruik per bit vereist;
| Omdat drijvende{0}}bewerkingen niet langer het knelpunt vormen, moet er voor elke processor een grotere bandbreedte beschikbaar zijn;
| Omdat de fysieke ruimte voor de uitrol van glasvezel beperkt wordt, moet een hogere integratiedichtheid worden bereikt;
| Om cross{0}}rack horizontale schaling mogelijk te maken, moeten langere transmissieafstanden worden ondersteund;
| Om de consistentie van het geheugendomein te behouden en het GPU-gebruik te verbeteren, is een ultra-lage staartlatentie vereist;
| Hoge betrouwbaarheid en onderhoudsgemak zijn eveneens essentieel.
Wanneer staartlatentie een kernbeperking wordt, zal het voldoen aan de bovenstaande vereisten het GPU-gebruik aanzienlijk verhogen (sommige modelschattingen geven aan dat het gebruik meer dan verdubbeld kan worden), het energieverbruik van het netwerk substantieel verminderen en de modelprestaties van begin tot eind verbeteren. Momenteel is DWDMCPO de enige technische aanpak die tegelijkertijd aan deze strenge eisen kan voldoen, en het zal verreikende -kosten-baten-transformaties opleveren voor exploitanten van hyperscale datacenters.
Door meerdere golflengten licht over één enkele vezel te verzenden, voorziet de DWDMCPO-technologie elke GPU van meerdere brede kanalen met lage- snelheid. Door het aantal verzonden golflengten op te schalen van 1 naar 8, 16 of zelfs meer, staat dit geometrische schaalpatroon klaar om een revolutie teweeg te brengen in AI-netwerken, net zoals de DWDM-technologie 25 jaar geleden een revolutie teweegbracht in de internet-backbone.
De transmissiesnelheid via één-kanaal van DWDM bedraagt ongeveer 50-64 Gbit/s, wat binnen de transmissiecategorie met lage- snelheid valt. Dankzij deze eigenschap kunnen ingenieurs het gegevenscoderingsschema van PAM4 naar NRZ vereenvoudigen. Deze vereenvoudiging elimineert meerdere kostbare en energie-intensieve signaalverwerkingsfasen, waardoor dubbele reducties in energieverbruik en latentie worden bereikt door het signaaltransmissiepad te stroomlijnen.
Staartlatentie is de ‘stille moordenaar’ die de ROI van datacenters erodeert. Wanneer GPU-clusters datatokens verwerken, hebben ze een continue, voorspelbare bitstreaminvoer nodig. Als een enkele bit transmissievertraging ondervindt, wordt de rest van het cluster inactief, waardoor het processorgebruik aanzienlijk wordt verminderd. Naarmate het aantal processors in een cluster toeneemt, neemt de waarschijnlijkheid van staartbitlatentie op p999-niveau aanzienlijk toe, en neemt het processorgebruik dienovereenkomstig af.
Zonder DWDMCPO-technologie met lage-latentie, laag- vermogen en lange- bereik zou de schaalbaarheid van netwerken beperkt zijn, en zouden de prestaties van grote taalmodellen (LLM's) bijgevolg beperkt zijn. Grotere-schaalbare, vlakkere,-schaalbare netwerken met lage{5}} latentie kunnen grotere sleutel-waardecaches ondersteunen, waardoor de contextvenstergrootte en de relevantie van de inhoud van het model direct worden vergroot, waardoor het effectieve werkgeheugen van de LLM effectief wordt uitgebreid. Een grotere bandbreedte met lage{8}} latentie biedt ook het potentieel om het aantal transformatorlagen te vergroten, waardoor modellen over diepere denk- en redeneringsmogelijkheden kunnen beschikken. Kortom: door de communicatiebeperkingen tussen chips te doorbreken, kunnen LLM's meer informatie in het werkgeheugen opslaan en meer redeneerstappen voltooien zonder te stotteren.
Koperen bekabeling was in die tijd ongetwijfeld een geweldige technologie, maar de inherente fysieke beperkingen ervan hebben geleid tot een dringende behoefte aan meer geavanceerde netwerktechnologieën om het rendement op investeringen voor hyperscale datacenters aanzienlijk te verbeteren en de mogelijkheden van LLM's uit te breiden.
Over een paar jaar zullen AI-datacenters die volledig op koperen kabels zijn gebouwd, net zo ondenkbaar worden als internetverbindingen over lange- afstanden die uitsluitend op koper vertrouwen.
Exploitanten van hyperscale datacenters, investeerders, LLM-ontwikkelaars en andere belanghebbenden in de AI-infrastructuur moeten deze technologische trend serieus nemen: het zal niet alleen het kosteneffectiviteitslandschap van datacenters fundamenteel hervormen, maar ook voortdurend de grenzen van de AI-mogelijkheden verleggen. Bedrijven die als eerste de DWDMCPO-technologie adopteren, zullen architectonische voordelen behalen in termen van kosten, energieverbruik en prestaties; deze voordelen zullen blijven toenemen naarmate de AI-infrastructuur groter wordt.
