OpenAI Stargate en mega-infrastructuur

Vijf leiders uit de AI-industrie, waaronder ASML-CEO Christophe Fouquet, Google Cloud-COO Francis deSouza en Perplexity-CBO Dmitry Shevelenko, bespreken tijdens een conferentie in Beverly Hills de grote beperkingen in de AI-voedingsketen. Ze wijzen op chiptekorten, energieproblemen en de noodzaak van efficiëntere infrastructuur. Fouquet benadrukt dat de chipproductie niet snel genoeg is om de vraag te dekken, terwijl deSouza stelt dat Google onderzoekt ruimtegebaseerde datacenters om energieproblemen aan te pakken. Bodnia van Logical Intelligence stelt dat energiegerichte modellen een alternatief kunnen zijn voor traditionele LLM's. De discussie sluit met geopolitieke en ethische vragen rond fysieke AI en de toekomst van de sector.

XAI en Anthropic hebben een opmerkelijke samenwerking aangegaan waarbij Anthropic de gehele rekenkracht van xAI's Colossus 1 datacenter overneemt, wat een waarde van miljarden dollar kan betekenen. Dit maakt xAI van een rekenkrachtverstrekkende voor een andere AI-ontwikkelaar, in plaats van een modelontwikkelaar. Elon Musk verklaart dat xAI al gebruik maakt van een nieuwere datacenter, Colossus 2, waardoor de samenwerking niet noodzakelijk is voor het trainen van modellen. De samenwerking wordt gezien als een strategische stap om xAI te positioneren als een neocloudbedrijf, waarbij rekenkracht wordt verkocht aan bedrijven zoals Anthropic. Dit benadrukt dat xAI zich meer richt op het bouwen van datacenters dan op het trainen van AI-modellen. De valutatie van xAI, die op 230 miljard dollar staat, benadrukt de grotere concurrentie met andere neocloudbedrijven zoals CoreWeave.

OpenAI heeft een nieuwe trainingsspec lanceert die gericht is op het verbeteren van GPU-prestaties bij het opzetten van grote AI-modellen. De spec is ontworpen om de efficiëntie van AI-rekenkracht te verhogen, wat belangrijk is als de vraag naar AI-rekenkracht stijgt. De aanpak kan bijdragen aan snellere en goedkoper trainingsprocessen voor grote AI-modellen. De spec is een stap in de richting van betere infrastructuur voor AI-ontwikkeling.

Nvidia en Corning gaan samenwerken om optische vezelfabrieken op te zetten, om de stijgende vraag naar infrastructuur voor AI te bevredigen. De samenwerking richt zich op het opzetten van productieinstallaties voor optische vezels, die essentieel zijn voor de uitbreiding van AI-netwerken. De partners willen zo de groeiende behoefte aan snelle en betrouwbare dataverbindingen ondersteunen, wat cruciaal is voor de ontwikkeling van AI-systemen en grote datacenters.

Een topexecutief van OpenAI, Greg Brockman, heeft tijdens een rechtsproces verklaard dat het bedrijf verwacht 50 miljard dollar aan rekenkracht te verbruiken voorzien te zijn voor het eind van dit jaar. De uitspraak kwam tijdens de juridische strijd met Elon Musk. OpenAI, dat sinds 2023 de AI-boom heeft aangewakkerd, heeft nog steeds geen winnende strategie gevonden. De investeringsplannen van grote bedrijven zoals Microsoft, Amazon, SoftBank en Nvidia zijn onderdeel van complexe financiële dealen waarbij de investeringen vaak in de vorm van subsidies of terugbetalingen worden verwerkt. De uitspraken sturen een vraag op: kan OpenAI daadwerkelijk zo veel geld verbruiken, of is het gewoon om de momentum te onderhouden?

Astera Labs heeft een alternatief voor Nvidia's NVSwitch geïntroduceerd, genaamd Scorpio X. Het apparaat biedt 320 PCIe 6.0-lanen en 5,12 TB/s bidirectionele bandbreedte, waardoor het geschikt is voor rack-scale AI-systemen. Scorpio X is ontworpen om collectieve communicatie te versnellen, wat belangrijk is voor generatieve AI-inferentie. Het ondersteunt ook in-netwerk berekeningen, zoals Hypercast, een multicast-technologie speciaal voor mixture-of-experts (MoE) modellen. Astera benadrukt dat Scorpio een vendor-agnostisch alternatief is, en werkt met bestaande infrastructuur. De productie van Scorpio is gepland voor de tweede helft van 2026.

OpenAI lanceert het MRC-protocol (Multipath Reliable Connection), een nieuw netwerkprotocol dat de betrouwbaarheid en prestaties van grote AI-trainingssystemen verbetert. Het protocol, ontwikkeld in samenwerking met AMD, Broadcom, Intel, Microsoft en NVIDIA, helpt bij het oplossen van netwerkproblemen zoals congestie en storingen, waardoor AI-modellen sneller en efficiënter kunnen worden getraind.

OpenAI heeft zijn WebRTC-stack herontworpen om real-time spraak-ai met laag vertraging en wereldwijde schaal te ondersteunen. De nieuwe architectuur maakt gebruik van een combinatie van relais en transceiver om pakketverkeer efficiënt te routeren zonder de WebRTC-protocolsemantiek te verstoren. Dit helpt bij het verminderen van vertraging en het verbeteren van de schaalbaarheid van real-time spraak-ai diensten.

NVIDIA en Together AI benadrukken de opkomende rol van efficiënte inferentie in de productie van AI-systemen. In het artikel wordt uitgelegd dat inferentiekosten, niet training, de grootste uitgave vormen voor AI-native bedrijven. Het artikel bespreekt de uitdagingen bij het opzetten van infrastructuur voor snelle en betrouwbare inferentie, zoals latente tijd, doorvoer, modelveranderingen en gelijktijdigheid. Together AI presenteert innovatieve oplossingen zoals FlashAttention-4, ThunderKittens en Aurora, een open-source systeem dat in real-time aanpassingen maakt aan verkeerspatronen. De benadering van Together AI combineert onderzoek, systeemontwerp en hardwareoptimalisatie om efficiënte inferentie te realiseren, wat direct leidt tot betere winstmarges voor AI-bedrijven. De teksten benadrukken ook de groeiende belangrijkheid van inferentie-optimisatie in de AI-industrie en de rol van NVIDIA's Blackwell-hardware in dit proces.

De vraag naar kunstmatige intelligentie groeit sneller dan de onderliggende infrastructuur, waaronder data center capaciteit en bedrijfsbeheer. De systemen die AI ondersteunen, blijken niet in staat om mee te komen met de stijgende behoeften. Dit leidt tot uitdagingen bij het implementeren van generatieve AI in bedrijven. De tekst richt zich op het kiezen van de eerste toepassingen voor generatieve AI, met nadruk op verbetering van de menselijke ervaring met informatie.

OpenAI schaalt Stargate om de rekenkracht te bouwen die nodig is voor AGI, met het toevoegen van nieuwe datacentercapaciteit om de stijgende vraag naar AI te bevredigen. In slechts 90 dagen is al meer dan 3 gigawatt aan capaciteit toegevoegd, terwijl de vraag naar AI snel toeneemt. De initiatieven zijn gericht op samenwerking met partners, lokale gemeenschappen en het infrastructuur-ecosysteem om de benodigde infrastructuur te realiseren. De Stargate-site in Abilene, Texas, wordt gebruikt voor het trainen van het meest geavanceerde model GPT-5.5, dat op Oracle Cloud Infrastructure en NVIDIA GB200-systemen draait. OpenAI benadrukt dat verantwoordelijke infrastructuur belangrijk is, met bijvoorbeeld gesloten koeling en een duidelijke lokale impact, zoals ondersteuning voor onderwijs en werkgelegenheid in de omgeving.

OpenAI heeft zijn topmodellen officieel beschikbaar gesteld op Amazon Web Services' Bedrock-platform. De samenwerking, aangekondigd tijdens een AWS-evening in San Francisco, biedt bedrijven een alternatief om toegang te krijgen tot OpenAI's GPT-modellen zonder hun gegevens te delen met OpenAI's API's. Amazon benadrukt dat bedrijven AI-gestuurde tools willen bouwen, maar beperkingen door veiligheidsbeleid, privacy en data-sovereigniteit hun beperkingen. Door de modellen via een vertrouwd derde partij te openen, kan OpenAI veel van deze zorgen omzeilen. De modellen zijn ook beschikbaar op Bedrock Managed Agents en AgentCore, waarmee bedrijven tools kunnen bouwen en verbinden met hun eigen data. AWS introduceert tegelijkertijd nieuwe AI-tools, zoals Quick en versies van Connect. OpenAI's Codex-codeagent kan nu worden verbonden met modellen in AWS-datacenters. De toegang blijft voorlopig beperkt, met de GPT-5.4-model beschikbaar en GPT-5.5 binnenkort. De samenwerking is onderdeel van OpenAI's beloften van toegang tot AWS in ruil voor 35 miljard dollar in financiering, mits OpenAI twee gigawatt Trainium-accelerators van Amazon gebruikt. Microsoft blijft OpenAI's primaire cloudprovider, maar OpenAI kan nu ook samenwerken met anderen zoals Amazon.

Meta heeft een overeenkomst gesloten met AWS om de schaalbaarheid van zijn AI-infrastructuur te verbeteren. De deal is de laatste in een reeks belangrijke chipovereenkomsten waarbij techbedrijven worstelen om de berekeningskracht voor AI te vergroten. De samenwerking richt zich op het opzetten van een robuuste basis voor de toekomstige ontwikkeling van AI-modellen en toepassingen.

Artikel bespreekt waarom het meten van AI-trainingkosten in GPU-uren onjuist is. Het benadrukt dat de werkelijke kosten afhangen van infrastructuur-efficiëntie, niet alleen van de prijs per GPU-ur. Bijvoorbeeld, een 3000-GPU-cluster kost per uur $6000, en twee uur downtime voegen $12.000 toe aan de kosten. De tekst legt uit dat GPU-gebruik vaak lager ligt dan de theoretische maximumwaarden, en dat efficiëntie van de infrastructuur een grote rol speelt. Ook worden checkpointing en cluster-falen genoemd als factoren die de kosten verhogen. Het artikel stelt dat organisaties hun AI-training moeten beoordelen op basis van efficiëntie en systeemontwerp, niet alleen op GPU-prijs. Nebius wordt genoemd als een voorbeeld van een AI-cloud die gericht is op efficiëntie en kostenbesparing.

Microsoft kiest voor een investering van 18 miljard dollar in AI-infrastructuur in Australië. De maatregel komt na recente grote AI-investeringen van het bedrijf in Azië. De focus ligt op het verbeteren van de menselijke ervaring met informatie via generatieve AI. Het artikel bespreekt de keuze van eerste toepassingsgebieden voor generatieve AI, met nadruk op het verbeteren van informatiebehandeling en gebruikerservaring.