Meta plant massive KI-Erweiterung mit 1,3 Millionen GPUs und einem rekordverdächtigen Rechenzentrum

Das Rennen um die Vorherrschaft in der KI verschärft sich und Meta unternimmt mutige Schritte, um die Nase vorn zu behalten. CEO Mark Zuckerberg gab bekannt, dass das Unternehmen plant, bis 2024 über 1,3 Millionen GPUs zu verfügen – mehr als das Doppelte seines aktuellen Bestands an Enterprise-GPUs. Diese Erweiterung zielt darauf ab, die Entwicklung der KI-Fähigkeiten von Meta zu beschleunigen, einschließlich des kommenden Modells Llama 4, das mit OpenAIs ChatGPT und Googles Gemini konkurrieren wird.

Bildnachweis: David Paul Morris | Bloomberg über Getty Images

Zu Metas ehrgeizigen Zielen gehört es, KI-Assistenten für über eine Milliarde Benutzer zu entwickeln und einen „KI-Ingenieur“ zu schaffen, der direkt zu Forschungs- und Entwicklungsbemühungen beitragen kann. Um diese Initiativen zu unterstützen, enthüllte Zuckerberg Pläne, bis Ende des Jahres ein riesiges Rechenzentrum zu bauen, das 1 Gigawatt Rechenleistung aufnehmen kann und dessen endgültige Kapazität 2 Gigawatt übersteigen soll – eine beispiellose Größenordnung in der KI-Computertechnik. Die Anlage soll eine Fläche umfassen, die mit einem beträchtlichen Teil Manhattans vergleichbar ist, und wird Teil einer Kapitalinvestition von 65 Milliarden US-Dollar im Jahr 2025 sein.

Dieser Schritt erfolgt inmitten eines harten Wettbewerbs. Elon Musks in Memphis ansässiger KI-Supercomputer zielt auf eine Million GPUs ab, während Sam Altmans 500 Milliarden Dollar teures Projekt Stargate darauf abzielt, KI-Rechenzentren in den USA zu bauen. Microsoft hat ebenfalls 80 Milliarden Dollar für KI-gestützte Infrastruktur bereitgestellt, darunter die Wiederinbetriebnahme eines Atomkraftwerks zur Deckung des Energiebedarfs.

Während der Strombedarf von KI-Rechenzentren in die Höhe schießt und einige Prognosen 5 Gigawatt erreichen, ist im Wettlauf um KI-Computer keine Verlangsamung erkennbar. Metas Investitionen unterstreichen sein Engagement, die nächste Generation technologischer Innovationen anzuführen.

Llama oder Large Language Model Meta AI ist eine Reihe autoregressiver Sprachmodelle, die von Meta AI entwickelt und erstmals im Februar 2023 eingeführt wurden. Das ursprüngliche Llama-Modell war nur als Basismodell verfügbar, wobei die Gewichte auf akademische und Forschungsorganisationen unter einer nichtkommerziellen Lizenz beschränkt waren. Trotz des strengen Zugangs sind die Gewichte des Modells kurz nach seiner Veröffentlichung online durchgesickert und haben Debatten über Zugänglichkeit und Missbrauch in der KI-Entwicklung ausgelöst.

Llama 2, das im Juli 2023 eingeführt wurde, markierte einen Wendepunkt, indem es fein abgestimmte Modelle für Chats enthielt und seine Lizenzierung erweiterte, um bestimmte kommerzielle Nutzungen zu ermöglichen. Es verbesserte auch die Leistung, indem es mit 40% mehr Daten als sein Vorgänger trainierte. Im August 2023 veröffentlichte Meta Code Llama, eine Variante, die speziell für Codierungsaufgaben entwickelt wurde und die Vielseitigkeit der Plattform demonstrierte.

Llama 3, das im April 2024 vorgestellt wurde, hat die Grenzen mit mehrsprachigen und multimodalen Fähigkeiten, verbessertem Denken und erweiterten Kontextfenstern noch weiter verschoben. Sein größtes Modell mit 70 Milliarden Parametern wurde mit 15 Billionen Token vortrainiert und übertraf Konkurrenten wie Gemini Pro 1.5 bei wichtigen Benchmarks. Im Juli 2024 führte Llama 3.1 eine bahnbrechende Version mit 405 Milliarden Parametern ein und festigte damit Metas Position in der KI-Landschaft weiter.

Im Laufe seiner Iterationen hat Llama die Weiterentwicklung der virtuellen Assistenten und Codierungstools von Meta vorangetrieben und gleichzeitig Innovationen bei mehrsprachigen und multimodalen KI-Systemen vorangetrieben.