Die großen Namen im KI-Business wie OpenAI (das Unternehmen hinter ChatGPT) und andere haben ein Problem. Ihre bisherige Strategie, ihre großen Sprachmodelle (LLMs) mit immer mehr Daten zu füttern, scheint an ihre Grenzen zu stoßen.
Important food for thought, if you care about Generative AI:
— Gary Marcus (@GaryMarcus) November 12, 2024
Six months ago I predicted that LLMs were beginning to reach a point of diminishing returns. 𝗔𝗹𝗹 𝘀𝗶𝗴𝗻𝘀 𝗻𝗼𝘄 𝘀𝘂𝗽𝗽𝗼𝗿𝘁 𝘁𝗵𝗮𝘁 𝗰𝗼𝗻𝗷𝗲𝗰𝘁𝘂𝗿𝗲.
But it is not the only prediction I made: 𝗜… pic.twitter.com/usQmqX0wAw
Lange Zeit dachte man, dass KI durch mehr Rechenleistung und größere Datensätze automatisch intelligenter wird. Doch nun stellt sich heraus, dass diese Methode nicht mehr die gewünschten Ergebnisse liefert. KI-Unternehmen suchen jetzt nach neuen, kreativen Ansätzen, um Maschinen mehr Menschlichkeit beizubringen.
Es fühlt sich an wie eine Ewigkeit, aber es ist erst ein paar Jahre her, dass ChatGPT auf den Markt kam. Mit diesem Launch kam eine regelrechte KI-Revolution: Menschen weltweit begannen, ihre Arbeit zu automatisieren, während andere fürchteten, ihre Jobs zu verlieren.
Gleichzeitig begann ein neuer Tech-Wettbewerb. Jeder wollte das schlaueste Modell bauen. Die Strategie? Mehr Daten, mehr Rechenpower. Doch jetzt sagen die klügsten Köpfe der Branche:
„Moment mal, so einfach ist das nicht!“
I don't wanna say "I told you so", but I told you so.
— Yann LeCun (@ylecun) November 13, 2024
Quote: "Ilya Sutskever, co-founder of AI labs Safe Superintelligence (SSI) and OpenAI, told Reuters recently that results from scaling up pre-training - the phase of training an AI model that uses a vast amount of unlabeled…
Ein prominentes Beispiel ist Ilya Sutskever, Mitbegründer von OpenAI und Gründer des neuen Unternehmens Safe Superintelligence (SSI). Früher war er einer der größten Verfechter der Idee, dass man KI mit mehr Daten und Rechenleistung revolutionieren kann.
Diese Philosophie brachte uns Modelle wie ChatGPT. Doch jetzt sagt Sutskever, dass diese Methode an ihre Grenzen stößt:
„Die Ergebnisse aus der Skalierung des Pre-Trainings (also der Phase, in der KI Datenmengen verarbeitet, um Sprachmuster zu lernen) stagnieren.“
Hinter den Kulissen kämpfen die besten KI-Forschungsteams darum, ein Modell zu entwickeln, das besser ist als GPT-4 – seit zwei Jahren der Maßstab in der Branche. Doch die erhofften Durchbrüche bleiben aus.
Test-Time Training (TTT) enables LLMs to solve complex visual puzzles by learning from each test case
— Rohan Paul (@rohanpaul_ai) November 12, 2024
On-the-fly model adaptation achieves human-level performance in abstract reasoning
Original Problem 🤔:
LLMs excel at learned tasks but struggle with novel reasoning problems.… pic.twitter.com/dNs4GjLLuo
Der neue Plan heißt Test-Time Compute. Klingt kompliziert, ist aber simpel: Statt alle Intelligenz nur im Training aufzubauen, soll die KI „im Einsatz“ schlauer werden.
Das bedeutet, dass die KI nicht sofort eine Antwort liefert, sondern verschiedene Optionen in Betracht zieht, darüber „nachdenkt“ und die beste Lösung wählt.
Gamechanger für die KI-Branche
Dieser Ansatz könnte alles verändern:
- Die benötigten Ressourcen (Energie, Chips, Server)
- Wie KI in der Praxis eingesetzt wird
Sonya Huang, Partnerin bei Sequoia Capital, beschreibt den Wandel:
„Wir wechseln von gigantischen Pre-Training-Clusters zu verteilten Inferenz-Clouds.“
Das sind cloudbasierte Server, die KIs helfen, on-the-fly Entscheidungen zu treffen.
Für alle, die Angst vor einer KI-Dominanz haben, mag das eine gute Nachricht sein. Es zeigt, dass KI-Entwicklung komplexer ist, als viele dachten. Aber entspannen Sie sich nicht zu sehr: Unternehmen wie OpenAI haben immer noch das Ziel, eine artifizielle allgemeine Intelligenz (AGI) zu schaffen – also eine KI, die den Menschen in allen Bereichen überlegen ist.

Haftungsausschluss: Alle Materialien auf dieser Seite dienen nur zu Informationszwecken. Keines der Materialien sollte als Anlageberatung interpretiert werden. Bitte beachten Sie, dass trotz der Art vieler Materialien, die auf dieser Website erstellt und gehostet werden, HODLFM.DE keine Finanzreferenzressource ist und die Meinungen von Autoren und anderen Mitwirkenden ihre eigenen sind und nicht als finanzielle Beratung aufgefasst werden sollten. Wenn Sie eine solche Beratung benötigen, empfiehlt HODLFM.DE dringend, sich an einen qualifizierten Fachmann der Branche zu wenden.