🧐

Braucht KI einen Supercomputer?

Warum manche KI-Modelle auf deinem GerĂ€t laufen – und andere nicht.

Warum die Hardware eine Rolle spielt
KI-Modelle sind riesig und brauchen "Arbeitsplatz".

Stell dir ein KI-Sprachmodell wie ein riesiges Netz aus Milliarden von Verbindungen vor, das all sein Wissen enthĂ€lt. Um dieses Netz nutzen zu können, muss es in den Speicher deines Computers geladen werden. Je grösser und komplexer das Modell, desto mehr Speicherplatz braucht es – Ă€hnlich wie eine grosse Werkstatt mehr Platz benötigt als ein kleiner Schreibtisch.

Zwei Komponenten sind dabei besonders wichtig:

  • Arbeitsspeicher (RAM): Das KurzzeitgedĂ€chtnis deines Computers. Hier wird das Modell "abgelegt", um damit arbeiten zu können.
  • Rechenleistung (CPU/GPU): Das "Denken" der KI erfordert viele Berechnungen. Grafikkarten (GPUs) mit eigenem schnellen Speicher (VRAM) sind dafĂŒr oft viel besser geeignet als der Hauptprozessor (CPU). Sie sind wie spezialisierte "Rechenknechte".

Wenn nicht genug schneller Speicher (vor allem VRAM der Grafikkarte) vorhanden ist, muss der langsamere Arbeitsspeicher (RAM) aushelfen, oder die Berechnungen laufen nur auf der CPU – beides macht die KI deutlich langsamer.

Modellgrössen und ihre typischen Anforderungen
Nicht jedes KI-Modell braucht gleich viel Power.

Es gibt KI-Modelle in sehr unterschiedlichen Grössen, oft gemessen in Milliarden von "Parametern" (den Verbindungen im Netz). GlĂŒcklicherweise gibt es Tricks ("Quantisierung"), um Modelle kleiner zu machen, damit sie weniger Speicher brauchen und schneller laufen, manchmal mit kleinen Abstrichen bei der QualitĂ€t. Das ermöglicht es, auch auf normaler Hardware schon einiges zu erreichen.

Grössenordnungen (Beispiele fĂŒr Sprachmodelle):

  • Kleine Modelle (z.B. Phi-3 Mini, ~3B): Laufen oft schon auf Smartphones oder einfacheren Laptops (wenig RAM/VRAM nötig). Gut fĂŒr spezifische Aufgaben.
  • Mittlere Modelle (z.B. Llama 3 8B, Mistral 7B): Benötigen einen modernen Computer, idealerweise mit einer mittelstarken Grafikkarte (z.B. 6-8 GB VRAM) oder viel RAM. Allrounder fĂŒr viele Textaufgaben.
  • Grosse Modelle (z.B. Llama 3 70B): Erfordern spezielle, teure Hardware mit sehr viel VRAM (z.B. 40GB+). Lokal nur fĂŒr Enthusiasten oder Profis machbar.
  • Sehr Grosse Modelle (z.B. GPT-4 Klasse): Laufen aufgrund ihrer enormen Grösse praktisch nur in Rechenzentren der grossen Anbieter (Cloud/API).

Vergleich: Typische Laptops haben 8-16GB RAM und oft keine dedizierte GPU (nur Shared Memory). Gaming-PCs haben 16-32GB RAM und 6-16GB VRAM.

Übrigens: Nicht nur die Grösse des Sprachmodells, auch die Art der Aufgabe beeinflusst die Hardware. Das Erzeugen von Bildern () braucht oft besonders leistungsfĂ€hige Grafikkarten, wĂ€hrend eine einfache Sprachausgabe () meist weniger anspruchsvoll ist.

Die folgende interaktive Simulation lĂ€sst dich erkunden, wie sich unterschiedliche Hardware-Ausstattungen auf die Möglichkeit auswirken, verschiedene Sprachmodellgrössen lokal auszufĂŒhren.

Hardware-Explorer: Was wÀre wenn?
Entdecke spielerisch den Zusammenhang zwischen Modellgrösse und Hardware.

WĂ€hle eine Modellgrösse und verschiedene Hardware-Ausstattungen aus. Der Explorer zeigt dir, ob das Modell unter diesen Bedingungen voraussichtlich gut, langsam oder gar nicht lokal laufen wĂŒrde. Es ist keine exakte Diagnose fĂŒr deinen PC, sondern eine Veranschaulichung der Anforderungen.