Ressourcen und Hintergrund
Diese Webseite wurde in ca. 10 Stunden gemeinsam mit dem neuen Tool Claude Code erstellt und dafür etwa CHF 15.- in API-Kosten für das Modell Claude 3.7 ausgegeben.
Andrej Karpathy: LLMs erklärt
Diese Webseite kratzt nur an der Oberfläche der beiden kürzlich erschienenen Videos von Andrej Karpathy und soll durch interaktive Anwendungen ermöglichen, hinter die Funktionsweise von KI-Tools, die große Sprachmodelle nutzen, zu blicken.
Dieses Video dauert drei Stunden und geht zu jeder Erklärung auf dieser Seite noch viel stärker ins technische Detail. Es ist ein umfassender Einblick in die Large Language Model (LLM) AI-Technologie, die ChatGPT und verwandte Produkte antreibt.
Der Titel "How I use LLMs" täuscht, da auch hier wieder sehr viel über die Nützlichkeit und Funktionsweise von LLMs erzählt wird. Zum Beispiel betont er, wie präsent Halluzinationen immer noch sind auch in den modernsten, grössten und teilweise sehr teuren KI-Tool-Abos.
Datenquellen
Die Seite Daten wurde inspiriert durch das Video von Andrej Karpathy. Der Code sowie die Daten stammen von Huggingface:
HuggingFace FineWeb DemoDie deutschen Textausschnitte wurden mit Hilfe von Google's kleinstem LLM "gemini-2.0-flash-lite" kostenlos per API übersetzt.
Prozess
Rückblickend auf den gesamten Prozess muss man sagen, dass es völlig unglaublich ist, dass so eine Webseite mit so vielen interaktiven Elementen heute in so kurzer Zeit erstellt werden kann. Der Quellcode der Webseite ist auf Github verfügbar. Es ist unklar, ob die Webseite aktualisiert wird. Das ist ein Projekt, das in meiner Freizeit entstanden ist.
Über den Autor
In meiner Arbeitszeit arbeite ich an der PH Zug als Dozent für die Fachdidaktik Medienbildung und Informatik. Meine Arbeitsschwerpunkte sind Künstliche Intelligenz in der Lehrpersonenbildung und Digitalisierung im Unterricht.
Ich finde es wichtig zu erwähnen, dass ich einen Master in Fachdidaktik Medien und Informatik an der PH Schwyz gemacht habe. Ich habe ein Semester lang die Grundlagen des Programmierens kennengelernt. Der Rest ist selbst beigebracht. Was man hier auf dieser Seite sieht ist eindeutig "Vibe Coding"...
Vibe Coding
There's a new kind of coding I call "vibe coding", where you fully give in to the vibes, embrace exponentials, and forget that the code even exists. It's possible because the LLMs (e.g. Cursor Composer w Sonnet) are getting too good. Also I just talk to Composer with SuperWhisper so I barely even touch the keyboard. I ask for the dumbest things like "decrease the padding on the sidebar by half" because I'm too lazy to find it. I "Accept All" always, I don't read the diffs anymore. When I get error messages I just copy paste them in with no comment, usually that fixes it. The code grows beyond my usual comprehension, I'd have to really read through it for a while. Sometimes the LLMs can't fix a bug so I just work around it or ask for random changes until it goes away. It's not too bad for throwaway weekend projects, but still quite amusing. I'm building a project or webapp, but it's not really coding - I just see stuff, say stuff, run stuff, and copy paste stuff, and it mostly works.
Ich selbst bin kein guter Coder, vor allem kein Web-Developer. Ich habe an der vorliegenden Seite fast keinen Code verändert, sondern nur in natürlicher Sprache gesagt, was mein Code machen soll und ab und zu mal ein paar Zeilen angepasst. Es hilft mir, dass ich den Code verstehe, aber ich möchte alle Lesenden dazu ermutigen, sich dem Vibe Coding einmal anzunehmen. Dank LLMs ist die Hürde zum Programmiereinstieg inzwischen so tief gefallen, dass das wirklich jeder und jede ausprobieren kann. Oder in den Worten von Andrej Karpathy (Januar 2023):
Programmieren mit natürlicher Sprache
"The hottest new programming language is English"