Next-Token-Prediction: Das HerzstĂŒck des Modells
Wie Sprachmodelle das nÀchste Wort vorhersagen
Das KernstĂŒck eines Sprachmodells ist seine FĂ€higkeit, das nĂ€chste Wort in einer Sequenz vorherzusagen. Es berechnet fĂŒr jeden möglichen Token eine Wahrscheinlichkeit.
Wahrscheinlichkeitsverteilung
Das Modell berechnet Wahrscheinlichkeiten fĂŒr alle möglichen nĂ€chsten Tokens (ĂŒber 50.000!), aber nur wenige davon haben eine hohe Wahrscheinlichkeit. Die meisten Tokens haben eine Wahrscheinlichkeit nahe Null.
Das Modell kann deterministisch den wahrscheinlichsten Token auswÀhlen oder zufÀllig einen Token basierend auf seiner Wahrscheinlichkeit auswÀhlen. Bei höherer ZufÀlligkeit (Temperatur) werden auch weniger wahrscheinliche Tokens manchmal ausgewÀhlt.
Klicke auf "NĂ€chsten Token vorhersagen", um echte KI-Vorhersagen zu sehen.
Du kannst einzelne Tokens auswĂ€hlen, um zu sehen, wie das Modell Schritt fĂŒr Schritt Text generiert. Oder wĂ€hle "ZufĂ€lliger Token" fĂŒr eine wahrscheinlichkeitsbasierte Auswahl.