Vom Prompt zum Musikvideo: zwei Experimente und 62 Millionen Tokens ✨

Ich wollte mal wieder „nur kurz was testen“. Zwei Chats später hab ich ein dunkles RGB-Musikvideo, ein Electroswing-Cabaret-Showreel über meinen Blog und eine Token-Statistik, die aussieht, als hätte jemand den Zähler an einen Teilchenbeschleuniger angeschlossen. :D

62.240.778 Tokens über beide Chats. Davon sind rund 61,12 Millionen gecachte Eingabetokens. Also: sehr viel wiederverwendeter Kontext, nicht 62 Millionen frisch geschriebene Tokens. Die genaue Aufteilung kommt weiter unten.

Was ich daran so nice finde: Aus einer Idee wird Text. Aus dem Text wird Musik. Und aus Musik, Code und ein paar ziemlich direkten Korrekturen wird ein Video mit eigener Bildwelt. Den Weg dahin wollte ich genauso zeigen wie die Ergebnisse – inklusive „nee, des war noch nix“.

1. Naiklas meets AI – RGB Fever

Der längere Versuch begann mit dem GitHub-Projekt mexicat/pdoom-video. Das ist eine Engine für ein programmiertes Musikvideo: Three.js, TypeScript, GPU-Shader und ein Export über Chrome und FFmpeg. Der Autor beschreibt, wie er sein Referenzvideo mit Claude Code entwickelt hat. Ich wollte ausprobieren, was Codex auf dieser Grundlage für meinen eigenen Song bauen kann.

Zunächst entstand „Agent bestellt ’ne Halbe“: 57 Sekunden schwäbisches AI-Kabarett mit Bierkrug, Frack-Laptop und einem Bug mit Betriebsrat. Durchaus unterhaltsam. Aber als ich es mit dem Referenzvideo verglichen habe, war klar: Die Engine war übernommen, die Gestaltung schöpfte deren Möglichkeiten längst nicht aus.

Das gehört zur Geschichte dazu. Eine hohe Framerate macht aus einer einfachen Szene noch keine gute Inszenierung. Also neuer Song: „Naiklas meets AI“, Emo-Trap × Electro-Swing. Zwei Suno-Takes, ich wähle A. Danach die Richtung fürs Bild:

„teil a passt! wenns bisschen so wird wie das video wäre mega, trippy rgbn neon dark fiebrig“

Daraus wurden verformte Körper, rekursive Räume, RGB-Tunnel, Flügel und eine Möbius-Fläche. Schrift liegt auf Oberflächen oder bewegt sich im Raum. Der vollständige ausgewählte Song bleibt erhalten: rund 2:38 Minuten, 1080 × 1920, 60 fps im Original.

Für den Blog ist der vollständige Film wegen Ghosts 5-MB-Grenze in drei aufeinanderfolgende Webfassungen geteilt: Teil 1 bis 0:53, Teil 2 bis 1:46, Teil 3 bis zum Schluss. Die Webfassungen sind kleiner und mit 30 fps exportiert; die Originalproduktion hat 60 fps. Die drei Player folgen direkt hier.

Den gewählten Song auf Suno anhören.

2. Der Prompt tanzt – weniger PowerPoint, mehr Cabaret

Im zweiten Chat wollte ich ein einminütiges Motion-Showreel über diesen Blog: Prompts, Computer Use, Codex, Agenten, Bilder, Musik und Dinge, die am Ende tatsächlich laufen. Der erste Export war technisch fertig. Mein Feedback:

„ookay hat bisschen was, könnt noch bisschen weniger powerpoint sein :D“

Dann kam ein eigens erzeugter Suno-Song in Richtung UK Garage/Glitch-Electro. Musikalisch für mich daneben. Also noch eine Korrektur: Electroswing-Cabaret, das zum Thema passt.

Der neue Prompt beschrieb konkrete Instrumente und einen Ablauf: schräges Stride-Piano, Kontrabass, freche Bläser, moderne Drums und Subbass. Dazu ein deutscher Conférencier, ein schneller Einstieg, eine trockene Unterbrechung und anschließend der Refrain. Etwa eine Minute, keine endlose Einleitung, kein Fade-out. Das sind brauchbare Vorgaben fürs Arrangement; eine Garantie für sekundengenaues Timing sind sie nicht.

Im entstandenen Text landet die Stelle: „Nur kurz was testen. Ja. Ganz bestimmt.“ Schon unangenehm passend.

Visuell wurde daraus ein steppender Cursor, Kamerafahrten durch Blogflächen, räumliche Typografie und ein kleiner AI-Zirkus in Creme, Schwarz und Messinggold. Gebaut mit Canvas und FFmpeg. Das finale Showreel dauert genau 60 Sekunden; auch hier hat das Original 1080p und 60 fps.

„Der Prompt tanzt“ auf Suno. Hier ist die vollständige Webfassung:

Wie aus dem Chat tatsächlich ein Film wird

1. Richtung und Text: Ich gebe Thema, Referenzen und Feedback. Codex entwickelt Lyrics, Musikprompt und Bildideen daraus. Die poetischen Lyrics sind keine biografischen Tatsachenberichte.
2. Musik: Suno erzeugt die Songs. Varianten werden ausgewählt oder verworfen. Hier war der normale Download ausgeschöpft; die verwendeten Tracks wurden über die reguläre Chrome-Wiedergabe mit ScreenCaptureKit aufgenommen und anschließend zugeschnitten.
3. Timing aus dem tatsächlichen Audio: Beim RGB-Film trennt Demucs Gesang, Drums, Bass und übrige Instrumente. Forced Alignment ordnet die vorgegebenen Lyrics zeitlich dem Gesang zu; Whisper hilft beim Gegencheck. Beim Showreel liefern Audiohüllkurve, Einsätze und ungefähre Textzeiten die Schnittgrundlage. Gedehnte Silben und Hintergrundgesang bleiben Fehlerquellen.
4. Animation als Code: Beim RGB-Film entstehen die Szenen in Three.js/GLSL, beim Showreel in Canvas. Bewegung, Kameras, Typografie und Übergänge werden programmiert. Die Musik liefert dafür Zeitpunkte und Dynamik.
5. Rendern und prüfen: Der Mac berechnet die Bilder, FFmpeg baut das Video. Vorschauen, Bildstichproben, Audioprüfungen und vollständiges Decodieren gehören dazu. Ein erfolgreicher Export allein sagt noch nichts darüber aus, ob eine Szene gestalterisch taugt.

Auch der RGB-Langexport lief nicht einfach durch: Beim Abschließen hing die Pipeline. 8.879 Frames waren gesichert, die letzten 599 wurden nachgerendert und angefügt. Danach ließen sich alle 9.478 Frames samt Tonspur vollständig decodieren. Im fertigen Bild rechnet der aufwendige Geometrie-Pass intern mit 810 × 1440 und wird hochskaliert; Schrift und Compositing laufen in voller Ausgabeauflösung. Solche Details verschwinden in „AI hat ein Video gemacht“ normalerweise ziemlich schnell.

Lokal gerendert heißt außerdem nicht komplett lokale KI. Die Codex-Modellaufrufe und Suno laufen in der Cloud. Das vorhandene Video aus gespeichertem Code und Audio erneut zu rendern braucht dagegen keine neue Cloud-Generierung.

Und jetzt die Token-Rechnung. Heiligs Blechle.

Aus den letzten kumulierten Usage-Einträgen der beiden Chats, Stand 28. September 2026:

Die Summen umfassen die kompletten beiden Chats inklusive Vorversionen, Recherche, Korrekturen und Prüfungen. Der RGB-/pdoom-Chat enthält auch das frühere Halbe-Cabaret. Das ist deshalb kein sauber isolierter Preis pro finalem Video. Die Erstellung dieses Blogposts ist hier nicht enthalten.

Rund 98,2 Prozent der Gesamtsumme sind gecachte Eingabetokens: Kontext wird bei vielen Modellaufrufen erneut berücksichtigt. Nicht gecachte Eingabe plus Ausgabe ergeben zusammen 1.116.554 Tokens. Die protokollierten Reasoning-Tokens sind bereits Teil der Ausgabe und werden nicht noch einmal addiert.

Im Chat stand vorher eine grobe Schätzung von 40.000–100.000 Modell-Tokens für die anspruchsvollere Videoproduktion. Die war ausdrücklich keine Messung oder Obergrenze – und für den tatsächlichen Gesamtverbrauch dieser langen Chats keine brauchbare Orientierung. Genau deshalb zeige ich lieber die gemessenen Kategorien.

Einen belastbaren Eurobetrag habe ich daraus nicht (ca.20 Euro, aber durch Resets von Tibo schwer nachzurechnen :D . Codex-Abo-/Creditverbrauch, gecachter Kontext und Suno-Credits sind verschiedene Abrechnungsgrößen. Die lokale Renderzeit ist noch einmal etwas anderes: Der Renderer selbst verbraucht keine Modell-Tokens, die begleitenden Agentenaufrufe schon. Allein für die zwei „Naiklas meets AI“-Takes sind 10 Suno-Credits dokumentiert; das ist nicht die Gesamtsumme aller Songversuche beider Chats.

Text → Musik → Video → irgendwann Hirn?

Was mich daran reizt, ist diese Übersetzung zwischen Medien. Ein Satz bekommt eine Melodie, eine Pause wird zur Pointe, ein Wort wird zu einem Körper im Raum. Ich kann sagen „mehr fiebriges Neon“ oder „weniger PowerPoint“ und danach an einem echten Ergebnis sehen, ob die Richtung angekommen ist.

Es braucht trotzdem Entscheidungen. Den falschen Song verwerfen. Eine zu einfache Szene erkennen. Den Agenten darauf festnageln, was tatsächlich fertig und geprüft ist. Das kreative Hin und Her ist hier ein ziemlich großer Teil der Arbeit.

Heute also noch Prompt, Song und Bildschirm. Die endgültige Hirneinpflanzung steht selbstverständlich aus. Vermutlich fragt sie irgendwann nach einem Pro-Upgrade, sobald der Refrain direkt im Schädel cached. :D