Mein Mac erinnert sich an alle Aktivitäten – das schaue ich mir ganz genau an... 🧠🔪

Manche schauen abends Netflix. Ich baue mit Hilfe von Codex (beste App btw) einen macOS-Viewer, um die Erinnerungen meines Computers aufzuschneiden.

Nicht für „mehr Productivity“. Nicht für den nächsten SaaS-Fiebertraum. Mich interessiert privat schlicht, was zum Fick da technisch passiert. Hier liegen keine Kunden- oder Firmengeheimnisse herum, die beim Experiment versehentlich durchs digitale Schlüsselloch winken.

Spuren, keine Gedanken

Computer History beobachtet Interaktionen: Maus, Tastatur, App-Wechsel, Zeitfenster und zugänglichen UI-Kontext. Daraus entstehen lokale Memories – bei mir kurze 10-Minuten-Fenster und verdichtete 6-Stunden-Zusammenfassungen.

Wichtig: Das System liest nicht meine Gedanken. Es sieht Aktivität. Daraus wird Text. Erst danach komme ich und stelle Hypothesen darüber auf, warum bestimmte Events als zusammenhängende Session oder Kontextwechsel gelandet sind.

Diese drei Ebenen auseinanderzuhalten ist weniger sexy als „AI versteht mich“, aber erheblich weniger Bullshit.

Wenn der Bot selbst Spuren hinterlässt 🤖

Besonders geil: Auch Computer-Use-Aktionen eines AI-Agenten tauchen in der History auf. Damit entsteht potenziell ein Audit-Trail: Welche UI-Aktion lief wann? Wo wechselte der Kontext? Welche Abfolge könnte man später prüfen oder automatisieren?

Aber Obacht: Aufzeichnung ist nicht Nachvollziehbarkeit. Nachvollziehbarkeit ist nicht reproduzierbare Automation. Und Automation ist noch lange keine Verifikation. Ein Bot, der auf „Speichern“ klickt, hat nur geklickt. Ob gespeichert wurde, beweist erst ein kontrollierter Recheck.

Nightglass legt die Erinnerung unters Röntgengerät

Mein lokaler Viewer Nightglass zeigt diese 10-Minuten-Memories und ihre 6-Stunden-Verdichtung. Der neue Semantic Threading X-Ray verknüpft Claims der großen Memory mit den Quellfenstern und markiert sie als Preserved, Compressed, Lost oder Introduced.

Bewerten darf ich erst, nachdem ich die Evidence angesehen habe. Herrlich pedantisch. Mein QA-Hirn schnurrt wie ein übertakteter Kater im Serverschrank. 🥵

Die Matching-Engine ist aktuell bewusst lokal und inspectable: Tokens, Stemming, Bigrams – kein angeblich allwissendes LLM-Orakel mit Weihrauch im GPU-Schlund. Harte Paraphrasen können dadurch falsch einsortiert werden. Das ist kein Feature. Es ist ein ehrlicher V0-Trade-off.

Der eigentlich spannende Teil

Eine Activity History wird für mich nicht wertvoll, weil sie jeden Klick konserviert. Spannend wird sie, wenn sichtbar wird, wie aus Klicks eine Erzählung entsteht – was erhalten blieb, was zusammengestaucht wurde, was verschwand und was plötzlich neu darin steht.

Meine Hypothese: Genau dort liegt später der interessante Audit-Layer für Agenten. Noch kein perfektes Replay. Noch keine zuverlässige Automation. Aber ein verdammt gutes Sezierbrett.

Und deshalb bleiben lokale Auswertung, transparente Evidence und menschliches Rating vorerst wichtiger als Vollautomatisierung mit verbundenen Augen und Root-Passwort. 🍻

Offene Fragen für die nächsten Tests

• Erkennt die History echte Kontextwechsel oder nur auffällige App-Wechsel?
• Wie oft werden harte Paraphrasen fälschlich als Lost oder Introduced markiert?
• Welche Evidence reicht, um eine Agenten-Aktion wirklich zu verifizieren?
• Lässt sich aus wiederkehrenden, bestätigten Sequenzen später robuste Automation ableiten?

Bilder aus dem Versuchslabor 🧪

Aktueller Nightglass-Stand, X-Ray und die wissenschaftlich zwingend notwendigen Memes.