Laufender Zustand und Aufzeichnung: die zwei Gedächtnisse eines Unternehmensbetriebssystems

Eine Kreditsachbearbeiterin öffnet den Freigabe-Posteingang. Ein Agent hat vorgeschlagen, einen zurückgehaltenen Auftrag freizugeben: Der Kunde hat heute Morgen zwei überfällige Rechnungen bezahlt, der offene Saldo liegt jetzt innerhalb des Limits, der Vorschlag nennt beide Zahlungen. Sie gibt frei. Drei Monate später bestreitet der Kunde eine Gebühr, und der Prüfer stellt eine einfache Frage: Was wusste das System an jenem Tag um 09:14, und wer hat entschieden?

Die Module können die erste Hälfte nur beantworten, wenn seitdem nichts überschrieben wurde. Die Zahlungstabelle zeigt den heutigen Saldo, nicht den von jenem Morgen. Der Auftrag zeigt seinen aktuellen Status, nicht den, den der Agent gesehen hat. Der Vorschlag selbst ist aus dem Posteingang verschwunden, weil er bearbeitet wurde. Ein System, in dem Agenten vorschlagen und Menschen freigeben, erzeugt Entscheidungen in einem Tempo, bei dem „wir rekonstruieren das” keine Antwort mehr ist. Es braucht ein zweites Gedächtnis.

Warum der Speicher der Module nicht das einzige Gedächtnis sein kann

Der Speicher unter den Modulen ist für eine Sache gebaut: den aktuellen Zustand des Unternehmens sicher zu ändern. Ein Auftrag, eine Sperre, eine Transaktion, Indizes, die eine einzelne Zeile schnell finden. Genau das soll er sein, und nichts hier schlägt vor, ihn zu ersetzen.

Superintelligenz stellt denselben Daten andere Fragen, und jede davon belastet diesen Speicher.

Lesen im großen Maßstab. Ein Vorschlag zu einem Kunden liest Tausende Zeilen über Aufträge, Rechnungen, Zahlungen und Reklamationen hinweg. Ein Modell, das das Lieferrisiko für das gesamte Auftragsbuch bewertet, liest Millionen. Lesezugriffe dieser Größe konkurrieren mit den Transaktionen, die der Speicher schützen soll.

Geschichte. Der Speicher hält, was jetzt gilt. Die meisten Fragen an einen Agenten betreffen Veränderung: Wie hoch war das Limit, als der Auftrag angenommen wurde, wie lange liefert dieser Lieferant schon zu spät, ist die Marge dieses Kunden seit drei Quartalen gefallen. Ein Speicher, der überschreibt, kann sie nicht beantworten; ein Gedächtnis, das Versionen behält, schon.

Das ganze Unternehmen auf einmal. Der Auftrag liegt im Vertrieb, die Reklamation im Kundenservice, die Palette im Lager, der Stillstand im Betrieb. In einem Betriebssystem teilen sie ein Datenmodell, das ist der Sinn des Systems. Sie teilen trotzdem keinen bequemen Ort, an dem man alles auf einmal lesen kann, ohne die Tabellen anzufassen, in die die Module gerade schreiben.

Was der Agent gesehen hat. Ein Vorschlag ist nur vertretbar, wenn die Daten, aus denen er entstand, später genau so gezeigt werden können, wie sie waren. Das verlangt einen Schnappschuss, keinen aktuellen Wert.

Hurukans Antwort sind zwei Gedächtnisse unter einer Ontologie: der laufende Zustand, den die Module sekündlich ändern, und die Aufzeichnung, eine unveränderliche, versionierte Geschichte jedes Ereignisses, jedes Vorschlags und jedes Beschlusses. Die Datenschicht, die beide hält, ist im Aufbau; was folgt, ist die Art, wie sie entworfen wird.

Woraus die Aufzeichnung besteht

Die Aufzeichnung ist kein Produkt. Sie besteht aus drei Entscheidungen, jede einmal getroffen.

Dateiformate sind die Ziegel. Jedes Ereignis und jeder Schnappschuss einer Tabelle wird in Dateien in einem offenen Format geschrieben. Zeilen, die zwischen Modulen und Konnektoren unterwegs sind, gehen als Apache Avro, wo das Schema mit den Daten reist und die Kompatibilität zwischen Schreiber und Leser eine formale Regel ist. Daten, die ruhen und spaltenweise gelesen werden, gehen als Apache Parquet, wo eine Frage nach zwei Spalten über Millionen Zeilen genau zwei Spalten berührt. Welches Format welche Aufgabe übernimmt, behandelt Parquet und Avro: das Ereignis zwischen Modulen und die Aufzeichnung, die Superintelligenz liest.

Ein Tabellenformat ist der Plan. Dateien allein sind ein Haufen. Ein Tabellenformat — Delta Lake, Apache Iceberg, Apache Hudi, Apache Paimon — hält die Metadaten, die sagen, welche Dateien zu einem Zeitpunkt eine Tabelle bilden, welches Schema sie hat und wie sie sich geändert hat. Weil die Dateien selbst nie bearbeitet werden, bleibt jede Version der Tabelle lesbar: Daher kommt die Zeitreise (time travel), und mit ihr die Antwort auf „was hat der Agent um 09:14 gesehen”. Die Wahl zwischen ihnen ist eine Wahl über den Prüfpfad, und sie wird getroffen in Der Prüfpfad ist eine Tabelle: Delta Lake, Iceberg oder Hudi.

Ein Katalog sagt, wo die Wahrheit liegt. Etwas muss den Zeiger auf die aktuelle Version jeder Tabelle halten und entscheiden, wer sie lesen darf. Dieser Katalog, nicht die Dateien, ist der Ort, an dem Souveränität gewonnen oder verloren wird. Er läuft auf Infrastruktur, die das Unternehmen wählt, und die Schicht Sicherheit und Souveränität behandelt ihn als Teil des unternehmenseigenen Bestands.

Wie ein Ereignis reist

Ein Modul ändert den laufenden Zustand: Eine Zahlung wird gebucht. Dieselbe Änderung wird als Ereignis unter einem Vertrag veröffentlicht — ein benanntes Schema mit einer Version. Eine Pipeline legt das Ereignis als neue Datei unter den Metadaten der Tabelle in der Aufzeichnung ab, innerhalb der Latenz, die das Geschäft verlangt hat. Nächtlich reicht für einen Margenbericht. Minuten sind für eine Kreditentscheidung nötig. Sekunden sind für eine Arbeitswarteschlange in der Halle nötig, und Sekunden kosten mehr als Minuten, weshalb die Stufe eine Entscheidung ist und kein Standard.

Die Aufzeichnung wird in eine Richtung geschrieben. Agenten und Superintelligenz lesen sie, zusammen mit der Ontologie, die ihnen sagt, was ein „zurückgehaltener Auftrag” oder ein „säumiger Lieferant” bedeutet. Sie schreiben nicht direkt hinein. Die Ausgabe eines Agenten ist ein Vorschlag, der im Freigabe-Posteingang landet; ein Mensch gibt frei; das Modul ändert den laufenden Zustand; die Änderung wird als Ereignis veröffentlicht; das Ereignis landet in der Aufzeichnung. Das Entscheidungsprotokoll ist selbst eine Tabelle in der Aufzeichnung, mit dem Vorschlag, seinen Quellen, der freigebenden Person und der Zeit.

Was der Agent gesehen hat, und wer entschieden hat

Diese Schleife macht die Frage des Prüfers beantwortbar. Die Aufzeichnung um 09:14 ist eine Version der Tabellen, keine Rekonstruktion. Der Vorschlag ist eine Zeile mit den Kennungen der Zeilen, die er gelesen hat. Die Freigabe ist eine Zeile mit dem Namen einer Person. Nichts in der Kette hängt davon ab, dass sich jemand erinnert.

Dieselbe Eigenschaft dient den Menschen, die das System bauen. Wenn eine neue Version eines Agenten bewertet wird, kann ein Tag an Ereignissen aus der Aufzeichnung gegen sie abgespielt und ihre Vorschläge mit denen verglichen werden, die Menschen tatsächlich freigegeben haben. Die Aufzeichnung ist der Evaluationsdatensatz.

Agenten bauen die Datenschicht, unter Freigabe

Hurukan wird von Agenten gebaut und erweitert, und die Datenschicht ist keine Ausnahme. Ein Agent entwirft die Pipeline, die einen neuen Ereignistyp ablegt. Ein Agent schlägt die Schemaänderung vor, wenn ein Modul ein Feld hinzugewinnt, und die Kompatibilitätsprüfung gegen die Registry läuft, bevor jemand den Vorschlag liest. Ein Agent plant die Verdichtung kleiner Dateien und das Ablaufen alter Schnappschüsse. Jedes davon ist ein Vorschlag mit einem Diff und einem Testergebnis, und ein Mensch gibt ihn frei. Die Freigabe wird aufgezeichnet wie jede andere.

Bei den Menschen bleibt, was nicht rückgängig zu machen oder nicht ableitbar ist: der Vertrag zwischen Modulen, die Aufbewahrung der Geschichte und die Löschung der Daten einer Person, die Wahl von Format und Katalog, und jede Anhebung des Protokolls einer Tabelle, die einen älteren Leser aussperren würde.

Die Aufzeichnung, die Sie mitnehmen können

Jedes Stück der Aufzeichnung liegt in einem Format, das andere Engines lesen. Wenn das Unternehmen geht, geht es mit seiner Geschichte: den Dateien, den Tabellenmetadaten und dem Katalog, auf eigener Infrastruktur. Wo das Unternehmen bereits Werkzeuge hat, die ein Format lesen — eine Microsoft-Umgebung, eine Tochtergesellschaft auf Snowflake — können dieselben Dateien ohne Kopie in diesem Format bereitgestellt werden; davon handelt Eine Aufzeichnung, lesbar für die Werkzeuge, die Sie schon haben. Und wo Domänenagenten den laufenden Zustand statt der Geschichte brauchen — die Arbeitswarteschlange, den Bestand, den Freigabe-Posteingang — hält ein für Datenströme gebautes Tabellenformat diesen Zustand lesbar, ohne den Speicher der Module abzufragen; das ist der Fall für Paimon.

Ein Test, den Sie heute machen können

Nehmen Sie eine Entscheidung, die Ihr Unternehmen im letzten Quartal auf Basis eines Berichts getroffen hat: ein Kreditlimit, eine Nachbestellung, einen Preis. Versuchen Sie, die Daten genau so vorzulegen, wie sie am Tag der Entscheidung waren, und den Namen der Person, die entschieden hat. Zählen Sie die Stunden. Diese Zahl sind die Kosten eines einzigen Gedächtnisses, und dafür ist die Aufzeichnung da.