Apache Iceberg: die Aufzeichnung, die Sie mitnehmen können

Eine Gruppe übernimmt ein Unternehmen. Der Käufer betreibt sein Berichtswesen auf Snowflake; das übernommene Unternehmen hielt seine Daten im eigenen Rechenzentrum und fragte sie mit Trino ab. Der Integrationsplan hat eine Zeile, die „Daten migrieren” heißt, und jeder weiß, was diese Zeile kostet: ein Jahr Kopieren, zwei Zahlenwerke in der Zwischenzeit und eine Abhängigkeit von der Plattform, auf der die Kopie landet.

Die Alternative ist, dass die Aufzeichnung in einem Format liegt, das beide Seiten bereits lesen, mit einem Katalog, den die Gruppe kontrolliert. Apache Iceberg ist derzeit das Format, auf das sich die meisten Konkurrenten einigen, und der Grund ist kein Gefühl. Es ist die Form seiner Metadaten. Hurukans Aufzeichnung ist genau in diesem Sinn auf Übertragbarkeit ausgelegt, und die Datenschicht, die sie hält, ist im Aufbau.

Eine Tabelle als Baum, mit einem Zeiger

Iceberg beschreibt eine Tabelle als Baum von Dateien, die nie bearbeitet werden. Oben steht eine Tabellenmetadatendatei; sie zeigt auf einen Schnappschuss; der Schnappschuss zeigt auf eine Manifestliste; jedes Manifest listet Datendateien und Löschdateien mit ihren Statistiken. Eine Änderung an der Tabelle schreibt neue Blätter und eine neue Wurzel und tut dann eine kleine Sache: Sie tauscht im Katalog den Zeiger von der alten Wurzel auf die neue. Die Spezifikation macht diesen Tausch atomar.

Zwei Folgen ergeben sich. Jede Wurzel, die je existiert hat, ist weiterhin eine vollständige, lesbare Version der Tabelle — das ist die Zeitreise (time travel), und in Hurukan ist sie die Antwort auf „was hat der Agent gesehen, als er dies vorschlug”. Und mehrere Engines können sicher in dieselbe Tabelle schreiben, weil das Einzige, worum sie konkurrieren, der Zeiger ist.

Die aktuelle Version ist Iceberg 1.12.0 vom September 2026 (geprüft am 21. Oktober 2026). Version 3 der Spezifikation ist verabschiedet: Löschvektoren in Puffin-Dateien, Zeilenherkunft, ein Typ VARIANT, Geometrietypen, Zeitstempel in Nanosekunden und Standardwerte für Spalten. Version 4 ist in Entwicklung und nicht verabschiedet.

Verborgene Partitionierung, und warum ein Analyst nie danach fragt

Iceberg leitet Partitionswerte aus Spaltentransformationen ab — der Tag eines Zeitstempels, ein Bucket einer Kennung — und hält die Transformation in den Metadaten fest. Eine Abfrage, die auf den Zeitstempel filtert, wird auf die richtigen Partitionen beschnitten, ohne dass die Person, die sie schreibt, weiß, dass es Partitionen gibt. Ändert sich das Volumen, kann die Partitionsspezifikation weiterentwickelt werden, ohne die Daten neu zu schreiben; alte Dateien behalten den alten Aufbau, neue bekommen den neuen, und beide werden korrekt gelesen.

Für eine Aufzeichnung, die von Superintelligenz gelesen werden soll statt von Menschen, die den Speicheraufbau kennen, zählt diese Eigenschaft mehr, als es klingt. Die Ontologie kann eine Tabelle „Zahlungen” nennen und den Aufbau der Datenschicht überlassen.

Der Katalog ist der Ort der Souveränität

Alles oben sind Dateien. Dateien können auf jedem Objektspeicher liegen, auch auf einem im eigenen Gebäude des Unternehmens. Was Dateien nicht können, ist einem Leser zu sagen, welche Wurzel aktuell ist und ob diese Person sie lesen darf. Das ist die Aufgabe des Katalogs, und er ist der Ort, an dem ein Unternehmen seine Aufzeichnung entweder besitzt oder mietet.

Iceberg veröffentlicht eine offene REST-Katalogspezifikation: Namensräume, Tabellen, Sichten, Commits, Scan-Planung und Ausgabe von Zugangsdaten hinter einer HTTP-Schnittstelle. Apache Polaris, eine Implementierung davon, wurde im Februar 2026 ein Top-Level-Projekt der Apache Software Foundation und veröffentlichte im September 2026 Version 1.8.0 (geprüft am 21. Oktober 2026). Andere Implementierungen existieren. Der Punkt ist, dass ein Katalog auf Infrastruktur laufen kann, die das Unternehmen wählt, und dass eine Engine jedes Anbieters mit ihm sprechen kann.

So behandelt die Schicht Sicherheit und Souveränität die Aufzeichnung: Berechtigungen durchgesetzt am Katalog, auf dem eigenen Server des Unternehmens, für Menschen wie für Agenten. Die Engine eines Anbieters, die die Aufzeichnung liest, tut das mit den Zugangsdaten, die ihr der Katalog aushändigt, und nicht mehr.

Wer es liest

Die Liste, aus der Dokumentation der Anbieter am 21. Oktober 2026: Snowflake liest und schreibt Iceberg-Tabellen bis Spezifikation v3 und kann einen externen REST-Katalog nutzen; Amazon S3 Tables speichern Iceberg nativ, einschließlich v3; Googles Lakehouse-Katalog stellt einen Iceberg-REST-Endpunkt bereit; Databricks bietet verwaltete Iceberg-Tabellen in Unity Catalog mit einem REST-Endpunkt. Spark, Flink, Trino und DuckDB lesen es direkt.

Für die Übernahme aus dem ersten Absatz ist diese Liste der Plan: eine Aufzeichnung, auf dem Speicher der Gruppe, hinter dem Katalog der Gruppe, gelesen von Snowflake auf der einen und Trino auf der anderen Seite, ohne Migrationszeile im Budget.

Was Agenten hier tun, und was Menschen behalten

Ein Agent kann den Job entwerfen, der eine Partitionsspezifikation weiterentwickelt, wenn das Volumen wächst, die Verdichtung, die kleine Dateien zusammenführt, das Ablaufen alter Schnappschüsse, sobald die vom Unternehmen gesetzte Aufbewahrung erreicht ist. Jedes ist ein Vorschlag mit Testergebnis, von einem Menschen freigegeben, aufgezeichnet wie jede andere Änderung in Hurukan.

Menschen behalten die Entscheidungen, die sich nicht ableiten lassen: welcher Katalog, und wo er läuft; wer welchen Namensraum lesen darf; wie lange Geschichte aufbewahrt wird und wann die Daten einer Person endgültig gelöscht werden; und ob eine Tabelle auf eine neuere Spezifikationsversion gehoben wird, denn ein Leser, der v3 nicht kennt, liest eine Tabelle nicht, die es verwendet. Die Frage, welche Daten das Gebäude überhaupt verlassen dürfen, ist eine eigene; sie wird in Welche Daten im Haus bleiben müssen aufgegriffen.

Ein Test, den Sie heute machen können

Fragen Sie, wer in Ihrem Unternehmen diese Woche eine neue Engine auf Ihre wichtigste Tabelle richten könnte, sodass sie ohne Export korrekt gelesen wird. Wenn die Antwort ein Support-Ticket beim Anbieter enthält, gehört Ihnen die Aufzeichnung noch nicht.