Kurzantwort
WorldClaw verwandelt einen frei formulierten Text-Prompt in eine große, erkundbare 3D-Welt. Das System plant die gesamte Szene, baut zusammenhängendes regionales Terrain, erzeugt bei Bedarf detaillierte texturierte Objekte und verbessert mit renderbewussten Agenten Layout, Maßstab, Pose, Materialien und Bodenkontakt.
Wichtige Punkte
Eingabe: Ein frei formulierter Text-Prompt, der Welt, Regionen, Objekte, Stil und räumliche Beziehungen beschreibt.
Terrain: Ein semantisches Layout steuert kontinuierliche Höhenfelder, regionale Materialien, Vegetation, Felsen und weitere Umgebungs-Assets.
Ausgabe: Explizites Terrain sowie unabhängig editierbare, texturierte Objekt-Meshes mit Position, Maßstab und Ausrichtung.
Angegebene Konfiguration: Claude Opus 4.8, GPT-Image-2, SAM3, SAM3D, Hunyuan3D, Blender 5.1.1 und vier NVIDIA H20-GPUs.
Die WorldClaw-Pipeline im Überblick
| Thema | Eingabe | Kernaufgabe | Ausgabe |
|---|---|---|---|
| 01 · Planung | Eine frei formulierte Textbeschreibung der Zielwelt. | Absicht extrahieren, Mehrdeutigkeiten auflösen und Regionen, Terrain, Objekte, Aussehen, Dichte und räumliche Beziehungen definieren. | Eine strukturierte Szenenspezifikation, die nachgelagerte Agenten gemeinsam nutzen. |
| 02 · Terrain | Die Szenenspezifikation und regionale Vorgaben. | Semantisches Layout, kontinuierliches Höhenfeld, Oberflächenmaterialien, Umgebungsverteilung und rendergesteuerte Korrekturen erstellen. | Ein zusammenhängendes globales Terrain mit expliziter regionaler Semantik. |
| 03 · Ausgestaltung | Der Weltplan und das generierte Terrain. | Ausgewählte Regionen komponieren, Objekt-Meshes rekonstruieren, Platzierungen ermitteln und Qualität, Pose, Maßstab und Bodenkontakt verfeinern. | Unabhängig editierbare texturierte Objekte, die auf dem globalen Terrain platziert sind. |
Was WorldClaw erzeugt
WorldClaw nimmt einen frei formulierten Text-Prompt entgegen und erzeugt eine große 3D-Umgebung mit verbundenem Terrain, klar getrennten Regionen und ausgestalteten lokalen Bereichen. Terrain und Objekte bleiben separate Szenenelemente, statt in ein einzelnes Bild oder einen festen Kamerapfad eingebettet zu werden.
Jedes Objekt kann sein eigenes texturiertes Mesh und seine Platzierungstransformation behalten. Das ermöglicht freie Erkundung, Objektaustausch, Wiederverwendung und Export in etablierte 3D-Workflows.
Von einem Prompt zu einer strukturierten Welt
Der erste Agent extrahiert nur die im Prompt genannten Anforderungen, etwa Thema, Hauptregionen, Objekte, Stil und relative Platzierung. Ein zweiter Planungsagent löst Mehrdeutigkeiten auf und ergänzt die für den Szenenaufbau benötigten technischen Attribute, ohne die ursprüngliche Absicht zu verwerfen.
Das Ergebnis ist eine strukturierte Spezifikation, die Terrain- und Objekt-Pipelines gemeinsam nutzen. Dieser Zwischenplan sorgt dafür, dass das System weitreichende Beziehungen bewahrt, während verschiedene Agenten an unterschiedlichen Teilen der Welt arbeiten.
Zusammenhängendes Terrain vor den Details aufbauen
WorldClaw verwandelt den Plan in eine semantische Layoutkarte und baut anschließend aus regionsspezifischer Höhe, Rauschen und Landschaftsoperatoren ein kontinuierliches Höhenfeld. Materialien und wiederverwendbare Umgebungs-Assets werden mit denselben Regionsmasken zugewiesen, sodass Berge, Ebenen, Wasser, Vegetation und weitere Terrainmerkmale räumlich verbunden bleiben.
Eine Render-und-Prüf-Schleife in Blender kontrolliert Übergänge, Texturskalierung, Asset-Verteilung, Beleuchtung und sichtbare Artefakte. Der Terrain-Agent bearbeitet nur fehlerhafte Parameter und rendert erneut. So bleibt das übergeordnete regionale Layout erhalten, während die lokale Qualität steigt.
Aus ausgewählten Regionen editierbare 3D-Assets erstellen
WorldClaw füllt nicht jeden Quadratmeter mit maximalem Detailgrad. Ein regionaler Planer wählt Bereiche aus, deren Funktion und Terrain reichhaltigere Inhalte erfordern. Er rendert den lokalen Boden, erstellt ein terrainbezogenes Kompositionsbild, trennt Objektinstanzen, rekonstruiert sie als texturierte Meshes und ermittelt Maßstab, Ausrichtung und Platzierung auf dem Terrain.
Rendergesteuerte Agenten prüfen anschließend Objektqualität, Pose, Größe und Oberflächenkontakt. Schwache Assets können mit Hunyuan3D verfeinert werden, während Terrain- und Objekttransformationen angepasst werden, um schwebende, eindringende oder instabil aufliegende Objekte zu reduzieren.
Was die fertige Welt enthält
Die Ausgabe ist eine explizite 3D-Szene und kein an eine Kamera gebundenes Video. Das Terrain bleibt eine verwaltbare Oberfläche, regionale Objekte bleiben separate texturierte Mesh-Instanzen. Diese Darstellung unterstützt beliebige Blickwinkel, Objektaustausch, Asset-Wiederverwendung und die Übergabe an vertraute 3D-Content-Pipelines.
Die offiziellen Beispiele umfassen Inseln, Canyon-Siedlungen, Schneetäler, Wüstenschlachtfelder, Dörfer, Minen und Vulkanlandschaften. RGB-, Instanzmasken-, Normalen- und Tiefenansichten zeigen sowohl das sichtbare Erscheinungsbild als auch die zugrunde liegende Szenenstruktur.
Ein 3D-Generierungs-Stack im Weltmaßstab
WorldClaw kombiniert Claude Opus 4.8 für die Schlussfolgerungen der Agenten, GPT-Image-2 für die Bildgenerierung, SAM3 für die Segmentierung, SAM3D für die erste Objektrekonstruktion, Hunyuan3D für die Asset-Verfeinerung und Blender 5.1.1 als Ausführungsumgebung der Szene. Die gezeigten Beispielwelten wurden laut Bericht auf einem Server mit vier NVIDIA H20-GPUs erzeugt.
Die aktuelle Pipeline konzentriert sich auf Szenenaufbau und visuelle Verfeinerung. Navigation, Physik, Animation, umfangreichere Objekthierarchien und eine tiefere Integration in Laufzeit-Engines werden als zukünftige Arbeiten genannt.
Häufige Fragen
Nein. WorldClaw ist ein agentenbasiertes Framework, das Planung, Bildgenerierung, Segmentierung, 3D-Rekonstruktion, Hunyuan3D-Verfeinerung und Blender-Werkzeuge koordiniert, um eine vollständige Szene zu erstellen.
Das Ziel ist eine explizite 3D-Szene mit globalem Terrain und separat verwaltbaren texturierten Objekt-Meshes. Videos und Standbilder sind Renderings dieser zugrunde liegenden Szene und nicht die primäre Ausgabe.
Image-to-3D rekonstruiert üblicherweise ein einzelnes Asset. WorldClaw plant eine große Umgebung, baut Terrain, entscheidet, welche Regionen Details benötigen, und nutzt Rekonstruktion sowie Hunyuan3D-Werkzeuge als Teile einer umfassenderen Pipeline für den Szenenaufbau.
Das Paper, die Projektseite und das GitHub-Repository sind öffentlich. Am 12. August 2026 stellt das offizielle Repository weder ausführbaren Inferenzcode noch Modellgewichte oder eine öffentliche Generierungs-API bereit.
WorldClaw erzeugt editierbare 3D-Szeneninhalte, kein fertiges Game. Navigation, Physik, Animation, Interaktionslogik und eine tiefere Integration in Produktions-Engines sind zukünftige Entwicklungsbereiche.
Die beschriebenen Experimente liefen auf einem Server mit vier NVIDIA H20-GPUs und nutzten Blender 5.1.1 für Terrainaufbau, Objektplatzierung, Verfeinerung und Rendering.
Erstelle Assets für deine eigenen 3D-Szenen
Verwandle ein Referenzbild in einen detaillierten 3D-Charakter, ein Prop, ein Produkt oder ein Szenenelement.
Image to 3D testen