Kurzantwort
HY-World 2.0 ist Tencent Hunyuan's quelloffenes multimodales Weltmodell. Es generiert aus Text oder einem Bild eine navigierbare 3D-Welt und rekonstruiert Szenen aus mehreren Bildern oder Videos. Die persistenten Ausgaben—Gaussian Splatting, Meshes und Punktwolken—lassen sich erkunden, bearbeiten und in 3D-Engines übernehmen.
Wichtige Punkte
Zwei Workflows: eine Welt aus Text oder Einzelbild erzeugen oder einen Ort aus mehreren Bildern und Video rekonstruieren.
Echte 3D-Ausgabe: persistente Gaussian-Splatting-Szenen, Meshes und Punktwolken statt eines kurzen Videos.
Vier Komponenten: HY-Pano 2.0 erzeugt das Panorama, WorldNav plant Wege, WorldStereo 2.0 erweitert die Szene und WorldMirror 2.0 baut die 3D-Darstellung.
Open-Source-Release: Bericht, Inferenzcode, Gewichte, Dokumentation und lokaler WorldMirror-2.0-Gradio-Viewer.
HY-World-2.0-Pipeline im Überblick
| Thema | Eingabe | Kernarbeit | Ausgabe |
|---|---|---|---|
| HY-Pano 2.0 | Textprompt oder einzelnes Referenzbild. | Ein 360°-Panorama für das Aussehen der Welt erzeugen. | Panoramaszene für Analyse und Navigationsplanung. |
| WorldNav | Generiertes Panorama und analysierte Szenenstruktur. | Hindernisbewusste Kameratrajektorien planen. | Pfade und Ansichten, die zu erweiternde Bereiche festlegen. |
| WorldStereo 2.0 | Trajektorien, gerenderte Ansichten und Szenenspeicher. | Konsistente Keyframes erzeugen und ungesehene Bereiche ergänzen. | Ausgerichtete Mehrfachansichten der erweiterten Umgebung. |
| WorldMirror 2.0 + 3DGS | Generierte oder aufgenommene Mehrfachansichten. | Geometrie und Kameras schätzen, Gaussian-Daten vorbereiten und optimieren. | Persistente 3DGS-Welt, Mesh, Punktwolke und räumliche Karten. |
Was HY-World 2.0 leistet
HY-World 2.0 vereint Weltgenerierung, Rekonstruktion und Simulation. Ein Prompt oder Einzelbild erzeugt eine neue navigierbare Umgebung; Fotos oder ein Video rekonstruieren einen vorhandenen Ort.
Das System erzeugt räumliche Assets—3D Gaussian Splats, Meshes, Punktwolken, Tiefe, Normalen und Kameras—die aus neuen Blickwinkeln erhalten bleiben.
Vom Prompt oder Bild zur navigierbaren Welt
HY-Pano 2.0 erzeugt zuerst ein 360°-Panorama. WorldNav analysiert die Szene und plant hindernisbewusste Kamerapfade; WorldStereo 2.0 generiert konsistente Keyframes und erweitert unsichtbare Bereiche.
WorldMirror 2.0 schätzt Geometrie und Kameras, anschließend exportiert die 3DGS-Optimierung die Welt. Der öffentliche CLI-Ablauf umfasst Trajektorienplanung, Rendering, Erweiterung, GS-Datenvorbereitung und 3DGS-Training.
3D-Szenen aus Fotos oder Video rekonstruieren
WorldMirror 2.0 verarbeitet Mehrfachansichten oder Videos und sagt in einem Durchlauf dichte Punktwolken, Tiefe, Normalen, Kameras und 3DGS-Attribute voraus. Kamera- und Tiefen-Priors können eingespeist werden.
Das Repository enthält Single- und Multi-GPU-Inferenz, Python-API, CLI und eine Gradio-App für 3DGS, Punktwolken, Tiefe, Normalen und Kameras. Dokumentiert sind flexible Auflösungen von etwa 50K bis 500K Pixeln.
Persistente 3D-Welten statt generiertem Video
Ein Video-Weltmodell sagt Bildfolgen voraus. HY-World 2.0 baut eine persistente Szene, die nach der Generierung erhalten bleibt, über Blickwinkel konsistent ist und ohne erneute Inferenz pro Frame gerendert wird.
Künstler können das Ergebnis bearbeiten, Entwickler Spiellogik ergänzen und Simulationsteams Navigation und Tests im selben Raum wiederholen.
Aus der Ego-Perspektive oder mit einer Figur erkunden
Offizielle Demos zeigen Navigation aus der Ego-Perspektive und Erkundung mit einer Figur. Physikbasierte Kollision verbindet Kamera und Charaktere mit Straßen, Räumen, Gebäuden und Gelände.
Assets lassen sich in Blender, Unity, Unreal Engine und Isaac Sim übernehmen. Meshes eignen sich für Bearbeitung und Kollision; Gaussian Splats erhalten die Erscheinung für hochwertige neue Ansichten.
Open-Source-Modelle, Code und Voraussetzungen
Tencent veröffentlicht die vollständige Generierung, WorldMirror 2.0, HY-Pano 2.0, WorldStereo 2.0, Gewichte und Dokumentation. Der Model Zoo nennt ca. 1,2B Parameter für WorldMirror 2.0, 80B für HY-Pano 2.0, 425M für HY-Pano 2-Qwen und 17B für WorldStereo 2.0.
Empfohlen werden CUDA 12.8 und Python 3.11+. Rekonstruktion ist der einfachere Einstieg; vollständige Generierung ergänzt große Modelle, Navigation, mehrstufiges Rendering und 3DGS-Training. Das gehostete Produkt wurde im Juli 2026 auf HY World 2.1 aktualisiert, das Repository beschreibt den Open-Source-Stack 2.0.
Häufige Fragen
HY-World 2.0 ist Tencent Hunyuan's multimodales Weltmodell für 3D-Generierung aus Text oder Einzelbild und Rekonstruktion aus mehreren Bildern oder Video.
Generierung akzeptiert Text oder ein Bild. Rekonstruktion akzeptiert mehrere Bilder oder Video, optional mit Kamera- und Tiefen-Priors.
Gaussian-Splatting-Szenen, Meshes, Punktwolken, Tiefenkarten, Normalen, Kameraparameter und zugehörige Daten.
Ein Videomodell erzeugt eine feste Bildfolge. HY-World 2.0 liefert eine persistente 3D-Darstellung, die erkundet, bearbeitet und in Engines importiert werden kann.
Ja. Das öffentliche Repository enthält Bericht, Gewichte, Rekonstruktion, Panorama, Welterweiterung und den vollständigen Inferenzpfad gemäß den Lizenzbedingungen.
Empfohlen werden CUDA 12.8 und Python 3.11+. WorldMirror 2.0 ist der einfachere Einstieg; der vollständige Generierungsstack ist deutlich anspruchsvoller.
Erstelle das erste 3D-Asset für deine Welt
Verwandle ein Referenzbild im Browser in ein texturiertes 3D-Modell für Requisiten, Figuren oder Szenen.
Bild zu 3D testen