荊楚網(wǎng)（湖北日?qǐng)?bào)網(wǎng)）訊（通訊員 袁軒）4月16日，騰訊正式發(fā)布并開源混元3D世界模型2.0（ HY-World 2.0）。HY-World 2.0是一個(gè)多模態(tài)世界模型，能夠理解文字、圖片、視頻等不同類型輸入，自動(dòng)生成、重建和模擬 3D 世界，同時(shí)支持多格式3D資產(chǎn)（Mesh/3DGS/點(diǎn)云等）導(dǎo)出，可以與現(xiàn)有的游戲工作流無縫對(duì)接，用于快速生成游戲地圖和關(guān)卡原型。

混元世界模型 2.0讓 AI 從“對(duì)話”、“畫圖”、“捏物體”，進(jìn)化到了“造世界”——包含人、物、景的完整世界。不同于谷歌的Genie 3和混元世界模型1.5僅能生成一分鐘視頻文件，世界模型2.0的實(shí)用性更進(jìn)一步：它可以直接生成可二次編輯的3D資產(chǎn)文件，這些生成的3D資產(chǎn)可以直接導(dǎo)入到游戲制作或者具身仿真引擎，實(shí)現(xiàn)真正可玩、可用。

目前，世界模型2.0已經(jīng)上線至騰訊混元3D創(chuàng)作引擎官網(wǎng)，用戶可以申請(qǐng)使用。（申請(qǐng)使用地址：https://3d.hunyuan.tencent.com/sceneTo3D）

實(shí)機(jī)演示：輸入“生成一個(gè)日式RPG風(fēng)格的中世紀(jì)地牢”，即可生成一個(gè)3D空間資產(chǎn)

實(shí)機(jī)演示：輸入“生成一個(gè)溫馨的繪本風(fēng)格小木屋”，游戲角色可以自由穿行在生成的3D場(chǎng)景中所有內(nèi)容均為3D文件，且全部由HY-World 2.0大模型一鍵生成

支持多種模態(tài)輸入，草圖變地圖、圖片變空間

混元世界模型2.0支持文、圖、視頻多種輸入。輸入一段文字或一張圖片，模型即可精準(zhǔn)解析復(fù)雜語義，一鍵生成風(fēng)格多樣的可漫游世界。相比較混元世界模型1.0，2.0的模型架構(gòu)全面升級(jí)，畫面精細(xì)度和真實(shí)感大幅提升。用戶還可以自定義風(fēng)格，按需生成真實(shí)風(fēng)、漫畫風(fēng)、游戲風(fēng)的3D空間。生成完成后，用戶可以將資產(chǎn)導(dǎo)入到Unity、UE 等引擎、進(jìn)行二次編輯，顯著降低了游戲地圖的創(chuàng)作門檻。

模型還支持角色模式，用戶可以操作角色在街道、建筑、場(chǎng)景中自由探索，不限時(shí)間，具有物理碰撞，就像在游戲里一樣。

       同時(shí)，世界模型2.0支持復(fù)刻真實(shí)3D場(chǎng)景，用戶輸入一段真實(shí)空間的視頻或者多視角圖片，模型就能構(gòu)建出高精度的數(shù)字孿生空間。基于升級(jí)后的 WorldMirror 2.0 架構(gòu)，模型支持任意尺寸圖像與視頻輸入，一次性預(yù)測(cè)密集點(diǎn)云、多視角深度圖、表面法線及相機(jī)參數(shù) ，一次生成永久可復(fù)用。未來，室內(nèi)裝修預(yù)覽、城市規(guī)劃、文化遺產(chǎn)保護(hù)等場(chǎng)景，都可以基于這一能力實(shí)現(xiàn)快速構(gòu)建和還原。

與其他世界模型相比，混元世界模型2.0在場(chǎng)景完整度（物體側(cè)面和背面）以及對(duì)輸入圖片的遵循程度表現(xiàn)更優(yōu)?；煸傻?DGS與Mesh的混合表征，也讓用戶能夠開啟角色模式進(jìn)行有真實(shí)物體碰撞的交互。

以3D生成為主軸，統(tǒng)一空間理解、生成、重建

混元世界模型2.0以3D為主軸，通過統(tǒng)一空間理解、生成、重建的架構(gòu)，實(shí)現(xiàn)了SOTA級(jí)的生成效果。

傳統(tǒng)方法需要精確的相機(jī)參數(shù)才能生成全景圖，但現(xiàn)實(shí)中這些參數(shù)往往拿不到。

HY-World 2.0 全新升級(jí)HY-Pano-2.0模型, 采用端到端隱式學(xué)習(xí)方案，讓模型自己學(xué)會(huì)從普通圖片到 360 度全景的空間映射，完全不需要任何相機(jī)元數(shù)。再配合團(tuán)隊(duì)的真實(shí)全景照片和 UE 引擎合成數(shù)據(jù)的混合訓(xùn)練策略，保證了生成質(zhì)量和泛化能力。

有了全景圖，下一步是規(guī)劃“怎么走”。

通過團(tuán)隊(duì)自研的空間Agent技術(shù)，結(jié)合VLM與游戲自動(dòng)尋路算法常用的navmesh表征，讓大模型能夠理解空間語義，并智能規(guī)劃出有意義的漫游軌跡，確保覆蓋場(chǎng)景中最有價(jià)值的區(qū)域，同時(shí)避免穿墻、跑飛。模型會(huì)根據(jù)每個(gè)場(chǎng)景的不同語義，規(guī)劃出“環(huán)繞物體”、“最大漫游”等五類運(yùn)鏡軌跡，這樣搭配下一步的世界擴(kuò)展模型，可以讓用戶在 3D 世界中的探索路徑既自然又有趣。

沿著規(guī)劃好的軌跡，模型通過視頻生成技術(shù)不斷“擴(kuò)展”世界。

這一步的關(guān)鍵創(chuàng)新在于“精確的相機(jī)控制 + 細(xì)粒度視覺細(xì)節(jié)保持 + 空間一致性記憶機(jī)制”，這一套流程可以確保新生成的區(qū)域與已有區(qū)域在幾何和視覺上完美銜接，不會(huì)“穿幫”。通過記憶力機(jī)制的設(shè)計(jì)以及體系化的中間訓(xùn)練和后訓(xùn)練，團(tuán)隊(duì)打造了目前業(yè)界最強(qiáng)的新視角生成（NVS）模型HY-WorldStereo。生成畫面對(duì)輸入相機(jī)的精準(zhǔn)跟隨，且多條運(yùn)鏡的生成結(jié)果保持空間一致不會(huì)有沖突；通過后訓(xùn)練算法的設(shè)計(jì)，使得保持快速生成的同時(shí)畫面質(zhì)量不會(huì)衰減。

      最后，將所有生成的片段通過HY-WorldMirror 2.0 整合為一個(gè)統(tǒng)一的、可交互的 3D 世界。使用定制的Depth alignment和自適應(yīng)Mask gaussian場(chǎng)景優(yōu)化算法，生成的場(chǎng)景采用 3D 高斯?jié)姙R（3DGS）表示，同時(shí)可以轉(zhuǎn)出高質(zhì)量mesh，可以無縫導(dǎo)出到 Unity/UE 等主流游戲引擎，支持二次編輯和創(chuàng)作。

混元世界模型（HY-World 系列）自發(fā)布以來就在持續(xù)進(jìn)化：從首個(gè)開源的3D世界模型 HY-World 1.0 ，到可實(shí)時(shí)在線交互的 HY-World 1.5 ，再到一鍵生成高質(zhì)量完整3D空間資產(chǎn)的 HY-World 2.0，騰訊混元的3D世界模型正在一步步將“AI 造世界”從概念變?yōu)楝F(xiàn)實(shí)。