姚班学霸发布Unique3D模型海外爆火，目标剑指4D生成

wisemodel开源社区

2024-06-25 17:30始智AI wisemodel官方账号

始智AI wisemodel.cn开源社区

Unique3D海外出圈，被外网媒体提名为最佳3D生成，由00后清北团队开发

最近清华姚班等学弟们搞了个超酷的3D生成模型，名叫Unique3D。模型在github、wisemodel和Huggingface上已经开源了，一上线就登上了Huggingface的热门模型排行榜，还被旗下官方工具Gradio在海外媒体上提名为“best image-to-3d model”（最佳图片生成3D模型）。模型、代码和demo都已经发布在始智AI wisemodel.cn开源社区。

Unique3D提出了创新的多视图扩散和多级分辨率提升的模型及重建算法，具有目前可用的最高精度和高一致性的几何与材质。不管你扔给它什么图片，它都能在短短30秒内，给你变出一个跟原图一样精细的3D模型。许多海外网友也感慨“写真级3D”，“the pinnacle”（顶峰级），“best 3d generative AI”，“3d generation finally solved?”(3D生成最终解决)。

【Unique3D从图像生成“写真级3D”过程】

【Unique3D生成的模型合集】

Unique3D的研发团队Aiuni AI，来自清华北大的平均年龄00年的团队。Aiuni创始人及CEO April Hu胡雅婷来自北京大学计算机系，曾在Google/阿里/字节做过算法工程师，是一名00后女性创业者。技术合伙人兼CTO，Kailu Wu吴凯路，来自清华姚班在做3D生成和NeRF科研，创新性地提出了FSD(text-to-3d流分数蒸馏)和MemSR(高效训练超分辨率模型)。Unique3D研究员Fangfu Liu，是清华大学phd，研究领域覆盖各类前沿3D生成。

【Aiuni AI及Unique3D团队】

Aiuni AI，AI技术结合CG艺术，生成3D模型、场景、动画、分镜

Unique3D开源了基于Objaverse开源数据训练的版本，更高质量基于Lisence Data商用私有数据训练的版本进行了工程优化的后上线到Aiuni网页端。

不管是用人像照片、手绘图片，还是电商图片，甚至是MJ和SD生成的AI原生图像，Aiuni都能轻松搞定，一键生成高精度的3D模型。

无论是几何还是材质，都能达到令人惊叹的水准，而且输入的图像还能实现1:1的"像素级还原"。在Aiuni生成阶段，会生成四视图4K分辨率的材质预测，并且有百万级的顶点精度，再通过拓扑烘焙算法形成四边面的标准模型，易于导入CG管线及后续的编辑和创作。

所以Aiuni AI生成的模型，在白膜精细度、布线规范性、法相一致性、材质清晰度，有超过同类产品的表现。这就意味着，在数字设计、动画影视制作等对模型的精细度和还原度高要求的领域，用Aiuni可以生成高质量的3D艺术效果。

【四边面布线、高精度材质、高保真法相】

【Aiuni生成的模型的CG渲染效果】

不止于3D，剑指更高难度的4D生成

key1：3D生成的下一步是什么？

对于Aiuni而言，选择将3D算法开源也是因为3D生成只是一个起点，接下来的重点是通过结合3D、视频、动画、图形学的多模态算法，生成拥有时空维度的4D内容。

key2：3D空间维度，360度场景一致性

【3DWorld功能生成的360全景场景】

Aiuni用文本或图片就能召唤出360度全景场景。Aiuni的4D技术，就像是一个超级稳定的时空锚，保证了场景的一致性和视野的连续性。Aiuni还支持360度任意镜头运动，多机位长时间视频渲染。

key3：4D时间维度，成为高频可互动的内容

当3D模型增加时间维度后，拥有动作和动画的模态后，便可以成为有叙事有表达的4D动态，就可以成为高频交互的消费级内容。Aiuni AI目前围绕着图形学算法及4DGS的算法生成多模态的4D内容。这样比起助帧生成的AI视频、或者只基于计算机视觉和NeRF的方案，更加拥有角色连续性、动作镜头的可控性和可编辑性。

【一张图生成场景+一张图生成角色动画】

key4：4D生成比起AI视频有什么优势？

通过3D对于物理世界的先验，4D内容生成比起逐帧生成的AI视频，可以更好的实现角色一致性、场景一致性、动作连续性、物理规律性、广泛运镜幅度，从而形成实时渲染有准确叙事和表达的长视频。在Aiuni中，用户可以自由搭配场景、角色、动作、运镜，比起逐帧视频拥有更好的可控性、可编辑性、可交互性。

【DreamCamera功能视频人物替换为生成角色】

key5：4D内容的MR未来是什么？

在下一代MR设备中将拥有3D原生的表示，当带上VisionPro，它们不再是平面的图片或视频，也不是通过视察计算出来的3D效果，而是可以真真切切实时互动的4D内容。

【Aiuni的模型在VisionPro中互动】

接下来，Aiuni AI也将持续训练结合3D、视频、动画、图形学的多模态算法，训练角色大模型、场景大模型、动作大模型，以及4D原生表征的算法和数据，形成时空大模型。

目前，Aiuni正在已上线的3D模型和3D场景正在网站（https://aiuni.ai）和社群内测中，4D生成、动画生成等功能也将在接下来陆续上线。Aiuni的slogan是“AI Actualize Unique Inspiration”，希望让创作者的每个独特灵感，扩展内容的时空新维度，赋予数字世界无限创造力和生命力。4D动画长视频仍然存在着许多跨模态的挑战，Aiuni也在积极招募全球的AI前沿研究者及CG数字艺术家合作，打造开源和共创的生态。

【宇航员在Image-Dreamer生成的无限场景】

开源地址：

https://wukailu.github.io/Unique3D/

wisemodel：

模型：

https://wisemodel.cn/models/wuvin/Unique3d-models

代码：

https://wisemodel.cn/codes/wuvin/Unique3D

Demo：

https://wisemodel.cn/spaces/wuvin/Unique3D-Online-Demo

HuggingFace：

https://huggingface.co/spaces/Wuvin/Unique3D

论文地址：

https://arxiv.org/pdf/2405.20343

编辑：成蕴年

欢迎加入社群

----- END -----

始智AI wisemodel开源社区最近上线了开源模型的在线体验功能，并全面支持ollama在线运行，已经有近60个开源大模型可以直接在线体验。在线体验的创建无需任何代码开发，人人都可以来玩开源大模型。欢迎前往wisemodel.cn社区进行体验，若需指引可以参考《升级 | wisemodel上线新版在线体验，开源大模型人人可玩！》。如果有模型推理的在线托管服务需求，也欢迎联系我们。

wisemodel相关

系统升级

查看原图 24K