文本到图像生成模型
提示:添加于 4 月 14 日
官方网站:立即使用
DreamFusion 功能
DreamFusion是一款使用名为 Imagen 的文本到图像生成模型来优化 3D 场景的产品。
该产品采用分数蒸馏采样 (SDS),这是一种通过优化损失函数从扩散模型生成样本的方法。SDS 允许在任意参数空间(例如 3D 空间)中优化样本。
该产品使用类似于 Neural Radiance Fields 的 3D 场景参数化来定义这种可微映射。DreamFusion 添加了额外的正则化器和优化策略来改善几何形状,从而产生连贯、高质量的法线、表面几何形状和深度,以及具有 Lambertian 着色模型的可重新照明的 NeRF。
DreamFusion 的用例涉及为各种应用优化 3D 场景,例如视频游戏、虚拟现实体验和电影制作。