风险提示:理性看待区块链,提高风险意识!
只需一张图片、一句动作指令,Animate124轻松生成3D视频
首页 > 业界 > 区块链 2023-12-21 17:05
摘要
Animate124,轻松将单张图片变成 3D 视频 。
币界网报道:
Animate124,轻松将单张图片变成 3D 视频。

原文来源:机器之心

图片来源:由无界 AI生成

近一年来,DreamFusion 引领了一个新潮流,即 3D 静态物体与场景的生成,这在生成技术领域引发了广泛关注。回顾过去一年,我们见证了 3D 静态生成技术在质量和控制性方面的显著进步。技术发展从基于文本的生成起步,逐渐融入单视角图像,进而发展到整合多种控制信号。

与此相较,3D 动态场景生成仍处于起步阶段。2023 年初,Meta 推出了 MAV3D,标志着首次尝试基于文本生成 3D 视频。然而,受限于开源视频生成模型的缺乏,这一领域的进展相对缓慢。

然而,现在,基于图文结合的 3D 视频生成技术已经问世!

尽管基于文本的 3D 视频生成能够产生多样化的内容,但在控制物体的细节和姿态方面仍有局限。在 3D 静态生成领域,使用单张图片作为输入已经能够有效重建 3D 物体。由此受到启发,来自新加坡国立大学(NUS)和华为的研究团队提出了 Animate124 模型。该模型结合单张图片和相应的动作描述,实现了对 3D 视频生成的精准控制。

  • 项目主页: https://animate124.github.io/
  • 论文地址: https://arxiv.org/abs/2311.14603
  • Code: https://github.com/HeliosZhao/Animate124

核心方法

方法概括

根据静态和动态,粗糙和精细优化,本文将 3D 视频生成分为了 3 个阶段:1)静态生成阶段:使用文生图和 3D 图生图扩散模型,从单张图像生成 3D 物体;2)动态粗糙生成阶段:使用文生视频模型,根据语言描述优化动作;3) 语义优化阶段:额外使用个性化微调的 ControlNet,对第二阶段语言描述对外观造成的偏移进行优化改善。

图 1. 整体框架

静态生成

本文延续 Magic123 的方法,使用文生图(Stable Diffusion)和 3D 图生图(Zero-1-to-3)进行基于图片的静态物体生成:

对于条件图片所对应的视角,额外使用损失函数进行优化:

通过上述两个优化目标,得到多视角 3D 一致的静态物体(此阶段在框架图中省略)。

动态粗糙生成

此阶段主要使用文生视频扩散模型,将静态 3D 视为初始帧,根据语言描述生成动作。具体来说,动态 3D 模型(dynamic NeRF)渲染连续时间戳的多帧视频,并将此视频输入文生视频扩散模型,采用 SDS 蒸馏损失对动态 3D 模型进行优化:

仅使用文生视频的蒸馏损失会导致 3D 模型遗忘图片的内容,并且随机采样会导致视频的初始和结束阶段训练不充分。因此,本文的研究者们对开始和结束的时间戳进行过采样。并且,在采样初始帧时,额外使用静态函数进行优化(3D 图生图的 SDS 蒸馏损失):

因此,此阶段的损失函数为:

语义优化

即使采用了初始帧过采样并且对其额外监督,在使用文生视频扩散模型的优化过程中,物体的外观仍然会受到文本的影响,从而偏移参考图片。因此,本文提出了语义优化阶段,通过个性化模型对语义偏移进行改善。

由于仅有单张图片,无法对文生视频模型进行个性化训练,本文引入了基于图文的扩散模型,并对此扩散模型进行个性化微调。此扩散模型应不改变原有视频的内容和动作,仅对外观进行调整。因此,本文采用 ControlNet-Tile 图文模型,使用上一阶段生成的视频帧作为条件,根据语言进行优化。ControlNet 基于 Stable Diffusion 模型,只需要对 Stable Diffusion 进行个性化微调(Textual Inversion),即可提取参考图像中的语义信息。个性化微调之后,将视频视为多帧图像,使用 ControlNet 对单个图像进行监督:

另外,因为 ControlNet 使用粗糙的图片作为条件,classifier-free guidance (CFG) 可以使用正常范围(10 左右),而不用与文生图以及文生视频模型一样使用极大的数值(通常是 100)。过大的 CFG 会导致图像过饱和,因此,使用 ControlNet 扩散模型可以缓解过饱和现象,实现更优的生成结果。此阶段的监督由动态阶段的损失和 ControlNet 监督联合而成:

实验结果

作为第一个基于图文的 3D 视频生成模型,本文与两个 baseline 模型和 MAV3D 进行了比较。与其他方法相比,Animate124 有更好的效果。

可视化结果比较

图 2. Animate124 与两个 baseline 比较

图 3.1. Animate124 与 MAV3D 文生 3D 视频比较

图 3.1. Animate124 与 MAV3D 图生 3D 视频比较

量化结果比较

本文使用 CLIP 和人工评价生成的质量,CLIP 指标包括与文本的相似度和检索准确率,与图片的相似度,以及时域一致性。人工评价指标包括与文本的相似度,与图片的相似度,视频质量,动作真实程度以及动作幅度。人工评价表现为单个模型与 Animate124 在对应指标上选择的比例。

与两个 baseline 模型相比,Animate124 在 CLIP 和人工评价上均取得更好的效果。

表 1. Animate124 与两个 baseline 量化比较

总结

Animate124 是首个根据文本描述,将任意图片变成 3D 视频的方法。其采用多种扩散模型进行监督和引导,优化 4D 动态表征网络,从而生成高质量 3D 视频。

发表评论
发表评论
暂无评论
    相关阅读
    一位广受关注的加密货币分析师和交易员倾向于看好市值排名前十的山寨币。
    比特币
    2024-11-01 03:45:54
    Pyth Network的发展势头展示了其挑战老牌Oracle提供商的潜力。
    区块链
    2024-11-01 01:58:51
    区块链软件公司Consensys的首席执行官表示,由于加密货币行业面临更加谨慎的宏观经济环境和监管的不确定性,该公司将解雇20%的员工。
    区块链
    2024-11-01 01:46:15
    距离美国大选仅剩四天,竞选活动和加密货币市场都在升温。最近的民意调查显示
    区块链
    2024-11-01 01:45:12
    Tomarket的TOMA代币将在TON上推出。以下是空投发生的最新消息,以及Telegram游戏的下一步是什么。
    区块链
    2024-11-01 01:08:05
    推荐专栏
    热门币种
    更多
    币种
    美元价格
    24H涨跌幅
    BTC比特币
    60,963.61 USDT
    ¥435,103.38
    -2.72%
    ETH以太坊
    3,368.69 USDT
    ¥24,042.67
    -0.3%
    BNB币安币
    570.68 USDT
    ¥4,073.00
    -0.28%
    USDT泰达币
    1.02 USDT
    ¥7.25
    -0.19%
    SOL
    135.96 USDT
    ¥970.36
    +7.66%
    USDC
    1.00 USDT
    ¥7.15
    -0.01%
    TON
    7.59 USDT
    ¥54.14
    +4.55%
    XRP瑞波币
    0.47720 USDT
    ¥3.41
    +0.48%
    DOGE狗狗币
    0.12210 USDT
    ¥0.87140
    +2.43%
    ADA艾达币
    0.39050 USDT
    ¥2.79
    +3.88%
    热搜币种
    更多
    币种
    美元价格
    24H涨跌幅
    Mask Network
    2.9649 USDT
    ¥21.11
    -7.79%
    狗狗币
    0.1615 USDT
    ¥1.15
    -4.15%
    比特币
    70427.03 USDT
    ¥501,320.73
    -2.8%
    柚子
    0.4419 USDT
    ¥3.15
    -4.5%
    Filecoin
    3.5412 USDT
    ¥25.21
    -5.23%
    dYdX
    1.029 USDT
    ¥7.32
    -3.8%
    Shiba Inu
    1.793E-5 USDT
    ¥0.00
    -2.71%
    Solana
    168.77 USDT
    ¥1,201.36
    -3.85%
    火币积分
    0.2237 USDT
    ¥1.59
    -54.46%
    以太坊
    2519.87 USDT
    ¥17,937.19
    -5.35%
    Conflux
    0.1438 USDT
    ¥1.02
    -5.39%
    Terra Classic
    9.16E-5 USDT
    ¥0.00
    -2.5%
    最新快讯
    更多
    MicroStrategy市值超越Coinbase
    2024-11-01 07:35:07
    币界网晨讯|11月1日隔夜重要动态一览
    2024-11-01 07:29:32
    MicroStrategy自2020年第三季度以来每个季度都购买了比特币
    2024-11-01 07:22:54
    美国国会议员McHenry庆祝比特币白皮书发表16周年
    2024-11-01 06:59:41
    OndoFinance与Libeara联合推出链上短期美债基金
    2024-11-01 06:59:41
    OndoFinance与Libeara合作,为链上短期美债基金提供当日流动性
    2024-11-01 06:59:41
    Truth Terminal创始人X账户已恢复
    2024-11-01 06:37:21