可控视频生成菊花 流出 国产 porn，关于自动驾驶技巧而言，相同相当伏击。

比如，生成高质地、万古刻且可控的高质地街景视频，不错蓬勃建筑自动驾驶讹诈的数据缺口。

现时，香港华文大学、香港科技大学和华为联手向这一长期挑战发起了冲锋：推出MagicDriveDiT，重新界说自动驾驶视频生成的圭臬。

现时该职责同期赈济昇腾 Ascend NPU 以及 NVIDIA GPU 考验和推理。

具体而言，MagicDriveDiT 基于 DiT 架构盘算。通过流匹配技巧和渐进式考验政策，MagicDriveDiT 不仅进步了系统的推广才智，还能灵验生成复杂场景。这一武艺极地面提高了视频生成的质地，尤其是在生成高分辨率和万古刻视频方面发挥杰出。

精准场景畛域

先来看 MagicDriverDiT 的生成后果。

通过精准的场景畛域，MagicDriveDiT 不错生成许几许见的行驶路况。

比如无信号灯路口让行：

路边起步变谈：

以及夜间行车等。

值得一提的是，MagicDriveDiT 既赈济单个物体的精准畛域：

菊花 流出 国产 porn

也赈济复杂的自车 3D 轨迹畛域。

MagicDriveDiT 的举座盘算框架

架构盘算方面，领先，MagicDriveDiT 将跨视角一致性模块引入 STDiT3 的基础模块中，提议了 MVDiT 模块来治理多视角视频合成。

其次，关于自动驾驶场景中常见的多种畛域，MagicDriveDiT 在 STDiT3 的基础上罗致非凡的畛域分支以及交叉刺视力分歧治理不同的畛域种类信号。

此前的视频生成齐是基于 2DVAE 编码罢了的，畛域要求的空间编码模块并不适用于 3DVAE 的时空潜变量。针对现存武艺在可推广性和畛域要求整合方面的不及，MagicDriveDiT 罗致空间 - 时刻要求编码技巧，罢了了对时空潜变量的精准畛域。这种武艺使得生成的视频在视觉后果上愈加传神，大约蓬勃自动驾驶讹诈对高质地街景视频的需求。

以下视频空间编码和时空编码对比，此前的视频畛域武艺并不适用于 3DVAE 的时空潜变量：

MagicDriveDiT 提议的要求时空编码模块：

考验武艺上，MagicDriveDiT 发现，提高视频分辨率关于生成本体的质地进步最赫然。

因此，MagicDriveDiT 罗致了分辨率优先的渐进式的考验政策，加快模子考验管制，而况缓缓适配更高分辨率和更长的视频。此外，通过羼杂数据考验，MagicDriveDiT 还罢了了视频长度外推的才智，不错径直生成卓绝考验长度的视频。

△MagicDriveDiT 罗致的渐进式考验政策

推行驱散走漏，MagicDriveDiT 在生成真确街景视频方面的发挥优于现存的其他武艺，不仅在分辨率上有所冲突，还在帧数上罢了了权贵进步，罢了了前所未有的视频生成后果。

与相干职责的分辨率、时长对比驱散如下：

更多本体请见论文：

https://arxiv.org/abs/2411.13807

技俩地址：https://github.com/flymin/MagicDriveDiT

—  完  —

投稿请发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿本体‍

附上论文 / 技俩主页辘集，以及相干样貌哦

咱们会（尽量）实时复兴你

点这里� � 款式我，铭刻标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿进展日日再会 ~