当大家还在惊叹和沉浸于AI文本转图像产出的精妙画作的时候，一些闷声做大事的团队已经在人工智能研究上迈向了一个新的领域—文本转视频9月29日，扎克伯格在facebook上发布了一条关于Mak
当大家还在惊叹和沉浸于AI文本转图像产出的精妙画作的时候，一些闷声做大事的团队已经在人工智能研究上迈向了一个新的领域—文本转视频
9月29日，扎克伯格在facebook上发布了一条关于Make-A-Video人工智能系统的帖子，并附上了一段20s的视频，视频中汇总了Make-A-Video系统通过文本生成视频的一些片段。给Make-A-Video一个文本描述，它就可以为您创建一段视频。
自文本转图像AI技术发布以来，也才过了几个月，人工智能技术就发展成将静态图直接飞升成动态视频了，一句话就能生成视频，不得不说近两年AI发展的速度有点近乎疯狂。
不过在Meta发布之后仅一周，谷歌就紧随其后发布了他们在人工智能领域的最新成果Imagen Video和Phenaki两种模型，前者可以生成1280*768分辨率，24帧/秒的高清视频，后者可以将一系列的文本提示生成连贯的长视频。这么看Meta的Make-A-Video还是逊色一点。
其实文本生成视频技术并不是什么新鲜事儿，早在今年的6月份，清华&智源研究院就自研了“一句话生成视频”的模型CogVideo，并且将这一模型在gitub上开源了（刚发布不久立马就出圈了）
下面我们就一起来了解下这三个团队各自的模型到底如何吧。
01
CogVideo
CogVideo可以生成分辨率为480*480（画质有点渣），4秒（帧数32张）左右的视频，而且在生成真实的对象，以及内容一致性和运动真实性方面的表现相较于当时的其他视频生成AI模型来说都要更好，从下图的我们不难看出这一点，生成的实际人物相关的视频看上去都比较自然和流畅。
（团队用CogVideo生成的视频片段）
但是有些地方还是值得再探究下，比如这个狮子正在喝水的视频，CogVideo是直接给狮子加上了一双手，这和我们的常规认知是背道而驰的，仿佛只是把人的手拿水喝这个动作和狮子做了一个拼接。不过在Meta的Make-A-Video生成的视频中也存在类似的情况。
那接下来我们就看看Make-A-Video的表现吧！
02
Make-A-Video
Make-A-Video目前已经实现了下面三个功能
-
文字转视频
-
图片转视频（将一张图片变为动态视频或者将两张图片合成为一个视频）
-
通过原始视频生成视频的变体
Meta的官网上也给出了一些的案例。
（由于案例较多，其余案例信息请前往：https://makeavideo.studio/）
目前Make-A-Video生成的视频画质看起来有点粗糙，且视频呈现的动作样貌也还不够自然协调，不过相比CogVideo，Make-A-Video提供了更多样的生成视频的玩法，而且生成出的视频想象力也更丰富。
03
Imagen Video & Phenaki
首先值得一提的是Imagen Video的清晰度，相比前两个系统生成的视频有了非常大的提升，目前支持生成1280*768分辨率，24帧/秒的视频，下面是官网放出的视频案例效果片段。
（更多案例请前往 https://imagen.research.google/video/ ）
Imagen Video不仅能生成高清视频，而且具有高度的可控性，能理解并生成不同艺术风格的作品。
甚至还能理解3D结构
最重要的是 Imagen Video 能够生成各种不同风格的文本动画
不过目前谷歌方面表示不会发布 Imagen Video 模型或其源代码，以避免存在模型可能被滥用于制造虚假、仇恨、露骨或有害的内容。
通过官网和论文公布的信息可以了解到Phenaki目前可以做到
1. 通过不同的描述切换生成的视频风格或切换场景，生成连贯多样化的视频
2. 给一个静态的图像作为第一帧+一段文本描述就可以生成一个视频
3. 通过一连串的文字描述描述生成2分钟以上的长视频（视频案例请移步Phenaki官网查看：https://phenaki.github.io/#interactive）
而且生成的视频还具备故事情节。这样的话，那未来是不是人人都可以通过文本创建视频，就不需要拍摄和剪辑了（惊讶！！！）如果真的能实现，那可能会给视频行业带来翻天覆地的变化。目前Meta和Google团队都暂未提供线上试用入口，有感兴趣的朋友可以去尝试用下CogVideo在线网页看看文字转视频的效果（可点击原文链接跳转）：
网址：https://huggingface.co/spaces/THUDM/CogVideo
文字转视频的AI技术在短短的几个月内就已经取得了巨大的进展，似乎每天都有新的突破，难以想象再过几个月这个技术是不是又会迈向了一个新的阶层，一起拭目以待吧！
更多最新资讯和业内领先方案分析关注九日论道哟。也欢迎大家加入我们的知识星球，星球也正在做第二年的续费哈。
原创文章，作者：Meta，如若转载，请注明出处：https://www.kaixuan.pro/news/457768/
相关推荐
-
宅男救不了元宇宙
像极了曾经的AI，2022年，元宇宙在互联网语境里已然袪魅。此前，大众一直将更名Meta的Facebook视作笑谈，奚落着其一路飘绿的股价，嘲笑着那虚拟演唱会里模型粗糙的小人儿们。后来者百度，同样未能
-
让AI学会“发自内心的笑”，需要几步？
今年7月谷歌人工智能团队的软件工程师 Blake Lemoine 被公司解雇，原因是其“违反保密协议”。
-
Metadium币行情走势图
Metadium币行情走势图
-
扎克伯格能骗过大脑的VR眼镜，长这样
元宇宙巨头公司Meta，近日向媒体公开了其首席执行官马克·扎克伯格（Mark Zuckerberg）录制的一条视频；视频向外界展示了Meta的VR眼镜产品最新研发进展，内容可谓信息量爆炸
-
AI绘画进军二次元！新人画师饭碗不保？
近日，#乌合麒麟#的话题冲上微博热搜榜，引起网友们热议。乌合麒麟是国内知名插画师团队，由主创作付昱、主策划胡睦洋、主执行康宇翔组成。起因是社交平台上突然兴起关于AI绘画新进展的讨论和争议，乌合麒麟微博
-
元宇宙降温：厂商裁员停项目，VR产业还剩多少时间？
就目前来看，人们之前对于元宇宙的预期，确实拉得过高了。2021年，沙盒游戏社区Roblox上市，将元宇宙概念炒成了当红辣子鸡。而一年之后，Robox股价腰斩，为元宇宙更名Meta的Facebook也是
-
Snap 壮士断腕，对它来说为什么是件好事？
全球裁员潮愈演愈烈。9月初，社交软件 Snapchat 母公司 Snap 传出裁减约 20% 员工的消息，约涉 1000 名员工。今年以来，面对更具挑战的宏观经济环境，裁员在全球市场轮番上演。Meta
-
Meta 想要抽取創作者 50% 在 Metaverse 中的銷售額。
Meta 計劃在其元宇宙項目 Horizon Worlds 上的所有數字資產銷售額中抽取 47.5% 。 這家社交媒體公司於 4 月 11 日宣佈讓創作者在他們構建的世界中出售虛擬…
-
AI作画大火成就人均艺术家？
自从“阿尔法狗”打败职业围棋选手柯洁之后，关于AI何时能够替代人类工作的猜想就从未停止过。虽然从智能语音交互、自动驾驶到人形机器人，AI在能力和外观上逐渐与真人越来越像。但有人
-
成立XR部门的腾讯，想在元宇宙打爆扎克伯格
上周，50岁的罗永浩在个人微博官宣了自己的下一次创业，进入一个此前未曾涉足的赛道：AR。本来小蓝仅仅以为这是一次罗永浩个人的表态，却没想到一周过去，腾讯、Meta等也纷纷公开了自己关于元宇宙的下一步计
