探索AI视频生成的前沿：Runway公司的Gen-2
文章主题：国外生成式AI大模型, 文本生成, 图像生成, 视频生成
本文来自微信公众号：品玩 （ID：pinwancool），作者：李禾子，原文标题：《视频版Midjourney又进化了：一句话生成视频，谷歌注资，网友大呼好莱坞已死！》，头图来自：Runway
在讨论国外生成式AI大模型的应用时，人们通常会提及ChatGPT在文本生成领域的卓越表现，以及Midjourney和Stable Diffusion在图像生成领域的突出成就。然而，当我们谈论视频生成领域时，似乎没有太多类似的大模型可以提及。这是一个值得关注和探索的领域，因为视频生成技术有着广泛的应用前景，从电影、广告到游戏、教育等等。因此，我们需要更多的研究和发展来推动视频生成领域的进步。
很多人第一个会想到Runway公司的Gen-1。
Gen-1是Runway在今年2月推出的一款（也是该公司的第一款）由文本生成视频的AI大模型。不过就在几天前，它的迭代版本Gen-2也正式发布了。
在此之前，Gen-2从3月下旬开始已经进行了一段时间的小范围测试。
原内容描述了 Kelsey Rondenet 在当时表示 Gen-2 将在未来几周内对所有用户开放，然而这一承诺并未立即实现。最终，直到六月份，该承诺才得以兑现。
所以千呼万唤始出来的Gen-2，到底进化到哪一步了？
真正的从零开始生成视频
在推出Gen-1时，Runway特别创建了一个专页，向广大用户详细解析Gen-1的使用方法。概括来说，Gen-1主要提供了以下五个功能：
输入一张图片提示，来让原视频变成你想要的风格；
上传视频+一段提示词，生成你想要的视频（比如让一只拉布拉多变成斑点狗）；
输入图片或提示词，来让一段只做了3D建模的视频草稿变完整；
上传一段随意拍摄的视频，自动生成一段有故事感的片段（比如随意摆放的书最后成了一片高楼大厦）；
在原视频的基础上，更自由地定制你想要的视频风格（哪怕变出一只现实里并不存在的奇行种）。
发现没有，使用Gen-1的前提是必须先有一个现成的视频。说白了，Gen-1的作用其实就相当于给原视频加了一个更高级的滤镜。
而到了Gen-2，可以说才真正实现了从零开始生成视频的梦想。
从介绍来看，Gen-2比Gen-1多了3个厉害的功能：
文本到视频：只用输入一段提示词，就能生成一段视频；
文本和图片到视频：输入一张图片+一段提示词，就能让图片动起来；
图片到视频：只用输入一张图片，就能自动生成。
以下是我根据您提供的提示词生成的图片:纽约市阁楼窗户中下午阳光的温暖画面。这张照片捕捉到了一个令人愉悦的场景,太阳正在逐渐落山的时候透过纽约市阁楼的窗户洒进室内,给整个空间带来了柔和的光线和温暖的气氛。这张照片不仅展现了建筑物的独特魅力和纽约市的天际线,更让人们感受到了柔和的阳光和宁静的氛围,让人感到放松和舒适。
如果说Gen-1充其量只能当作一个修改视频的工具，那么Gen-2几乎已经能作为一个视频生产工具了——试想一句话生成的一个个视频片段，最后拼到一起就能讲一个完整的故事了……
总之就是只能拿来玩和能拿来用的区别。
尽管当前Gen-2生成的视频在细节清晰度、形态扭曲等方面仍存在一定的问题，并且生成的视频长度限制在4秒以内，但我们认为它可能是目前最为出色的AI大模型工具之一，在视频生成领域具有巨大的潜力。
当然，从Gen-2开始，也标志着Runway公司正式进入了收费时代：不同于Gen-1的完全免费，Gen-2免费版的视频生成功能有限（试用额度只有105秒，约等于26个4秒视频，且分辨率低、有水印），用户需要每月付15美元（或144美元包年）才能用到它的完整功能。
Runway有啥来头？
Gen-2背后的Runway，这是一家自2018年成立以来，始终致力于探索如何运用人工智能技术来提高视频制作效率的年轻企业。
除了TikTok和YouTube上的普通用户，Runway的客户还包括了不少主流影视工作室，比如扣扣熊主持的《深夜秀》就用到过Runway的工具来辅助编辑图像。
它最著名的一次应用应该是去年在中国观众中间非常出圈的电影《瞬息全宇宙》，据报道里面让人印象深刻的面条手，还有石头对话等超现实场景都用到了Runway的技术。
不过很多人可能会忽略的是，早些天被爆出大丑闻的Stable Diffusion也和Runway关系密切。
准确来说是一直被外界视作Stable Diffusion（时下图像生成领域最热门的大模型之一）背后公司的Stability AI爆雷了，媒体列出Stability AI的罪状之一就是，它把Stable Diffusion的10亿代码成果“据为己有”，而它充其量只是给Stable Diffusion提供了算力（出了钱）。
实际上真正为Stable Diffusion出力的是慕尼黑大学、海德堡大学，以及Runway。
Stable Diffusion最早发表在CVPR 2022年中的一篇论文
也就是说，Runway是Stable Diffusion的研发者之一。
Runway在去年还因为官宣发布了Stable Diffusion v1.5版本一度被Stability AI抓着不放，但那次的舆论最终还是站在了Runway这边。
这也是Runway在“成名”以前为数不多的“八卦”。
后来就像大多数的大模型开发公司一样，不再参与Stable Diffusion项目的Runway在发布Gen-1之后，发展速度就像坐上了火箭，并且在本月初拿到了谷歌的投资，距离D轮1亿美元的融资刚过去一个月，累计融资至少已有2亿美元，成为大模型领域的明星公司。
说个更直观的数字，2021年12月对冲基金Coatue花3500万美元投资Runway时，其估值为2亿美元，一年后估值变成5亿美元，再过了半年，它的估值就又翻了3倍（保守说有15亿美元）。
网友：好莱坞is dead
Gen-2的正式发布让不少网友感到兴奋。
在Runway官宣发布Gen-2的推文下，出现了一些普通用户“求教程”的声音：
不过已经有行动力强的用户开始试着用Gen-2生成自己的视频了，不少用户都在Runway推文的评论区交上了自己的4秒钟“作业”。
尽管Runway只是在网站列出了Gen-2的主要功能，并没有教给大家更多Gen-2的玩法，但聪明的网友已经自己学着用Gen-2生成的视频剪辑出了一个有反转的短故事。
比如这个叫“Monster of the sea（海怪）”的48秒故事：天气晴朗、风平浪静的一天，一艘帆船开始还很悠然地行驶在海上，船上的游客惬意地碰着杯喝着酒，可突然狂风大作，船员拿起望远镜往远处望，发现一只巨大的海怪出现在海面，船随着海浪开始颠簸，甚至燃烧了起来，船上的人纷纷跳水弃船逃生。
来自推特网友@MHU
甚至有直接用ChatGPT写了剧本、再用Gen-2生成的视频拼成一个故事的。
还有用户拿Gen-2生成的素材剪了一个1分钟的电影预告片，甚至在最后幽默地加了一个戛纳电影节的标志，如果生成的视频质量再高一点，怕不是真能以假乱真。
来自推特网友@Toni Seldr
不过视频质量差、生成的视频时长太短等也确实成了用户吐槽Gen-2的点。
并且在为安卓用户提供App服务的问题上，Gen-2和Gen-1一样也还是没有长进。
当然，更多用户还是对Runway表现出了宽容。有网友评价说，“虽然它有太多的不完美，但有一点可以肯定，整个视听工业都将迎来革命性的改变。”
还有网友更激进地说，“好莱坞已死，任何人都可能做出一部世界级的电影。”
真能取代好莱坞吗？
可以理解为什么广大网友对Gen-2的推出如此兴奋。Gen-2对普通用户的好处是明摆着的——假以时日，文本生成视频技术一旦成熟，将意味着拍电影不再只是大制片厂的专属，任何一个普通人都可以做一部自己的电影。
Runway并没有明确说过Gen-2面向的人群到底是谁。不过我们可以从它推出App以及之前和影视工作室有过的合作等等动作来看，大致猜到有哪些人会用到Gen-2：专业的制片公司，个人工作室性质的独立生产者，以及我们这样的普通用户。
虽然Gen-2看起来对普通用户很友好，但制片公司们会用Gen-2这样的工具也是肯定的。
毕竟大模型不同于过去任何一个热过之后就销声匿迹的概念，它将成为未来又一次深刻改变人类的产业革命，几乎已经是各行各业的共识。
事实上在国内，已经有影视项目开始借助大模型来完成一些工作。比如在剧本筹备阶段，会把分镜头故事板的产出工作交给Midjourney（据说能省下几十万元的成本）。
那假设，有一天Gen-N成熟到也能生成能直接拿去用的完美镜头呢？
或者可以拿大模型在游戏行业的应用做个类比，Midjourney等工具的使用显然已经对游戏公司产生了非常现实的影响：先是出于节省成本的需要砍掉美术外包团队，接着就是在自己人身上动刀，甚至有从业者提到最多有8成的原画师会下岗。
考虑到如今大模型的迭代速度，它的影响真正显现在影视行业也会是迟早的事。
不过我反而觉得，Gen-2大模型可能会淘汰那些影视行业流水线上的“工人”，但却淘汰不了真正的艺术家。
之前听到过一个说法，AI大模型生成的内容里，可能有80%都会是对人类过去经验无聊的重复，但也可能有20%闪光的东西。就比如在中式美学和赛博朋克如何进行融合的问题上，普通创作者可能需要极长时间进行思考，AI却可能生成一个让人意想不到的结果，给人带来惊喜。
这20%是AI存在的意义，剩下的就需要真正有创造力的人去补足。
还有从业者提到过一个观点，AI大模型运用到影视行业的生产，不意味着非专业人士也能轻松上手——如果想借助AI的力量创作剧本，还需要针对剧本公式和故事结构等相关知识进行充电。不具备基础知识的小白即便有了AI这个超级助理也无济于事。
所以回到AI是不是能取代好莱坞的问题，事实上好莱坞可能是最早对新技术的“入侵”有所感知的，就像在今年5月初，数以千计的好莱坞编剧工会（WGA）成员曾进行罢工示威，诉求之一便是抵制在剧本写作中广泛使用AI的现象。
如果有一天Gen-N真的来了，好莱坞导演们可能第一个不答应。
本文来自微信公众号：品玩 （ID：pinwancool），作者：李禾子
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
Related posts
