Midjourney与StableDiffusion:无限宇宙与猫头鹰视频制作大揭秘
文章主题:Midjourney, Stable Diffusion, zoom out function, image scaling
本文来自微信公众号:新智元 (ID:AI_era),作者:新智元,原文标题:《Midjourney 5.2震撼发布!原画生成3D场景,无限缩放无垠宇宙》,题图来自:Midjourney
Midjourney和Stable Diffusion,已经卷到没边了!
在Stable Diffusion XL 0.9发布之际,Midjourney同步推出了其5.2版本,值得注意的是这两项活动的发生时间几乎一致。
在本次5.2版本的更新中,引人注目的功能 addition(扩展)无疑是最显著的变化。这个新功能能够将原始图像无限扩展,而同时,其细节与原始图像保持一致,这一点至关重要。
用zoom out做出的无垠宇宙动画,直接让人震惊到失语。
这个极其强大的功能,可以创造出非常神奇的图片,甚至还能被用来拍摄毫无破绽的高清变焦视频!
这个“核弹级”更新,让网友直呼:你们这个功能也太强大了,直接把我的睡眠毁了!
玩了一个小时之后,这名网友再次表示:太强大了,我要哭了……
无限缩放,像宇宙一样没有尽头:
老奶奶宇宙中有多少个老奶奶?答案是无穷个:
爱丽丝追逐着小兔子不小心掉下了“兔子洞”,便进入了仙境。
而网友用zoom out自制的这个“兔子洞”,简直如梦如幻。
ilumine AI的AI图像设计团队只需依赖一幅细微的原画,就能利用Zoom Out功能创作出宏伟壮丽的场景图像。
然后再配合自家正在开发的技术2D转3D的技术,直接做了一个3D的游戏场景。
在产品的正式发布时间到来之前,我们有理由相信,结合Midjourney Zoom Out的神奇功能,能够轻松地将一张原画转化为令人惊叹的3D场景。
这简直是要革了游戏行业的命了,很多游戏制作从业者应该要哭出声吧。
一、Zoom Out誓要碾压Adobe AI和Uncrop?
在此之前,Adobe的Generative Fill功能引发了网友们的狂热讨论,该功能能够智能地填充图像中的 void 区域,使其看起来更加真实自然。尤其是当它用于填充周星驰电影中的经典场景时,几乎达到了”无缝衔接”的效果,使得这些合成照片看起来如同出自同一个世界,让人惊叹不已。
Stability AI紧随其后,推出了一款强大的新工具:Uncrop Clipdrop,这是一款功能全面的图像比例编辑器。
而Midjourney的V5.2的zoom out功能,也是不遑多让,甚至更加强大。
只要通过“/image”命令输入提示,Midjourney就会根据你的prompt生成四个视觉迭代图,你可以选择自己最喜欢的一个来放大,这个过程中,整个图像都会以更高的细节被渲染。
现在,所有Upscale的图像下方都有“Zoom Out”按钮,可以使用它们来重新生成图像。
先给定一张需要缩放的原图,点击下面的“缩放两倍”的按钮。
和之前我们介绍过的Uncrop一样,Midjourney会生成4张备选的图案。
缩放之后4张备选图案的风格都非常一致,只是在背景的细节上有些差别。
在选择了4个Upscale的图案中的一个之后,还可以接着选择放大两倍对照片进行持续缩放。
可以看得出进一步缩放之后的图案风格和细节依然非常一致,如果你想持续缩放下去,就可以做出本文开头效果。
你只要不停地重复这个过程,就能生成一张巨大无比的拥有无限多细节的“巨图”。
再配上热心网友的指导,就能生成文章一开头的“无限宇宙缩放动画”:
左图如梦似幻的仙境,还可以继续扩大,让艺术和梦幻的世界无限扩张……
网友们激动得觉也不睡了,直接玩疯了。
马斯克的霹雳宇宙是这样的。
这已经是大师级的艺术作品了。
墨菲斯变成绝地武士,场景扩大后,显得更厉害了。
有网友感慨道:Midjourney v5.2模拟从极近镜头到全开镜头的摄像机运动时,简直太赞了。
下一步是不是就是把速率变成每秒24-60帧,角色变成可移动的?12个月内是不是Midjourney就会有文字转视频服务了?
当然,还有紧跟时事的网友,为马老板做了八角笼对战图。
三大软件的无限缩放功能对比:
Uncrop因为是免费软件,不知道是由于官方出于节省资源的考虑还是技术上的问题,他们是不支持无限套娃缩放的。
原图:
缩放一次之后:
第二次缩放之后就会产生黑边,拒绝套娃。
而Midjourney的套娃宇宙我们在上边已经见识过它的效果了。
PS的GF,理论上只要画布能无限扩大,也可以把一张图片在空白处无限补全,达成无限缩放的效果。
只是实现起来要比Midjourney麻烦一些。
二、硬核网友手把手教你怎么做猫头鹰视频
问题来了,文章开头那段震撼的猫头鹰飞行变焦视频,是怎么做出来的?
大师级网友“歸藏”给出了手把手教我们的详细教程。
首先,生成一张猫头鹰图,然后用下面的1.5倍Zoom Out按钮。
在连续重复这个过程7次之后,得到了7张视频的关键帧图像。
把他们排序之后,登陆app.cunwayml.com,在左边导航找到创建视频这个Tab,然后找到Frame Interpolation这个功能。
然后用我们做好的这7张图,拖进左边的位置上传,检查顺序无误后就可以点击Generate生成视频了。
一段时间之后就可以看到这段视频的预览效果,不过,普通用户只能导出720P。
三、太长不看版:V5.2更新的8大功能
简而言之,这次V5.2更新,可以概括为如下8大功能。
1. 方形重构(Square Reframe)
扩大图片大小
选择制作方形
这次该更新附带的一个“制作正方形”工具,可以改变以正方形以外的纵横比制作图像的形状。
宽高比为16:9的原始图像
方形图像
使用这个工具,就可以调整任何照片的大小,重构图片,社交媒体上怎么方便展示,就怎么调整。
2. 标准变焦(Standard Zoom 1.5 – 2x)
选择缩放1.5倍或2倍。
这个功能适合短距离变焦,可以为照片添加更多细节。
3. 无限缩放“Endless Zoom (Re-Zoom a Pic) ”
这个功能可以围绕特定角色,为图片制作全新的大背景。
4. 自定义缩放重构(Custom Zoom Reframing)
无论是艺术家、设计师还是品牌,都可以自定义图像大小,让图片适应任何在线平台。
5. 风格化(Stylize)
Midjourney经过训练,可以创建具有艺术闪光和丰富视觉美感的图像,这是它与Stable Diffusion的最大区别。
以前,用户可以在提示的末尾添加“–styleize X”(图 X 的范围从 0-1000),但 V5.2采用了该模型现有的风格化功能,并在真实感和天赋方面将它们增加到11。
6. 变化模式(Variation Mode)
Midjourney V5.2还附带了一个名为“变化模式”的新功能,可以让用户反复打磨想要应用于输出的视觉细微差别。
在prompt中使用“低变化”模式,就能生成一致的角色形象,而如果选择“高变化”,就会导致与原始输出的较大的视觉差别,四张图片就会更加具有创意和艺术表现力。
7. 不同的个人照片(Vary Individual Pics)
给它一张你的原始图片,你可以选择生成好四个类似的你,或者风格变化非常大的你。
8. 更短提示(Shorten Prompts)
关于Midjourney,人们往往有一个误解:如果在prompt中使用更多单词,就会看到更好或更详细的结果。
但其实,过于冗长的提示往往会抵消每个单词的影响,从而导致输出的图片并不一定符合用户的想法。
而这次Midjourney更新的“缩短”命令功能,就可以分析prompt的成分,为我们提供了一些替代方案的建议。
通过全新的prompts,往往能让原始图片生成更惊艳的结果。
参考资料:
https://arstechnica.com/information-technology/2023/06/stunning-midjourney-update-wows-ai-artists-with-camera-like-feature/
https://the-decoder.com/midjourney-5-2-brings-zoom-out-and-integrated-prompt-analysis/
https://twitter.com/op7418/status/1672457908939014145
本文来自微信公众号:新智元 (ID:AI_era),作者:新智元
AI时代,拥有个人微信机器人AI助手!AI时代不落人后!
免费ChatGPT问答,办公、写作、生活好得力助手!
搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!