首页AI 新闻
好说 AI + Gen-2,用 AI 圆你「导演」梦
467

好说 AI + Gen-2,用 AI 圆你「导演」梦

好说新闻
好说新闻
2023-08-01 10:59

AI 生图咱们见多了,那么 AI “拍片” 你见过吗?随着 Runway 公司 Gen-2 的免费开放,AI 视频生成的门槛比想象中下降了不少。

看完这篇文章,你甚至能亲手将昨晚梦到的梦境用 AI 视频的方式再次重现出来。不用怀疑,善用 AI ,你也能成 “张艺谋”。

文生视频 | 你说,它来演

“文字生成视频” 是 Gen-2 的最基础功能,和我们熟悉的 Stable Diffusion、好说绘画 等 AI 作图类似,只要输入文字,Gen-2 就能生成符合你描述的视频。

但需要注意的是,Gen-2 和 SD 一样,并不能很好地识别中文 Prompts,不过通过 好说 AI (点击 “阅读原文” 可下载)的快捷指令功能,利用 AI 语言模型可以准确、快速地将中文描述转化为英文 Prompts,达到咱们预期的效果:

Prompts 优化快捷指令:

https://link.haoshuo.com/s/ryrpgh

关于 “文字生成视频” 的基础使用,我们之前也制作了一段教程短片,大家可以跟着短片,将 好说 AI 转换出的英文 Prompts 输入其中,得到想要的视频:

图生视频 | 让画面动起来

当然,“文字生成视频”只是 Gen-2 最基础的用法,他就像 SD 的 “文生图” 一样充满着不稳定性,“画歪”的几率并不小。

不过 SD 有 “图生图”,Gen-2 也一样有支持上传图片的参考模式。如果我们预先用 好说绘画 这类 AI 工具生成合适的参考图,再喂给 Gen-2,那么 Gen-2 在生成视频的过程中就有了基准,至少在画面上不会偏差太远。

好说绘画 的使用很简单,仅需几步一般就能生成合适的图片:

然后我们将生成的图片保存至本地,再上传到 Gen-2 上,依旧输入 AI 转换后的英文提示词,

点击 “Free Preview” 可以免费预览效果,点击 “Generate” 就可以等待结果了:

图生视频 | 草图也能变大片

有些时候,我们想要让这 “AI 大片” 更有个人色彩,这时候我们可以通过 好说绘画 的 “图生图” 功能,把自己手绘的草稿图拍照、上传到 好说绘画 的高级面板→图生图当中,加入描述词:

「图生图」参数设置建议

01 建议使用 “文生视频” 部分提到的快捷指令优化 Prompts

02 针对手绘草图的 “图生图”,请拉高重绘幅度至 0.76 以上

03 由于素材将运用在 Gen-2 中,请关闭 “显示原图” 选项

04 模型、剪裁模式可根据自己喜好进行设置

让 AI “润色”一下,再按照上述的 “图生视频” 步骤来操作,一部出自你 “笔下” 的短片就生成了:

AI 拍大片 | 连编剧都省了

在掌握了 Gen-2 的两大基础运用之后,最后我们要来介绍一个利用 Gen-2 实现的高级运用:用 AI 来虚构 “拍” 出一个短片。

首先我们来看看网友用 Gen-2 发挥全力制作出的《芭比海默》电影预告片——一段融合了《芭比》《奥本海默》俩电影主题的同人 AI 短片:

看上去是不是很像回事?甚至让人想去猫眼搜搜是不是真有这片了…… 当然这是大佬们用心调教的结果,但看完这篇文章,我们也还是能够摸索到一些实用的方法。

首先,制作一段影片需要我们有 “内容” 的剧情与分镜,所幸我们有 AI 能博采众长、妙笔生花。我们将想做的主题告诉 好说 AI ,通过下方的这个快捷指令来快速生成 4~5 条分镜的英文 Prompts:

示例

在本文中,我们以 “一个小女孩在舞台上唱歌,台下有个男孩子对她一见倾心,便上台告白” 为例为大家演示。

Prompts 分镜生成快捷指令:

https://link.haoshuo.com/s/ryrpgy

然后,我们再按将这些分镜 Prompts 逐个在 好说绘画 中生成对应的参考图:

示例:生成的 4 张分镜参考图

再将这些参考图和对应的英文 Prompts 按照 “图生视频” 的步骤生成视频:

听起来似乎都是傻瓜操作,但领悟了下面的知识要点和高阶技巧,才是成功的关键。

知识要点

免费限制

Gen-2 为免费用户提供了 125 个点数的使用额度,支持使用 Gen-1/Gen-2 一次生成最多 4 秒的视频内容,在视频清晰度、素材容量等方面均有所限制,并且无法去除水印。

种子数

和 SD 一样,Gen-2 一样存在 “种子数” 的概念,通过固定种子数,可以相对保持一致的画面观感。

插帧

类似 SD 的 “高清修复” 功能,但它修复的不是清晰度,而是流畅度,开启之后可以获得更流畅的视频,但所需的生成时间也会随之增加。

高阶技巧

尽管我们一次仅能生成 4 秒 的视频,但有大佬发现,只要我们固定种子数、将生成视频的最后一帧画面作为新参考图、与原来的 Prompts 进行搭配,就能继续生成出有连贯性的画面。

通过这个小技巧,只要有足够的使用额度和耐心,就能生成出几十秒、甚至数分钟的视频。

在最后,如果我们用上剪映等软件进行稍许的后期,一段演绎 “舞台上一见钟情” 的浪漫小短片就完成了:

没错!发挥想象力,运用好 AI 工具,下一个 “名导演” 就是你!

全部讨论