百万播放是如何练成的？Midjourney + Runway 创作分享。

麦满分

2023-07-31 16:19

《创世纪》，一部不存在电影的预告片，使用 Midjourney + Runway 生成，发布两天获得了60万View，4000个Like。作者@iamneubert 共计花费7小时，MJ生成 316 条提示，放大 128 张图像，Runway 生成 310 个视频，最终完成了这部生成带有文本的视频。

作者在推特上向大家分享了他的制作过程和心得，以下为整理后的内容：

________________

在决定制作视频之前——反乌托邦主题（这部预告片的主题）的想法来自我上周分享的一系列三部电影。

我脑海中已经有一个非常完成的构想了，所以我决定以此为基础编写一个故事！

1. 配乐

我无法强调开始音乐有多么重要。音乐极大地影响了观众如何感知视觉内容，并激发了另一种感官，使我们沉浸于内容之中。因此，它是一个很好的起点，因为它设定了预告片本身的氛围。另一个关键点是编辑工作，我喜欢将视觉内容与音乐相匹配。在项目期间更改音乐可能需要花费大量时间。因此，请在开始构建视频序列之前尽量确定最终的配乐。

就过程而言，我会反复听这个音轨，同时在脑海中想象不同的场景。我在反复听这个音轨的同时带着我的狗出去散步。这个练习有助于我组织我希望在预告片中涵盖的思想和故事线。

一旦我确定了音轨，我就把它放入视频编辑器。我使用的是 CapCut，因为它对每个人都是免费的。如果你更喜欢其他软件，也可以用 Adobe Premier 或 Final Cut Pro 来做这个工作。

2. 构建世界观和故事脉络

如果你问我，我认为世界构建和讲故事是你作为一个创造者应该学会的最重要的技能。有了让每个人都能生成高质量内容的技术，真正的奇迹将通过那些知道如何将各个部分拼接在一起的人实现。

对于预告片的故事线，我想逐步提高紧张度。我为预告片定义了3个阶段：

设定场景
引入威胁
在呼吁行动中达到高潮

在第一步，我开始为预告片草拟第一份文本。第一稿已经包括了"分享所有的东西，承担后果，然后呼吁全人类行动"。

确定了整体的语调和声音后，我开始围绕这些主题生成场景。我制作了大量的环境、科技、战斗主题的人类和科幻短片，从中我可以然后拼凑出一个故事。

为了增加一些深度，我增加了那个小孩子和闪光的护身符的三个镜头，暗示故事有更深的一层。

3. 在 Midjourney 中生成一致的图像

让我们深入研究 prompts 吧！在这个案例中，我已经有了从之前帖子中得到的稳定的提示基础。我优化了它，创造了一个模板，我可以在预告片的每一个镜头中重复使用。

___________ , star wars warfare, in the style of detailed crowd scenes, earthy naturalism, teal and yellow, frostpunk, interior scenes, cinestill 50d --ar 21:9 —style raw

对于每一个场景，我会用我要达到的场景填补空白，确保其他的部分能最大化保持主题、颜色和光照的一致性。

同样有用的是使用"Strong Variations（强烈变化）"功能。这让创造各种各样的场景变得简单，同时保持之前变化的色彩板。因此，一个女性战士的场景可以被转变成一个普通公民、一个网络黑客，或者一个战斗场景，而不需要生成新的提示。

4. 在Runway中对图像进行动画处理

令人惊讶的是，这个过程是最"简单"的。就设置而言，我总是尝试开启"Upscaled"模式。然而，值得注意的是，增大模式往往对面部处理不好。所以对于人的镜头，我通常使用标准质量。

**我完全没有使用与图像提示结合的文字提示。**我拖放一个图像，并重新调整它，直到我得到一个我喜欢的结果。只有最后的火焰镜头是在Runway中通过文字提示完成的。

5. 在CapCut中进行后期编辑：

当Midjourney和Runway正在生成他们的输出时，我开始放置关键场景，这些场景在衔接故事上面会起到非常重要的作用。例如《创世纪》这部预告，我设想的开场镜头将会是一个户外的场景。

然后我开始计划文字。**这可以在时间线上没有任何视频素材的情况下完成，因为我根据音乐来定位文本。**我在一个小时内写好了内容，并在时间线上进行了定位。这在生成图像时非常有帮助，因为你有一个额外的固定点来考虑哪些场景还缺失。

从那时起，这就像一个拼图游戏。 生成剪辑 -> 将它们拉入CapCut -> 在时间线上定位它们，慢慢地将故事拼凑在一起。我将2-3个剪辑的颜色匹配起来，使它们看起来像一个较大的电影场景。

在CapCut里唯一的真正技巧是需要考虑画面衔接的时候与节拍一致。我总是尝试在随着音乐变化来进行场景变换，或者在音乐中有一个"BWAAA"（强烈节拍变化）时进入下一个场景。这会使你的整个视频看起来更加具有沉浸感。

虽然CapCut提供了帮助你做这件事的功能，但我更喜欢手动操作，因为我可以完全控制。有时我也会故意跳过一个节拍，因为这个场景需要演出更久。

6. 增加动态效果

在我收到的提问当中，看到最多的就是，"你是怎么让你的剪辑有这么多动态效果的？"虽然在Runway中，有AI的随机性这个变量，但我有两个技巧可以增加动态效果。

1、思考AI如何解释图像。据我了解，Runway会先拍一张照片，然后根据它的模型计算哪些部分应该被制作动画。我反向工程了这个思路，尝试在Midjourney中输出能够暗示运动的图像。这意味着试图在拍摄中得到运动模糊，或者捕捉到移动的头部或人物的定格。

2、当你分析Runway的视频时，你会发现往往在4秒的剪辑中，场景会变化很大。这非常方便，**因为在预告片中，我只用了两次完整的4秒片段。其他的片段都是0.5 - 2秒长。我把剪辑的速度提高了1.5x - 3x。**因为，作为一个观众，在更短的时间内，你会感觉到更多的运动，因为这本质上是快进。所以，即使机器人向摄像机转过身来的原视频是4秒，但在你看来，那是一瞬间完成的。