YOLO813

用AI做小视频的第一次尝试

    讲真的,对我这种对摄影剪辑一窍不通的人来说,做小视频还真是一个比较新奇的事,因此第一个小视频也没有奢求能有多流畅,有那么个意思就行了,先上小视频吧。

该视频大约耗费了4个小时,对我来说,可以接受,毕竟是第一次制作,看教程,剪辑(一窍不通),音频,如果熟练的话,理论上1个小时出一个视频,两个小时出一个精品问题是不大的。

聊聊思路,画面(图片)->声音->图片变视频->剪辑:

  • 首先借助大语言模型,获取剧本以及可以用于文生图的提示词:

假设你是一名短视频运营,你的频道是为大家展现历史故事,用惊心动魄的故事情节和画面吸引大家的观看,现在请写出一个有趣的历史故事作为视频的文案

我想要请你为这个剧情设计六个分镜。
每个分镜要具体说明故事场景,角色行动,摄影角度

很好,
接下来我想要绘制概念草图,
请你把每个分镜的故事场景,
角色行动,
摄影角度的描述整合成每个midjourney prompts(使用英文),
格式类似下面这个句子:
hyperrealistic, hyper real, Ultrawide shot, Glacier, Ice and snow, Starrynightsky, Jaunty, Happy, Explorers, Gradient hair, Color contact lenses , Qlowing eyes , Realistic Restoration
  • 通过Stable Diffusion或者midjourney生成对应的图片。那么画面基本就完成了。

  • 配音。我是通过ElevenLabs来操作的,把大模型生成的剧本丢给ElevenLabs即可获取配音,注册用户每月有10000个字符的免费试用,由于里面没有中文,所以可以看到我的小视频中配音比较别扭。

  • 图片变视频,两个工具网站:leiapix和gen-2,二者均可免费使用,对于未付费用户来说,leiapix的视频长度可以生成10秒,但是像素不清晰,且属于伪视频(实际就是一张图通过不同的角度旋转给人一种动态的感觉);而gen-2的像素相比较清晰很多,视频长度为4秒,但是可以通过不同的提示词让图片真的动起来,例如小视频中的第一张图片,我写了一句:让火动起来,所以生成的视频中火是有明显的动态效果。

  • 把生成好的视频素材丢进剪映,加上音频,并为每张图片之间的衔接加入转场以及动画效果。

  • 字幕,使用剪映的智能字幕一键生成即可。调整字体大小、位置和颜色。

  • 加入背景音乐及音效。

完工。

 

参考:

https://elevenlabs.io/
https://www.leiapix.com/
https://research.runwayml.com/gen2