本文介绍如何用Workbuddy和开源Skill零门槛生成AI手绘视频,覆盖文案生成、配音、字幕稿制作到视频合成全流程。适合自媒体创作者,使用MiniMax配音成本约每万字符3元,无需美术基础,约40分钟可完成一个2分钟手绘视频。
Tags:这是我的第 362 篇原创,一直致力于从实战维度去分享工具、Agent、技巧、资讯
大家好!我是唐舰长
曾经最喜欢的手绘视频,在心里也非常佩服一些人的美术功底,一边讲解、一边绘画
后来,我还曾学了些美术,希望有一天也能这样绘画出来,但就在最近,我发现有人可以把手绘视频这种技能做成 skill,让 AI 去实现绘图效果。
真的很震惊,但在自己实际上手体验时,发现还会有一些小门槛,今天就带大家零门槛搞定用 AI 创作手绘视频,包括配音、文案、爆款文案优化、视频合成几个板块分享。
先分享一下,在测试的时候做的 demo 视频:
01|skill 下载安装
这个 skill 是我偶然在观看公众号的时候发现的,也是一位很厉害的博主(江哥是老登啊)开发的,目前在 github 上有 2k 的收藏,相当不错
概念内容舰长不分享太多,这个 skill 是需要使用者提供一份:SRT 字幕稿
SRT 字幕稿,就是根据音频提取的,很多语音转文本、视频转文字这些功能,其实都会先提取一个SRT 字幕稿文件出来,文件有字幕+字幕出现时间,文件长这样:
安装到 Workbuddy 中也很简单,不需要你打开 github,懂 git,只需要在对话框中输入:
geeklee/srt-whiteboard-animation帮我搜索这个 Skill,帮我安装并告诉我有什么功能安装的速度也不会很慢。安装好之后,如果感兴趣,可以针对这个 skill 的功能做一些了解,因为 Workbuddy 会把功能介绍给你。安装好先别着急测试,可以继续往下看
02|生成文案和爆款文案优化
其实这种视频观众看的就是两种,一种是绘图的那种清晰感、简约感;另一种是文案质量,文案要能让观众第一时间不愿意走,想听,还要有铺垫。
做短视频的都清楚,前 3 秒非常重要,除了画面,就是文案内容。所以一篇好的文案字幕稿,才是能做好视频的关键,目前有很多优化开头文案和正片文案的方法,但我这里有一个特别推荐的 skill,做自媒体必备的
dbskill 这个 skill 实力比名气还大
安装提示词:
dontbesilent2025/dbskill帮我搜索这个 Skill,然后安装并告诉我有什么功能把这个 skill 安装好后,生成的文案就可以使用这个 skill 进行开头优化,文案整理。
03|音频生成
在上面我们提到最终需要输出一份 SRT 文档,而 SRT 是由音频转来的,同时视频播放时也需要音频在视频中;所以搞定音频也是一件很重要的事情
在之前很多做短视频账号的音频都是由剪映去配置的,而在这次分享的流程中,要保证自动化,要减少人工操作痕迹;所以音频只能用音频大模型去生成。
我选的是 minimax 的音频,声音效果好价格便宜,1 万字符才 3 块钱左右。只需要准备好一个 minimax 的账号、充值一定额度供使用,以及准备一个需要生成的音色 id。
Minimax 的账号(https://www.minimaxi.com/)
到 minimax 官网进行注册或者登入进来,然后点击右上角的头像可以来到它的后台控制台中
新用户最好需要实名认证一下,然后充值几块钱先体验着;同时继续在这个界面点「获取 API key」保留 API 密钥作为后续让 Workbuddy 配音使用。
接下来打开音色查询网站(https://www.minimaxi.com/audio)
操作顺序:音色库——全部音色——右边三点——复制 Voice ID(和 API 一样留作备用)
04|正式制作 SRT 白板视频
上面三个板块就是为了做内容的准备,下面就可以开始讲几个 skill 和流程串起来干活,先简单梳理一下:
发送要求生成文案并优化文案
↓
使用 minimax 生成音频
↓
音频转 SRT 文件
↓
使用 SRT 手绘视频 skill 干第一步:拆画面
↓
第二步:生成画面、人工确认画面
↓
第三步:用线框覆盖画面元素、人工调整覆盖框
↓
第四步:确认覆盖元素位置
↓
第五步:对每个画面做绘图视频渲染
↓
第六步:合并分镜头+音频接入+渲染最终视频
看似步骤很多,但是这些基本上都不用记,因为都是在一个对话里面去重复确认下一步,写出来是让大家更清晰的理解实现步骤
发送要求生成文案并优化文案
示例提示词,供参考
我需要做一个认知思维讲解的短视频,用手绘的风格展现出来,时长两分钟。我需要你帮我生成初稿和线稿画面推荐,然后在使用dbs这个 skill 帮我优化好这个文字稿。这个提示词也是我上面给大家展示视频的提示词。这种提示词的生成比较简单,没有太过复杂,只需要说清楚你想要让它生成的文案即可。它可以是这种认知思维的,也可以是金融知识,也可以是商业逻辑。最后呢,也能是一些热点新闻的讲解,这些看每个人的选择就可以了。如果您在测试时不知道使用什么,就可以使用我这个提示词进行生成。
使用 minimax 生成音频
因为在上面的板块中,我们已经获取到了 MiniMax 的 API key 和我们需要配音的音色 ID,我们只需要组成下面这个提示词的结构,给到 work buddy 进行音频的生成即可。
【上一步 AI 生成的文案】使用用:minimiax 官方 api生成音频api:你在 minimax 上获取的 API key声音id:你在 minimax 复制的声音音色基于我的克隆 id 和密钥,使用官方渠道生成音频。最好调整一下最后的音频输出速度。正常 1.0 速度的音频读出的声音会比较慢,而短视频我们要掌握一个稍快的节奏,所以可以以 1.3、1.4 或 1.5 的节奏去更改这个音频的速度。这个更改直接和 Workbuddy 对话就可以直接帮你改好。
音频转 SRT 文件
这一步直接输入文字就可以“生成 srt 字幕稿。”
使用 SRT 手绘视频 skill 干第一步:拆画面
这次的提示词分几个板块:
第一个板块是要求板块,也就是要让 AI 知道要使用哪一个 skill 完成最终的手绘视频生成。
第二个板块是手绘图画面建议,其实在第一步,就已经在提示词中提到需要一并生成画面的建议词,这个时候就可以将这个建议词拿过来,让这一步的 AI 进行参考。
基于这个字幕稿使用srt-whiteboard-animation这个 skill 完成最终视频的生成,手绘图可以参考下面的建议,多几个白板。按流程走,由我一一确定手绘图画面建议:"越是啥都不懂,越觉得啥都懂" 一个矮个子小人站在高台上叉腰自嗨,脚下是高台(暗示摇摇欲坠)科目二/游泳/理财书三个例子 三格漫画:方向盘、泳池边吹牛的人、K线图前指点的人"顶尖高手:我还差得远" 职业选手低头看棋盘/听诊器,头顶冒"我还差得远"气泡1999 实验数据 一张成绩单:左边分数最低却画着"自信满格",右边高分却画着"忐忑""认知缺口:看不见" 冰山图:水面上小尖角,水面下巨大的未知体积愚昧之巅 自信曲线画到山顶,小人插旗"我懂了!"绝望之谷 曲线跌入谷底,小人垂头丧气,头顶乌云开悟之坡 曲线爬坡,小人背着书一步一步往上走平稳高原 + 谦虚 高原上小人平静站立,头顶冒"我不懂"小气泡结尾"愚昧之巅?" 整条曲线回顾 + 山顶放大一个问号第二步:生成画面、人工确认画面
上一步提供了线稿画面的建议,之后在这一步会生成一些分镜图。每张图都展示了最终的画面效果,我们只需要确定这些画面符合要求,就可以让它继续下一步。
第三步:用线框覆盖画面元素、人工调整覆盖框
这一步是真的需要我们动鼠标去操作,在它运行的时候,会自动地打开你的浏览器,并且给你显示一个网页:
类似于上面这张图的网页内容,后续我们需要将生成的几个画面添加到这个页面里面来。先点击左上角的“打开本地文件夹”。
然后需要在你的电脑上面去找 workbuddy 的聊天记录存储文件夹,在这个文件夹当中去找对应的对话储存文件
寻找对话储存文件的方式就是:
1.如果你是在新建任务当中开启本次的视频生成任务的,就按照当天的时间去寻找文件并打开文件。
2.如果你有一个工作空间,比如舰长我是在“自媒体创作”这个空间里面干活的,那你就在这个文件夹中去打开。
然后路径就是「assets」→ 「whiteboard」→ 「具体文件进行选择」
最后打开的样子:而在画面中,有一些框,这些框就是会对后续出现画面的顺序进行定义。正如刚开下来的状态一样,它的框都不准确,有的是框中了全部,有的还没有放到框中,所以我们需要手动进行调整。
调整后效果:其实也很好调,可以拉框去调节框的宽度和长度,让它的每个元素都在框内;同时也可以去调整框出现的顺序,比如下面图中的示例:
最上面的人物是标的 2,下面的柱子是标的 1,最下面的底部是标的 3。在视频中,会先画柱子,再画最上面的人,最后再画底部,以这样的顺序在视频中出现
第四步:确认覆盖元素位置
在这一步,AI 会将我们上一步框选好、确定没问题的位置框,重新渲染成 PNG 图片,让我们进行二次确定。同时,画面上会带有一些箭头,告诉我们它会从什么时候开始绘画。
比如以中间柱子为例,中间会有一个往下的箭头,代表它的画面会从上往下开始画。(验收没问题就进行下一步)
第五步:对每个画面做绘图视频渲染
在上面我们也看到了,这一次的视频给我们生成了 7 个分镜。现在需要对每一个分镜进行单独的视频生成,比如一个片段十几秒钟。
这里是让我们检查每个分镜的视频渲染效果有没有问题:
如果没有问题,就可以进入最终的合并。
如果有问题,对单一的画面分镜进行修改也是比较方便的,因为它都已经进行了拆分。
第六步:合并分镜头+音频接入+渲染最终视频
最终输出视频效果,将分镜合并和音配添加。合并成一个完整的视频供用户查看
那以上几个步骤就是在运行生成整个视频需要经过的步骤,经过这几步,一个几分钟的视频就自动帮我们做好了。在做自媒体板块上,效率、效果、内容质量都有了提高。
赶快去试一试吧~
05|小 tips
很多朋友如果已经走到了这一步,出了完整的视频之后,会发现一个问题:视频中的笔上有一个字叫“江哥是老登啊”,没错,这个是作者本人的名称签署。当然,我们后续想要做成自己的视频,肯定要改成自己的署名。
更改起来呢,也比较简单,只需要向 workbuddy 提问:
视频中的笔,是“江哥是老登”可以改成“杰克船长的AIGC”吗?可能是 skill 中的关于“笔”的图片渲染的效果,你可以自己生成一张替代它或者在网络上搜索一张图片进行替换这样就可以把这个笔换成我们自己的。同时,需要确保 AI 更新一下 skill,因为这个 skill 后续是我们自己去使用。当然也要感谢作者的贡献,做出这么好的一个 skill 让我们使用。
06|写在最后
第一次看到这个 Skill 我挺意外——手绘视频这种要美术功底的活儿,居然能靠 AI 自动跑完
测下来流程是通的,成品比我预期的好:配音自然、画面流畅、字幕同步准,直接发抖音、B 站没问题
这个 Skill 的出现,让手绘视频的制作门槛大大降低。以前可能需要一个团队(文案 + 配音 + 美术 + 剪辑)才能完成的事,现在一个人 40 分钟就能搞定。
这就是 AI 时代的红利——掌握工具的人,会比不会用工具的人,效率高 10 倍。
如果你在操作过程中遇到问题,或者做出了不错的成品,欢迎在评论区分享
我是唐舰长,持续分享 AI 工具的实战玩法,记得点赞关注,我们下篇见。
没有评论:
发表评论