本文分享用豆包Seed2.1pro与Blender复原清明上河图3D场景的完整教程,涵盖建模准备、dream-loop迭代、人物建筑河道微调、交互网页制作及白模运镜玩法。适合对AI建模、3D复原和古画数字化感兴趣的读者,附提示词与操作步骤。
Tags:用 AI 复原《清明上河图》,可行吗?
这是我用豆包 2.1+Blender 3D 复原的《清明上河图》部分场景:
微缩场景做得非常精致,点击场景中的标注点,可以进行互动,查看古画相关知识点。
人物也有自己的动线,仿佛真的在其中生活。
开启了漫游模式,还能扮演居民身临其境地逛汴京城。
很多朋友最近看了 Astra 的 3D 建模案例手痒得不行,但钱包又不支持爽玩,怎么办?
实测下来,我发现用升级过的豆包也能做出相当不错的效果。
下面我就手把手教大家用豆包 Seed-2.1-pro 做这种古画的 3D 复原。
豆包 2.1 模型链接:
https://ark.volcengine.com/region:cn-beijing/model/detail?_vtm_=a441938.b75322.0_0.0_0.0.174_7680087491668166163&name=doubao-seed-2-1-pro
一、建模前准备
豆包 2.1 最近升级到了Seed-2.1-pro-0915版本,3D 物体的识别和理解能力提升明显,Computer Use 也更强了。
在建模之前,我们需要先进行一系列准备工作,给豆包作参考。
第一步,我们要确认豆包已经连上了 Blender MCP。
打开豆包工作任务模式,给它这样一条提示词。
请连接 Blender MCP,如果本机没有,请下载安装。链接:https://github.com/ahujasid/blender-mcp
豆包 2.1 给到这样的回复,就是安装成功了。
第二步,将古画转化为 3D 立体图片,方便豆包 2.1 建模时做参照。
给到你需要复原的古画截图,让它生成 4 张 CG 参考。
尽量多做几张,因为生图有时还原的细节有偏差。
我选择了一张白天的图片来做复原。
二、建模
然后,你就可以直接给到参考图,让豆包 2.1 建模了。
初版建模可能 10-15 分钟就跑完了,但是效果会比较粗糙。
因为我们只是简单粗暴地丢了一张图让它自己发挥,豆包只知道在哪里要建什么东西,并不知道每个元素该用什么材质,细节上的比例该如何把控。
所以,后续还需要不断迭代调整。
比较方便的是,豆包工作每做一轮调整,都会反馈调整截图在视窗,不用你打开 Blender 就能看到渲染结果。
这时候需要用到一个 GitHub 上的开源项目 dream-loop,它是一套"做梦循环"机制。
先让 AI 生成一张理想的目标效果图,再照着目标在 Blender 里搭建。
然后由一个独立的批评家 Agent 对比实际效果和目标图,给出修改意见,如此循环迭代直到效果满意。
提示词:
你打开这个项目 https://github.com/achimala/dream-loop 深度解析,然后优化你现在的模型
豆包 2.1 就会根据项目的要求进行多轮迭代,直到达到一个让你满意的效果。
比如,它会自主生成模型纹理,不再用代码里的函数直接画屋顶。
一轮修改后,屋顶变成了这样:
屋顶贴图是豆包 2.1 在阅读项目要求后,自主规划生成的。
每一轮迭代,豆包 2.1 都会反馈给我们优化的细节。
这里有一个小提示,大家不要一轮迭代所有的问题,这样豆包会忙不过来。
建议是豆包整理问题,请求你确认的时候,你选择分轮迭代,或者主动提示它一轮只做某部分的迭代。
这样迭代的效率会大大提高。
经历过 dream-loop 迭代两小时后的效果如下。
物理上没有问题,微缩场景也有了基本的阴影和质感。
到这里,建模的大型就算完成了。
但是还是有很多细节问题,比如人物分布太均匀,缺少疏密的节奏。
河道内没有水波,整体看起来比较假。
这些细节需要我们在微调环节,进一步和豆包沟通。
三、微调
首先我们要调整的是人物和建筑的疏密关系,让它们层次地分布在沙盘中央。
仔细观察古画后我们会发现,现在模型太假,就是因为排列太均匀,比较死板。
建筑优化提示词:
如果需要更精细的效果,还可以详细写出建筑的区分。比如像我这样写。
请在沙盘空地补充以下建筑,建模简洁,但保留关键造型:
沿街商铺:单层窄开间,木门板、柜台,门前设布棚。
双层酒楼:二层木栏阳台,坡瓦屋顶,悬挂酒旗。
临河茶肆:朝向河道,开放式廊棚,摆放桌凳。
民居院落:高低不同的瓦房围合小院,配院墙和门楼。
整体采用灰蓝瓦、暖木色和米白墙,颜色略有深浅变化。
人物优化提示词:
豆包优化后的结果。
它也给到了人物的统计表,这样你就可以知道哪个位置需要增加人物,哪个位置需要减少人物。
比起刚才那一版,这一版人物更少,下饺子的感觉消失了。
建筑的错落感出来了以后,画面更有生活气息。
然后,我们可以开始解决河道缺少质感的问题 。
尝试把河道加宽加深,岸线变得不平整,并加上波纹和反光。
河道优化提示词:
优化结果如下:
效果我还是很满意的,豆包还是 Get 到了我的意思。
基本到这里,整体布局的微调已经结束。
但我们还可以继续抠细节,比如说我决定把画中这个虹桥再做得真实一些,增加斗拱和榫卯结构细节,让它更还原历史上的样子。
提示词:
请参考北宋张择端《清明上河图》中的贯木拱虹桥进行建模:以交错搭接的木梁构成无河中桥墩的拱形结构,突出桥下清晰可见的木构支撑。桥面宽阔、中部隆起、两端接岸,两侧设置木栏杆。
豆包会自主查阅史料,去优化桥梁结构。
当然,如果你能给到参考图,它会还原得更加精准。
优化后:
四、交互
如果只是一个简单的 3D 沙盘场景,到现在已经完成了。
但现在我希望可以把它做成一个可以自由探索的 3D 交互网站,让玩家能够在场景中自由漫游。
我需要人物动起来,可以自主行走。
这样就更像一个游戏,而不是一个僵硬的沙盘模型。
功能还是比较好实现的,只需要给到这样的提示词:
让场景中的居民沿街巷、河岸和桥面自主行走,速度和停留时间各不相同。
然后,我还想放上几个符合时代的小人,点击后可以弹出详细介绍。
参考北宋《清明上河图》,补充几个典型北宋人物,有自己的职业。我后续要做成知识点
豆包从史料里选择了 5 个人物,放进了场景里。
这些资料的来源我们也可以在代码里清楚地看到,是源自故宫藏品网站。
完成后,它也给到了人物截图:
最后把所有功能点和模型一起合并进网站,就大功告成了!
网站交互提示词:
将现有模型制作成可交互的《清明上河图》网页,支持拖拽旋转、缩放和一键回到全景,可切换虹桥、沿河街市等视角。并提供第三人称跟随居民漫游,支持切换人物、暂停和退出。点击典型职业人物或建筑知识点,可查看详细介绍及史料来源,知识点标记可显示或隐藏。
这里值得注意的是,迁移进网站时,要以 Blender 中确认好的打光效果为准。
不要让它自行重新打光,额外添加阴影。
由于网页与 Blender 的渲染方式不同,最好让它对照原始渲染图去操作,避免模型导入后整个发白。
五、白模邪修玩法
前面这个 Case ,大家已经感受到了豆包 2.1 的强大之处。
一张参考图加上几轮迭代,就能把场景推到这个完成度,实属惊喜。
最近还有一种玩法比较火爆,用 blender 建模 + seedance 2.5,可以完美控制视频生成的人物动作,实现精准的运镜和角色动画控制。
也有很多人用 Astra 尝试了,这次,我来用豆包试一试。
我选取的是电影《杀死比尔》经典的青叶屋片段,这里的调度非常复杂,相机运动也很频繁。
直接用 Seedance 2.5 + 分镜图复刻,根本无法还原。
豆包建模复刻:
效果真的很丝滑,整个长镜头没有断档。
相机从脚底视角移动到俯视,再进入不同空间,变成仰视,然后到平视,一气呵成。
想要实现这个效果,操作也很简单。
给豆包以下提示词,和你要模仿的视频片段。
它就会自主抽帧,进行原视频分析和读取。先理解原视频的分镜,再开始构建视频发生的空间。
一切都确认完毕后,开始写 Blender 工程。
不需要你打开 Blender 录制视频,它会自己操纵相机复刻镜头运动和动线。
如果发现它给的视频动线有误,直接这样给它反馈。
比如我发现这个镜头的拍摄方向错误,我用自然语言提示它修改就可以。
体验下来,这个玩法还是能大大降低视频创作者的抽卡概率的。
一个简单的视频参考,就能复刻原片的整套运镜。
不用魔法,直接打开豆包就能操纵 Blender ,能省多少钱不用我说了吧....
六、国模太快了
海外模型每放一个大招,国产模型跟进的窗口期也越来越短。
之前,国外做 AI 编程 IDE,Cursor 火了。
字节的 Trae 紧跟上线,阿里也推出了 Qoder,腾讯做了 CodeBuddy。
现在是国产 AI 编程工具多如牛毛,而且非常便宜。
去年的 Deep Research 也是,OpenAI 刚发完没多久,智谱的 AutoGLM 沉思版就补上了,免费不限量。
今年 6 到 8 月,智谱 GLM-5.2、月之暗面 Kimi K3、阿里 Qwen3.8-Max、DeepSeek-V4-Flash、字节 Seedance 2.5 五款国产旗舰模型接连发布,这个节奏在两年前不可想象。
这次,Astra 大幅加强了 3D 理解能力,国模没几天也跟上了。
国模进步也很快嘛~
大家可以去豆包客户端体验这个模型:
https://www.doubao.com/download/desktop
也可以直接接入火山引擎 API:
https://ark.volcengine.com/region:cn-beijing/model/detail?_vtm_=a441938.b75322.0_0.0_0.0.174_7680087491668166163&name=doubao-seed-2-1-pro
没有评论:
发表评论