从抠图到真人转绘-最近的一些经验总结
关于真人AI转绘,想要更加稳定的画面,良好的抠图越来越重要。
Up测试了网上很多批量抠图方法
这期讲一下测试的结果
(相关资料图)
1.首先我教程中isnet pro插件自带的抠图
这个抠图速度最快
但是抠图质量一般,只适用于人物和背景差距较大的视频。
比如已经做了景深处理的视频。
操作步骤就是填写如上信息,点击开始生成
很快就能看到生成的图像,但是很明显存在问题,如肢体缺失、背景抠不干净等。
这样的图片可以通过导入PS用橡皮擦等逐步修复,但是工作量较大。
(本次举例的为背景比较复杂的情况,如果素材足够合适,那使用isnet就够用了)
2. AE/PR的插件Goodbye greencreen
安装好之后直接拖到视频图层
设置为自动蒙版-通用
可以输出视频效果
如果你的视频有着固定不变的背景,并且你有这张背景的图片
可以设置为
背景模式,并关联背景图层,插件会根据算法将背景去除。
当然,如果你的视频背景过于复杂,这个抠图的结果也需要手动修复。
3. 一些收费软件。
本次测试了两款智能抠图软件。
可以说成本巨大。
不是广告,本人不推荐去购买这样的软件。
首先是改图鸭
可以说抠图效果比较好了
缺点是一次只能改30张图,我一批批的导入,500张图改了一个多小时才抠完。
第二个软件是嗨格式抠图大师
这个软件抠图效果次于改图鸭,但是没有一次性抠图限制。
虽然没有限制,也不能一次性提交太多,软件容易崩溃。
4. segment everything
作为一个语义分割插件,segment功能强大,可能是未来AI图像方面重点之一。
这里只说一下它的抠图功能。
在批处理中,选择处理模型,输入需要分离出来的tag,比如这里是官方案例写的 one standing girl with full body这个词条,形成了一个人体的蒙版,达到了抠图的效果。
这个插件本身我还在摸索中,如果测试效果好的话可能会单独出一个教程。
【制作流程】
1. 抠图,切片
在完成抠图之后,通过PR或者isnet pro插件切片,这个在教程BV1qT41187oT中有非常详细的操作方法,就不赘述了。
2. 参数调整
这次将大部分预处理器都测试了一遍
正面tag:
<lora:suzume_v10:0.65:1,1,1,1,1,0,0,0,1,1,1,1,1,1,1,0,0>,<lora:thickerLinesAnimeStyle_loraVersion:0.6:1,1,1,1,1,0,0,0,1,1,1,1,1,1,1,0,0>,smile,ponytail,cute,anime, simple background, 1girl, solo, skirt, school uniform, blue background, socks, black hair, full body, shirt, green skirt, black socks, ribbon, shoes, black footwear, braid, long hair, kneehighs, short sleeves, white shirt, standing, pleated skirt
负面tag:
(low quality, worst quality:1.4),(bad_prompt_version2:0.8), nsfw,nsfw, hair ornament,hair ribbon,(shadow:1.2),blue eyes,toys,doll,holding toys, short hair,
Tag也是在不断跑图中增加词语的。
以下是单开controlnet预处理器,并且全部是0.6的权重,完美像素模式绘画结果
前面没有标注的均为meinamixV9模型,并且挂了粗线稿lora和铃芽lora
①xcribbile_xdog
涂鸦-强化边缘
②candy-边缘检测
③inpaint-global-harmonious重绘-全局融合
④tile分块重采样-高清化
⑤softedge-hed 软边缘检测
⑥lineart-realistic 写实线稿提取
⑦lineart-anime动漫线稿提取
⑧lineart-anime动漫线稿提取+oldfish模型
⑨lineart-anime动漫线稿提取+AnythingV5模型
⑩lineart-anime动漫线稿提取+dark sushi模型
当然只看单帧效果是不够的,每个处理器都要跑几张看看连贯性。
最后选择的还是动漫线稿+meinamixV9
这个过程不是固定的,每个重绘角色不同,选择肯定不一样。
我的每个视频会放出单图参数,可以通过这个参考,但实际制作的时候需要自行测试调整。
3. 再次抠图
跑完图之后有时候会因为预处理器问题,再次出现不需要的部分,有时候是无法避免的,需要对这部分再次抠图,以保证画面的纯净。
完成以上工序后,就可以合并序列,生成新的视频了。
关于合并序列,修改背景,补帧,防闪烁等请参考BV1qT41187oT。
【总结】
AI动画是个不断探索的过程,up的每个视频制作流程都和上一个不同,每次都能有一些新发现,虽然不一定是有用的内容。
抠图是一个繁琐的工作,但它能大幅度稳定画面,这样可以使用单帧渲染,很大程度上降低算力要求。铃芽这个视频实际渲染时间不到3个小时,主要消耗在抠图和不断测试生成,修改tag上。
up希望能把效果好的AI动画门槛降低,而不是你问他他就告诉你上多帧渲染,上4090,测试了那么多结果都表明不需要太多的预处理器,低分辨率也能出好效果。如果没有硬件还可以用colab去免费用谷歌的gpu,教程也已经发了。
希望总结的经验能够为大家提供一些帮助,AI动画实在是太小众了,消耗大量的时间精力,播放量也寥寥无几,着实可惜。现在首页刷到一些关注我的人做的视频,我都会点进去看看,大家能做一些与众不同的东西,就感觉很欣慰了。
相关阅读
精彩推荐
- 从抠图到真人转绘-最近的一些经验总结
- 失智老人走失六小时,杨浦民警排查监控最终将老人找回 环球播报
- 当前视讯!下雪了!陕西最新发布:解除
- 2023年5月6日美元兑换加拿大币汇率_今日汇率查询 世界短讯
- 讯飞星火认知大模型重磅发布 行业专家共探金融科技新未来|每日头条
- 乘联会:初步统计4月新能源车市场零售52.9万辆 同比增长87%-环球最新
- 2023解放碑国际消费节有什么好玩的
- 【环球时快讯】翻译:斯娃vs萨巴:2023WTA1000马德里争冠赛:时间+奖金+积分+赛前心理战
- 北京地区专业技术人员资格考试开考在即,考前注意事项来了-天天热议
- 上海民办小学摇号中了可以放弃吗
- 齐鲁银行(601665.SH):预计年内息差保持平稳-环球热文
- 直降200元!13代酷睿i5-13600K盒装神U低至2399元
- RME MADI Router 12端口MADI数字跳线架和格式转换器
- 信阳市新县:“包”出乡村文明新风貌
- 当前速看:小红书开启新一轮虚假种草专项治理 首批已处置2086个涉嫌违规营销品牌
- 100位“观察员”上岗!青岛面向208万市场主体首设“深化作风能力优化营商环境”联络站 环球快播报
- 今日卢布兑换人民币汇率最新价格(2023年5月6日)|动态
- 世界快报:读速高达130MB/s!128GB三星存储卡只要58.8元
- 焦点简讯:少儿医疗险哪款性价比高?2023热门产品分享
- 巩固消费回暖好势头-今日播报
- 穿井得一人一词多义整理_穿井得一人一词多义
- 2024年3月12日出生的人是什么命运 夫妻和睦百业待兴
- 环球快报:新冠大流行迎来转折点,世卫“新决定”怎么看?——权威专家详解新冠疫情不再构成“国际关注的突发公共卫生事件”
- 聚焦千年古都洛阳 见证一脉相承的华夏文明
- 有求必应难逃担米养仇,蔚来拒绝“按闹分配”引车主不满
- 温峥嵘个人资料(温峥嵘个人资料及老公是谁)
- 中钢洛耐:5月5日融资买入195.66万元,融资融券余额6237.33万元
- 杭叉集团:5月5日融资买入347.33万元,融资融券余额6364.89万元
- 【天天速看料】应急响应的重要环节_应急响应过程包括以下哪些主要阶段
- 新茶饮迎“爆发式”复苏:销量增5倍,销售额破亿