研究团队 | 作者
酥鱼 | 编辑
生成式人工智能发展大爆发之年，用AI创作自己喜欢的动漫肖像已不新鲜，但将其用于指导自由手绘却仍面临挑战，其主要的难点是：在用户自由绘画时，如何根据不太准确且不完整的抽象笔触，生成与之相匹配的提示图像。
图1. AniFaceDrawing动漫肖像辅助系统的一个绘画例子。
(从上至下，各行分别为草图+提示，生成提示原图、提示的随机着色图)
为了解决这个问题，研究人员开发了一种新颖的生成式人工智能辅助系统，并命名为AniFaceDrawing。它提供渐进式绘图辅助，帮助初学者从粗糙的自由草图勾勒中生成动漫肖像。该系统基于草图到图像（S2I）深度学习框架，可将原始草图与生成模型的潜在向量相匹配。
研究人员在 StyleGAN 的潜在结构代码中提出了一种新颖的 "笔画级解耦 "策略，即将自由手绘草图的输入笔画与结构相关属性联系起来。如图2所示，这种方法允许用户隐式地操纵属性参数，对生成图像的属性拥有更大的探索能力。研究人员基于StyleGAN编码器提出了一种无监督的笔画级解离训练策略，它能将具有稀疏笔画的粗糙草图与动漫肖像中的相应局部进行自动匹配，而这一过程中都不需要用户进行额外的语义标签输入。
具体而言，研究人员采用了两阶段训练策略：首先基于预训练的StyleGAN（一种能生成高质量图像的风格生成对抗网络）训练出图像编码器；再以图像编码器为基础，通过模拟生成图像的绘制过程，生成训练不完整草图逐渐趋向完整的草图序列，训练出能向目标图像收敛的草图编码器。
图2. "笔画级解耦 "与两阶段训练策略
为了进一步证实 AniFaceDrawing 在帮助用户创作动漫肖像方面的有效性和可用性，研究人员进行了一项用户研究。他们邀请 15 名研究生使用 AniFaceDrawing 系统自由绘制动漫风格的动漫肖像，并对该系统的用户满意度和指导匹配度进行了评估。研究表明，该系统能持续提供高质量的提示，这不仅能改善用户草图，还帮助用户创作出符合预期的相应彩色图像，有效地支持了动漫风格肖像的创作。
使用该生成式人工智能框架的用户，无论其技术水平和经验如何，都能创作出专业的动漫肖像，即使他最开始上传的是一张不完整的素描。这可以极大的降低初学者在动漫创作中的学习成本并提高创作效率。同时，利用不同的StyleGAN预训练模型，这个方法可以拓展到更多的艺术画风格中去，如水墨画、油画、素描画等。因此，从长远来看，该研究有助于实现人工智能技术的大众化，帮助用户完成创作任务，从而在没有技术障碍的情况下提高他们的创作能力。
研究团队
通讯作者 谢浩然，北陆先端科学技术大学院大学副教授。
第一作者 黄正宇，北陆先端科学技术大学院大学博士毕业生，香港科技大学（广州）博士后研究员。
论文信息
发布期刊 ACM SIGGRAPH 2023 Conference Proceedings
发布时间 2023年8月5日
文章标题 AniFaceDrawing: Anime Portrait Exploration during Your Sketching
（DOI:https://doi.org/10.1145/3588432.3591548）