伟的国际1946bv师生论文被智能系统领域期刊 ESWA录用

伟的国际1946bv师生论文被智能系统领域期刊 ESWA录用

近日，伟的国际1946bv软件体验与人机交互重点实验室以及创新与智能设计中心（I⟡DC）团队的论文《TileNet: A multi-module network for tiled clothes generation from human body based on TPS and image inpainting》被人工智能与智能系统领域的国际权威期刊——Expert Systems With Applications（ESWA）录用（SCI 一区期刊）。以下是论文简介：

论文标题：TileNet: A multi-module network for tiled clothes generation from human

body based on TPS and image inpainting

作者：张翼龙，李众，魏苏州，李家豪，张子博，邢树松，张海宁，王斌辉*

作者单位：伟德源自英国1946

论文链接：https://doi.org/10.1016/j.eswa.2025.129283

摘要

平铺服装图像生成任务旨在根据给定的人体图像生成服装的平铺状态图像。以往方法生成的图像往往模糊且纹理细节不足，这主要是由于穿在人身上的衣物与训练所用的真实标签图像之间存在配准误差。为了解决这一问题，我们提出了一种名为 TileNet 的任务驱动型协同多模块平铺服装生成模型。

该模型包含三个模块：服装形变模块：将人体上的衣物通过薄板样条（Thin-Plate Spline, TPS）变换到接近平铺的状态；形状掩码生成模块：去除大部分无关信息并约束服装的整体形状；图像修复模块：识别可直接保留的区域与空缺区域，对空缺部分进行填充。通过上述处理，模型能够生成在视觉上更加平整、居中且纹理保真的服装图像。实验结果（包括定性与定量评估）表明，TileNet 生成的图像质量显著优于以往方法，在纹理保留方面尤其突出。

背景与挑战

随着深度学习与图像生成技术的快速发展，从人物图像中生成标准化平铺服装图像的任务逐渐成为计算机视觉领域的新兴研究方向。这一任务的目标是将穿在人身上的服装图像转换为在视觉上居中、平整、无遮挡的平铺图像。这样的技术不仅具有重要的学术研究价值，也在电商、虚拟试衣、服装检索与库存管理等领域具有广泛的应用前景。对于学术研究而言，标准平铺服装图像能够与人物穿着图像构成高质量的数据对，为服装识别、风格迁移及人体解析等任务提供丰富而准确的样本，显著提升深度学习模型的训练效果与泛化能力。

然而，实现高质量平铺图像生成面临着多重挑战。首先，人物穿着的服装与标准平铺图像在空间形态上存在显著差异，尤其是衣物的弯曲、褶皱和遮挡，使得直接通过生成网络学习映射关系极易出现错位和模糊。其次，传统方法往往依赖于全局重建损失，这种简单的像素级度量忽略了服装区域与背景之间的不对齐问题，从而导致生成结果纹理模糊、边界不清。第三，现有方法普遍缺乏对服装结构的显式建模，无法有效分离衣物与人体、遮挡或背景区域，造成生成结果中服装形状不准确或纹理缺失。

图1 平铺衣物生成工作

研究方法

为了解决人物图像与标准平铺服装图像之间的配准偏差与纹理损失问题，本文提出了一种任务驱动的协同多模块网络——TileNet。该模型通过“形变—掩码—修复”三阶段协同处理的方式，从人物图像中自动生成高质量的平铺服装图像。整体结构包括三个核心模块：服装形变模块、形状掩码生成模块和图像修复模块，三者依次作用，既能保证结构对齐，又能最大程度保留原始纹理信息。

图2 模型架构

首先，服装形变模块（Clothes Deformation Module）负责将人体上衣物的空间形态调整为接近平铺的状态。该模块通过关键点检测网络预测服装在原图中的关键点与目标平铺状态下的关键点位置，并使用薄板样条变换进行非刚性形变。TPS 能够在保持局部平滑的同时灵活地建立源与目标点之间的映射，从而将衣物的褶皱、弯曲等自然形变拉伸展开，使图像中的衣物区域趋于平整、居中。

其次，形状掩码生成模块（Shape Mask Generation Module）用于消除背景、身体、头发及其他无关部分的干扰。该模块基于改进的 U-Net 结构，通过学习服装边界特征生成精确的二值形状掩码，从而只保留衣物主体区域。该掩码不仅帮助网络专注于服装的几何形态，还为后续的图像修复提供了约束范围，使得模型能够针对性地填补空缺区域。

最后，图像修复模块（Inpainting Module）用于恢复形变过程中产生的空白或破损区域。该模块首先由子网络生成修复掩码，标识出需填补的区域，再利用微调的 LaMa 图像修复模型对这些区域进行纹理重建。与传统全图修复方法不同，TileNet 的修复模块仅作用于“形变后缺失”的部分，从而在保留原有有效纹理的同时避免整体模糊。通过这种局部修复方式，生成的服装图像在纹理一致性与细节清晰度方面均得到显著提升。

实验分析与讨论

为了验证 TileNet 的有效性，我们进行了系统的定性与定量实验。实验将 TileNet 与多种主流基线方法进行对比，包括 NTED、TileGAN等生成网络。

定性实验对比发现，传统方法往往在衣物边缘出现模糊或拉伸失真，部分还存在纹理断裂或背景残留的问题。而 TileNet 能够生成更加平整、居中、无遮挡的服装图像，纹理细节完整且保持了原衣物的颜色与质感特征。

图3 定性实验结果

定量实验结果显示，TileNet 在各个指标上均优于其他对比方法。

表 1 定量实验结果

总结

本文提出了一种名为 TileNet 的任务驱动型协同多模块网络，用于从人物图像中生成高质量的平铺服装图像。与以往直接利用整体生成损失进行训练的方法不同，TileNet 通过服装形变、形状掩码生成与图像修复三阶段协同优化生成过程。实验结果表明，该模型能够有效缓解传统方法中由于人物姿态与标签图像错位而导致的模糊问题，显著提升了生成图像的清晰度与纹理保真度。