Skip to content
deepghsPublic

About

No description, website, or topics provided.

Resources

Stars

3 stars

Watchers

0 watching

Forks

Latest commit

 

History

110 Commits

Folders and files

Repository files navigation

CxIP: 动漫角色 / 画风特征 (CCIP & CSIP)

CxIP 训练两类图像特征模型,backbone 都是 CAFormer-B36 (anime_dino 初始化),用 SigLIP 对比损失训练:

模型 作用 HF
CCIP (Contrastive Character Image Pretraining) 判断两张图是不是同一个角色 dghstmp/AnimeCCIP
CSIP (Contrastive Style Image Pretraining) 判断两张图是不是同一个画师/画风 dghstmp/AnimeCSIP (v1)、AnimeCSIP-v2、AnimeCSIP-v2.1

CSIP 的三个版本:

  • v1:各 stage 特征的 (mean, std) 拼接 → MLP → style embedding。
  • v2:在 head 前加 LayerNorm,并用 Content Eraser 去掉内容信息:style embedding 经梯度反转层 (GRL) 预测冻结 tagger 的标签概率。
  • v2.1:再加 Character Eraser 去掉角色信息 (经 GRL 拟合冻结 CCIP 的输出分布),并增加一个按角色分组的数据集 (CharBucket),让同一 batch 里出现"同角色、不同画师"的样本。

2025-09 后的服务器代码曾丢失,2026-10 从 Cursor 缓存、Lark 文档和 HF 仓库恢复,并在 H200 上复现,CCIP 和 CSIP v2.1 已恢复。 恢复过程见 docs/RECOVERY.md,完整的探索路线 (2024 年至今试过的方案、参数和结论) 见 docs/EXPLORATION.md。

安装

pip install -r requirements.txt

另需安装 RainbowNekoEngine (提供 neko_train / neko_run 等命令)。所有命令都在仓库根目录下运行。

目录结构

model/          模型: CAFormer 骨干 (caformer.py)、v2/v2.1 训练模型 (csip_debias.py)、冻结的 tagger/CCIP (content.py)、GRL
data/           数据源 (source.py)、按角色分组的 CharBucket (char_bucket.py)、content eraser 使用的标签表 (content_tags/)
loss/           SigLIP、KL 损失;2024 年路线的 InfoNCE、MLCE、三元组 style loss
evaluate/       训练中的指标;content / character bias 探针 (content_bias.py、char_bias.py)
actions/        推理 workflow 动作 (保存特征等)
cfgs/
  launcher/     accelerate 启动配置 (multi 8 卡、launcher_4gpu、launcher_1gpu 等)
  py/train/contrastive/   训练配置: ccip_wds.py (CCIP)、csip2_1.py (CSIP v2.1)、csip*.py (v1 及 2024 年的各条路线)
  py/infer/     提取特征 (ccip_save.py、csip_save.py)
  py/eval/      引擎内评测
export/         导出为 HF 格式: trans_ccip.py、trans_csip.py,模板 ccip/、csip/,以及 HF 上各版本的原版文件 (*_model/)
scripts/
  data/         数据处理: 画师划分 (split_labels.py)、zerochan 整理、webdataset 过滤等
  tagger/       content bias 用的 tagger 概率和标签选择 (content_tags.py、img2prob.py、tag_map.py、csip_sub.py)
  char_labels/  CSIP v2.1 的角色伪标签: CCIP 特征 UMAP+HDBSCAN 聚类 (ccip_cls.py) → train_char_labels.json
  eval/         特征级评测: 聚类 NMI/ARI、zero-shot、OOD 阈值、雷达图 (eval_ccip*.py、eval_csip*.py)
  infer/        CSIP v1 推理示例
experiments/    H200 上的复现实验: 配置、运行脚本、统一评测和全部结果,见 experiments/README.md
docs/           探索路线、恢复记录、评测可视化说明

训练

CCIP

HF AnimeCCIP 用的是 zerochan 角色数据 (zerochan-character-w640-ws-m50-full,5031 个角色) 和下面这份配置:

neko_train --cfg cfgs/py/train/contrastive/ccip_wds.py

cfgs/py/train/contrastive/ccip.py 是同一模型在 ccip_v1 (3982 个角色) 上训练的版本;用它训练时 zerochan 测试集明显偏低 (见 experiments/README.md)。

CSIP v2.1

  1. 角色伪标签:用 CCIP 给训练集提特征,再聚类成角色伪标签。
    neko_run --cfg cfgs/py/infer/ccip_save.py test_img_root=<训练集图片> out_dir_name=<特征目录>
    python scripts/char_labels/ccip_cls.py --feat-dir <特征目录> --output-dir <输出目录>
    python scripts/char_labels/clusters_to_char_labels.py --clusters <ccip_clusters_*.json> --style-label-file <train_split.json>
  2. 内容标签 (可选,仓库已带生成好的 data/content_tags/caformer_b36.dbv4-full.csv):python scripts/tagger/content_tags.py。
  3. 训练:v2.1 是在 v2 的基础上微调 1 epoch。可复现的完整配置和一键脚本 (训练 → 导出 → 评测):
    neko_train --launch_cfg cfgs/launcher/launcher_1gpu.yaml --cfg experiments/csip_v2.1/final/fix_csip_0918_g003_full.py
    bash experiments/csip_v2.1/final/run_fix_full.sh      # 或者直接跑整个流程
    配置中的数据路径是 H200 上的路径,换机器时需要修改。关键设置:content/char eraser 单独一个参数组 (lr 1e-3,无 weight decay),GRL alpha 0.03,char teacher 输出 detach;原因见 experiments/README.md 的"debias 实现对比与修正"。 cfgs/py/train/contrastive/csip2_1.py 是恢复出的原始配置 (后半部分为原文),超参数待填。

单卡调试可用 neko_train_1gpu --cfg ...。

cfgs/py/train/contrastive/ 下还保留了 2024 年各条路线的配置 (csip_old.py、csip_info_nce*.py、csip_cat.py、csip_cross.py、csip_style_loss.py、caip/cwip_info_nce.py),已改成当前 RainbowNekoEngine 的写法,超参数、数据增强、数据集与原版一致,路线说明见 docs/EXPLORATION.md。原来在引擎里的 InfoNCE / MLCE / style loss 移到了 loss/。数据路径是当时服务器上的路径;CAFormerBackbone 是现在的版本 (CLIP 式 AttentionPool2d),2024 年后期用的是 AvgAttnPooling2d,所以结果不一定能完全复现。

导出为 HF 格式

cd export
python trans_csip.py --ckpt <训练 ckpt.safetensors> --out <输出目录>
python trans_ccip.py --ckpt <训练 ckpt.safetensors> --out <输出目录>

导出结果用 HF 上的原版代码,可通过 AutoModel.from_pretrained(..., trust_remote_code=True) 加载。导出时会丢掉 eraser、冻结的 tagger/CCIP 等训练期模块。

评测

脚本 内容
experiments/common/pair_eval.py 测试集内全部图片两两配对:PR-AUC (HF 卡片指标)、ROC-AUC、best F1、zero-shot top-1;直接读 HF 格式模型
experiments/common/bias_eval.py content bias I_c 和 character bias I_char (探针相对高斯噪声基线的 loss 下降比例,越低越好)
experiments/common/summarize.py 把多个结果 json 汇总成 markdown 表
scripts/eval/ 基于已提取特征的评测:聚类 NMI/ARI、zero-shot N 类 A 个 anchor、OOD 阈值扫描、雷达图
python experiments/common/pair_eval.py --model dghstmp/AnimeCSIP-v2.1 --data csip_eval_public=folder:<csip_eval 目录> --out result.json

复现结果

CSIP v2.1 (从 HF v2 微调 1 epoch,experiments/csip_v2.1/final/):

test100 PR-AUC csip_eval_public PR-AUC content bias I_c char bias I_char
HF v2 0.7919 0.8414 0.127 0.060
HF v2.1 0.7445 0.8723 0.091 0.036
复现 0.7451 0.8785 0.086 0.024

test100 是按指纹精确恢复的原始测试画师划分;bias 为本仓库重建的指标,绝对值与 HF 卡片不同,版本间的相对关系一致。 CCIP、debias 超参搜索、训练提速等全部记录见 experiments/README.md。

文档

About

No description, website, or topics provided.

Resources

Stars

3 stars

Watchers

0 watching

Forks

Releases

Packages

Used by

Contributors

Languages