Tencent Advertising Algorithm Records

学习资料整理：AI wiki:llm4rec

本仓库收录 TAAC 2026（腾讯广告算法大赛 / KDD Cup 2026 UNI-REC）的开源方案与baseline，用于赛后复盘，

Task: 点击后转化率（pCVR）预估，官方基线为多序列 HyFormer / PCVRHyFormer（RankMixer 非序列 Tokenizer + 多序列 Query 生成 + HyFormer 主干），评测指标为 AUC。

TAAC26 参赛笔记

• fid 62-66 的 sparse/dense 配对建模，同一 fid 的整数 id 与稠密值一一对应，配对进 tokenizer 而非各走分支
• 绝对时间特征，从样本及各序列域时间戳派生 hour/dayofweek，按 UTC+8 对齐并注入用户与序列 token
• 辅以用户活跃度 dense（synthetic fid 900-915，序列长度与 1/3/5 天行为计数经 log1p 压缩）与 NS token 的 SE 门控 + 自注意力
• 训练侧 bf16 训练 + float32 推理保证数值一致，配合 EMA、每轮 checkpoint 与训练-推理配置校验。
• 负收益实验：dense cross token、target-aware attention、head cross net、item dense 多为掉分（多因梯度方向与已有改动重合/100M 小数据 + seed 未固定带来的千分位波动...

开源方案学习

• 由于实现方案不同，别人的 idea，在自己这里并不一定 work，最重要的还是保持自己的节奏
• 看到各种方案，应该思考他为什么这么做，而不是盲目搬运

在 PCVRHyFormer 基线上做「时间 + 交叉 + 目标读取」的系统增强：DenseGroupProjector 按语义把 dense 特征拆成多个 NS token；TimeContextEncoder + SeqTimeFiLM 用全局时间上下文调制序列 token；DualQueryTargetTimeGenerator 对每个序列域生成长期兴趣 query 与目标时间 query（残差增量式），配合 TargetTimeDINReader 做候选感知的 DIN 读取。优化上引入 DCN-v2 式 NS token 低秩交叉、非序列 residual 回融，以及高基数特征 HashEmbedding fallback（超阈值不置零而是哈希保留信息）。

同样以多序列 HyFormer 为主干，严格维持总 token 数为 16（非序列 8 + 序列 8）逐项替换涨分：新增 hour/day/weekend 时间 token、重设更契合数据分布的时间桶、对高基数特征做 hash 分桶建表（50w）、对配对字段 {62-66}/{89-91} 做 dense 加权池化生成 paired token、DIN 生成融合兴趣 token，并把序列编码器换成 HSTU 式 semi-local 因果掩码（局部窗口 128 + 全局 32）。

在多序列 HyFormer 上补齐输入结构、时间建模、特征交互与目标兴趣读取，AUC 0.8127→0.8311。核心是 两层门控 Deep Feature Interaction（可学习乘法项 + 小初始化门控，单项 +0.0093，为最大增益）；辅以 CIR 目标兴趣残差（通用 query 与商品条件 query 之差）、Aligned Pair Tokenizer（ID/value 对齐 scale-shift 编码）、58 维时间统计 + Fourier 连续时间编码，以及 DIN item-to-history 注意力 与 CIR 并行残差融合。

基于 nhdz 开源 v9 框架的精炼增强，三项主收益（各约 +0.003~0.004）：时间编码替换（样本级绝对时间周期编码注入 NS token + session/cross-day bucket + temporal attention bias，并关闭冗余日历/gap 特征）；field-aware tokenizer 取代 rankmixer 切分以保字段语义完整；容量扩展（user NS token 3→11、d_model 64→128、query 2→4）。序列侧加 semi-local 因果掩码作稳定性增强。

在官方 PCVRHyFormer 基线上从数据/架构/训练/监控四维系统优化（0.810845→0.830834）。数据侧用 OOT 时间划分 + 全量训练 对齐测试分布；架构侧加 dense-int 加权融合、per-head 可学习时间衰减偏置（Temporal Bias） 与 SLA 局部+全局前缀注意力；训练侧 BF16 混合精度、降 lr、每轮存 checkpoint，并补充 PR-AUC/COPC/梯度范数等监控以稳训。

按真实上分顺序逐步提交的演进式方案（线上 0.8126→0.83077）。关键步骤：per-domain recency/length dense 特征（zero-init gate 融合）、字段 62-66 的 tuple token、序列 calendar token、时间调制 DIN 池化、short/mid/long 多尺度 query、显式当前时间 token，并在一次大重构中整合 focal loss、user-dense BatchNorm、dense-only EMA 与更强 query dropout；还试验了 token 级 sparse MoE（top-2/8），最终消融关闭 MoE

单模型（无集成） 方案：语义 Tokenization 的 RankMixer 主干（无参 token mixing + per-token pSwiGLU FFN，H=T）为深流，与 Wide&Deep 浅流经 group-wise bilinear 融合（FinalMLP 式，零初始化残差）；行为序列用 target-attention（长域再做 dual-window DIN）池化，配对字段用 log1p 加权池化。训练用 Muon（权重）+ AdamW（norm/bias）+ Adagrad（稀疏表） 分组优化 + 常数 lr，叠加 SWA + SAM 求平坦极小值。关键增益：weighted pair pooling(+7.5‰) 与 SWA(+3.3‰)，并靠 24 个 per-field token 打破 scaling 饱和。

主干沿用官方多序列 HyFormer。有效改动：amp+compile（小数据下轻微涨分）、user/seq 多粒度时间特征、seq-seq pair 时间差、token 重分布（512→422 给 item 补 token）、序列截断统计 token（raw/overflow length 等 5 维）、时间桶边界重设计、DIN-like item-to-sequence 注意力、dense 特征重分组、dense-only EMA(0.999) 与 label smoothing