IEEE Xplore 论文批量下载工具

English

从 DBLP 抓取论文元数据，经 IEEE Xplore 批量下载 PDF；以 TPAMI 为完整示例，通用引擎支持任意 IEEE 文献。适用于有机构订阅权限的研究者，用于本地文献归档与检索。

本文档以 TPAMI（IEEE Transactions on Pattern Analysis and Machine Intelligence）为完整示例；其余 IEEE 期刊、会议论文（如 ICRA、ICCV、CVPR、TIP、TRO 等）下载流程相同——元数据来源可能不同，但 PDF 下载均走同一套 xplore_download.py 引擎。

免责声明：本工具仅提供技术实现，不绕过付费墙。下载 PDF 需要您本人拥有合法的 IEEE 机构访问权限。请遵守 IEEE 使用条款与所在机构的版权政策，合理控制请求频率。

任意 IEEE 文献的通用流程：

  [元数据来源]  →  CSV / 自建列表  →  TSV（item_key, title, doi）  →  xplore_download.py  →  PDF

TPAMI 完整示例（本仓库已内置）：

  DBLP API  →  tpami_fetch_and_tsv.py  →  TSV  →  tpami_run_download.py  →  papers/tpami/{year}/

其余 IEEE 文献怎么做？

1. 从 DBLP、OpenAlex、Crossref、会议官网、Semantic Scholar 等获取论文列表，整理出 DOI（格式通常为 10.1109/...）
2. 转为标准 TSV（见下文「TSV 格式」）
3. 调用 xplore_download.py 批量下载——与 TPAMI 使用完全相同的 Cookie 和下载引擎

常见示例：

IEEE/
├── README.md / README.en.md  # 中文 / 英文说明
├── requirements.txt          # Python 依赖
├── .gitignore
├── config/
│   └── ieee_cookies.example.txt   # Cookie 导出说明（示例，不含真实凭证）
├── scripts/
│   ├── ieee_common.py        # 通用工具（TSV、JSONL 状态、PDF 校验）
│   ├── xplore_download.py      # IEEE Xplore 通用 PDF 下载（所有 IEEE 文献）
│   ├── tpami_*.py            # TPAMI 专用：元数据抓取与批量下载（示例实现）
├── work/                     # 运行时产物（CSV、TSV、日志、状态，已 gitignore）
└── papers/                   # PDF 输出目录（已 gitignore）
    ├── tpami/{year}/         # TPAMI 示例默认输出
    └── {venue}/              # 其余 IEEE 文献可自定目录

cd IEEE
python -m venv .venv

# Windows
.venv\Scripts\activate

# macOS / Linux
source .venv/bin/activate

pip install -r requirements.txt
playwright install chromium

1. 在浏览器中通过机构 VPN 或校园网登录 IEEE Xplore
2. 使用浏览器扩展导出 Netscape 格式 Cookie（推荐：Get cookies.txt LOCALLY）
3. 将导出文件保存为 config/ieee_cookies.txt

config/ieee_cookies.txt 已在 .gitignore 中，切勿提交到公开仓库。

可参考 config/ieee_cookies.example.txt 中的说明。

以下以 TPAMI 2024 年为例，将年份替换即可。其余 IEEE 期刊若要从 DBLP 抓元数据，可参考 tpami_fetch_metadata_dblp.py 修改 DBLP 查询路径。

python scripts/tpami_fetch_and_tsv.py --year 2024

产出文件（位于 work/）：

• tpami2024.csv — 论文元数据
• tpami2024_papers.tsv — 下载列表（三列：item_key、title、doi）
• tpami2024_metadata_report.md — 抓取报告
• tpami2024_metadata_audit.md — 与 DBLP 的对账报告

若部分条目缺少 DOI，可运行：

python scripts/tpami_enrich_doi.py --year 2024 --mailto your-email@example.com
python scripts/tpami_csv_to_tsv.py --year 2024

python scripts/tpami_run_download.py --year 2024

PDF 默认保存至 papers/tpami/2024/，文件名形如 10.1109_TPAMI.2024.xxxxxx.pdf。

单轮下载（适合调试）：

python scripts/tpami_download_pdfs.py --year 2024 --resume --limit 5

• 终端实时输出成功 / 失败状态
• work/tpami2024_download_state.jsonl — 每篇论文的下载记录
• work/tpami2024_download.log — 可将终端输出重定向到此文件

核心只需一步：准备好 TSV，调用通用下载器。Cookie 配置与 TPAMI 完全相同。

从任意来源整理 DOI，保存为 work/my_papers.tsv（制表符分隔，见「TSV 格式」）：

item_key	title	doi
10.1109_ICRA.2023.10160690	Some Robotics Paper	10.1109/ICRA.2023.10160690
10.1109_TIP.2020.2983456	Some Image Processing Paper	10.1109/TIP.2020.2983456

可用 Python、Excel、DBLP 导出等方式生成；item_key 一般将 DOI 的 / 替换为 _。

python scripts/xplore_download.py \
  --tsv work/my_papers.tsv \
  --out-dir papers/icra2023 \
  --engine playwright \
  --resume \
  --delay 6

若遇 IEEE 限流，可循环执行直到下完（等效于 TPAMI 的 tpami_run_download.py）：

# Windows PowerShell 示例
while ($true) {
  python scripts/xplore_download.py --tsv work/my_papers.tsv --out-dir papers/icra2023 --resume --delay 6
  if ($LASTEXITCODE -eq 0) { break }
  Start-Sleep -Seconds 1200
}

# macOS / Linux 示例
until python scripts/xplore_download.py --tsv work/my_papers.tsv --out-dir papers/icra2023 --resume --delay 6; do
  sleep 1200
done

IEEE Xplore 对高频请求会返回 HTTP 420 / 临时不可用等错误。本工具内置：

• 连续失败 3 次后自动冷却 20 分钟（tpami_download_pdfs.py 支持 --cooldown-seconds；通用下载可配合上文 shell 循环）
• TPAMI：tpami_run_download.py 多轮调用直到完成或达到 --max-rounds（默认 100）
• 所有 IEEE 文献：建议 --delay 设为 6 秒以上，避免触发限流

所有 IEEE 文献（含 TPAMI、会议、其他期刊）共用同一 TSV 格式，制表符分隔三列：

item_key	title	doi
10.1109_TPAMI.2024.1234567	Some Paper Title	10.1109/TPAMI.2024.1234567
10.1109_ICRA.2023.10160690	Another Paper	10.1109/ICRA.2023.10160690

• item_key：用作 PDF 文件名（通常将 DOI 中的 / 替换为 _）
• title：论文标题（仅用于日志）
• doi：不含 https://doi.org/ 前缀的 DOI 字符串（IEEE 论文一般为 10.1109/...）

TPAMI 的 TSV 由 tpami_csv_to_tsv.py 自动生成；其他文献需自行准备或编写转换脚本。

本仓库不包含任何个人凭证或机构 Cookie。 当前项目目录可安全开源，具体核查如下：

上传前请自行确认：

# 确认没有 Cookie 被跟踪
git status

# 确认 work/、papers/、config/ 下无敏感文件
# config/ 下应仅有 ieee_cookies.example.txt
ls work/ papers/ config/

Q: 提示 Cookie file not found

将浏览器导出的 Cookie 保存为 config/ieee_cookies.txt。

Q: 大量 HTTP 420 或 temporarily unavailable

IEEE 限流。增大 --delay，等待冷却后重试，或换时段运行 tpami_run_download.py。

Q: 下载的文件不是 PDF（HTML 页面）

通常是 Cookie 过期或 bot 检测。重新导出 Cookie，确保使用 --engine playwright。

Q: 如何下载 ICRA / CVPR / 其他 IEEE 会议论文？

与 TPAMI 相同：整理 DOI 列表 → 生成 TSV → xplore_download.py。元数据请从 DBLP 会议页、OpenReview 或官方 proceedings 获取，本仓库的 tpami_*.py 脚本仅覆盖 TPAMI。

Q: DBLP 条目数与 IEEE 官网不一致（TPAMI）

TPAMI 的 DBLP volume 按日历年映射（volume = year − 1978），部分 early-access 论文的 DOI 年份可能早于发表年，属正常现象。

本项目采用 MIT 许可证。

• 元数据来源：DBLP
• DOI 补全：Crossref
• PDF 来源：IEEE Xplore（需机构订阅）