# 1. 获取 index.json 发现新批次
curl -s https://.../index.json | jq '.files[-1]'

# 2. 只下载新批次
curl -O https://.../data/processed/iocs-20260605.json

# 3. 校验完整性
sha256sum iocs-20260605.json | jq -r '.files[-1].sha256'  # 对比

git diff HEAD~1 -- RELEASES.md

# 列出所有版本
git tag -l 'v*'

# 查看某个版本的索引
git show v1.3.0-20260605:index.json | jq '.files'

# 查看某个版本的全部批次
git show v1.3.0-20260605:data/processed/iocs.json | wc -l
git show v1.3.0-20260605:data/processed/iocs-20260605.json | wc -l

# 新 CSV 不含老数据，直接处理
bash run_pipeline.sh "IOC情报协作_IOC_IOC-4.01.csv" "v1.2.0-20260401" "新增 4 月 IOC"

# 新 CSV 包含老数据，按日期过滤（从 2026-03-25 开始提取）
bash run_pipeline.sh "新文件.csv" --from "2026/03/25" -v "v1.2.0-20260401" -m "新增 4 月 IOC"

# 日期过滤（从指定日期开始提取）
python src/ioc_filter_date.py "新文件.csv" "2026/03/25"

# 解析合并去重（写入独立批次文件）
# ... 解析逻辑将新 IOC 写入 data/processed/iocs-YYYYMMDD.json ...

# 清洗备注
python src/ioc_clean.py data/processed/iocs-YYYYMMDD.json

# 校验数据质量
python src/ioc_validate.py data/processed/iocs-YYYYMMDD.json

# 发布前检查（自动校验 index.json 一致性、敏感词、git 状态）
python src/ioc_preflight.py --batch-file iocs-YYYYMMDD.json

# 生成发布报告
python src/ioc_publish.py --version v1.3.0-20260605 --message "新增 IOC" --batch-file iocs-YYYYMMDD.json

# 检测域名
python src/ioc_checker.py --domain evil.com

# 检测 IP
python src/ioc_checker.py --ip 1.2.3.4

# 检测文件 hash
python src/ioc_checker.py --hash abc123...

# 检测文件本身
python src/ioc_checker.py --file suspicious.exe

# 自动运行全部检查
python src/ioc_preflight.py --batch-file iocs-YYYYMMDD.json

# 检查项:
#   ✅ index.json SHA256 一致性
#   ✅ 批次文件格式一致性
#   ✅ 敏感词扫描（IOC 备注 + 公开文件）
#   ✅ git staged 状态（是否含不该提交的文件）
#   ✅ JSON 格式合法性

# 1. 获取索引文件，了解有哪些批次
curl -s https://raw.githubusercontent.com/caidongyun/iocs/master/index.json | jq '.'

# 2. 下载指定批次（首次建议全量下载所有批次）
curl -O https://raw.githubusercontent.com/caidongyun/iocs/master/data/processed/iocs.json
curl -O https://raw.githubusercontent.com/caidongyun/iocs/master/data/processed/iocs-20260605.json

# 3. 校验文件完整性（对比 index.json 中的 sha256）
sha256sum data/processed/iocs.json
sha256sum data/processed/iocs-20260605.json
# 输出应与 index.json 中对应条目的 sha256 一致

# 定期检查 index.json 是否有新批次
OLD_COUNT=$(cat index.json | jq '.total_count')
curl -s https://raw.githubusercontent.com/caidongyun/iocs/master/index.json > index_new.json
NEW_COUNT=$(cat index_new.json | jq '.total_count')

if [ "$NEW_COUNT" -gt "$OLD_COUNT" ]; then
    echo "有新 IOC，数量从 $OLD_COUNT 增加到 $NEW_COUNT"
    # 获取新批次文件列表
    jq -r '.files[].filename' index_new.json
    # 下载最新批次
    curl -O https://raw.githubusercontent.com/caidongyun/iocs/master/data/processed/iocs-20260605.json
fi