Skip to content

Tags: tmwgsicp/ForgeRSS

Tags

v1.5.1

Toggle v1.5.1's commit message
v1.5.1 — douyin 图文笔记 (/note/) 支持

抖音博主主页除视频帖外,自动识别图文笔记并抽取:
- 全部画廊图片(URL marker tplv-dy-aweme-images 精准过滤 + hash 去重)
- 文案 desc 与发布时间 createTime(解析 RSC 流嵌入 JSON)
- 标题取自详情页 <title>

可选 DOUYIN_DOWNLOAD_IMAGES=true 落盘原图(不需 ffmpeg)

平台内部能力增强,无破坏性改动。

v1.5.0

Toggle v1.5.0's commit message
v1.5.0 — add 雪球 (Xueqiu) user RSS

新增 finance/xueqiu 平台(无需登录,CI 可跑):
- DrissionPage headless 模式过 Aliyun WAF
- 自适应长文/回复两种帖型
- 嵌套引用长文卡片不递归

其它:
- docs/ 加入 .gitignore(内部研究文档)
- README 多账号支持注释统一

v1.4.2

Toggle v1.4.2's commit message
v1.4.2: 新增抖音/快手/微博/小宇宙 + CI 修复

新平台:
- 抖音用户视频(登录态 + CDP 视频/音频抓取 + ffmpeg 合流)
- 快手用户视频(登录态 + CDP 单文件 mp4 抓取)
- 微博用户动态(4 类帖子:纯文本/图文/纯图/视频)
- 小宇宙播客订阅(无需登录无需浏览器,纯 HTTP)

CI 修复:
- youtube/tiktok 未配置环境变量时跳过而非失败
- xiaoyuzhou 加入 CI 默认订阅

v1.4.1

Toggle v1.4.1's commit message
v1.4.1 — Linux CI hotfix

Fix import-time crash in generators/social/zsxq/scraper.py on hosts without
the Windows-only LOCALAPPDATA env var. The unguarded Path(None) raised
TypeError, breaking scripts/run_all.py on Ubuntu CI runners.

EDGE_USER_DATA is now constructed only when LOCALAPPDATA is set, and the
system-Edge fallback branch checks the sentinel before using it. Windows
users with ZSXQ_USE_SYSTEM_EDGE=true are unaffected.

v1.4.0

Toggle v1.4.0's commit message
v1.4.0

New platforms (社交媒体 + 公司公告):
  - B 站 UP 主视频抓取(含 cookie 注入、可选下载)
  - 小红书用户笔记(接受纯 user_id 或带 xsec_token 的完整 URL)
  - 知识星球话题(含 PDF/音频/图片附件下载,<群名>_<群ID>/<话题>_<topicID>/ 归档)
  - 巨潮资讯网公司公告(三种订阅模式:关键词 / 分类 / 全市场最新,CI 可跑)

Login state system (全平台统一):
  - 三层检测:URL 重定向标记 → not_logged_in HTML 标记 → logged_in 关键词
  - config/login_keywords.json 配置化,无需改代码
  - tools/test_login_check.py 端到端测试 + 自动杀 stale Chrome 进程
  - tools/diagnose_login.py 协作诊断(DOM 关键词命中报告)
  - Profile 复用零配置,杀进程后重启即识别为登录态

Refactor:
  - 社交平台按目录组织(zhihu/bilibili/xiaohongshu/zsxq/base 等)
  - scripts/registry.py 18 个 generator 统一注册表
  - BaseFeedGenerator: FEED_NAME 校验、SQLite WAL+busy_timeout、--max 真实生效

Fixes:
  - B 站 selector 更新 (.upload-video-card),视频标题正确解析
  - ZSXQ selector 更新 (<app-topic>),附件下载链路完整
  - 巨潮 ATTACHMENTS_DIR 从 cwd 相对路径改为基于项目根的绝对路径
  - 清理 mojibake(登录态关键词保留正确中文)

Open-source posture:
  - CI 默认关闭 cninfo PDF 下载(避免浪费带宽)
  - 删除 desktop-only feed 的死快照(CI 永远更新不到)
  - 微信视频号独立到 weixin_standalone/(不进 commit)

v1.3.0

Toggle v1.3.0's commit message
Major improvements to AI coding docs crawling - 316 articles total

- Fix Qwen Code: 10 -> 95 articles
- Fix Claude Code: 10 -> 95 articles
- Fix Cursor: improved coverage and removed duplicates (50 articles)
- Add streaming RSS generation for memory efficiency
- Add document categorization and sorting
- Clean up redundant scripts
- Weekly update schedule for documentation feeds

v1.2.0

Toggle v1.2.0's commit message
v1.2.0 - AI Documentation Feeds & Streaming RSS

Major Features:
- AI coding tools documentation (OpenAI Codex, Claude Code, Cursor, Qwen Code)
- Memory-efficient streaming RSS generation
- Separate workflows: news (6hr) vs docs (weekly)
- Force English language for documentation

Improvements:
- Increase doc limits to 300 pages
- Better link discovery for JS-rendered pages
- Document categorization and sorting
- Language filtering (exclude non-English)

Total: 231+ documentation articles

v1.1.3

Toggle v1.1.3's commit message
Release v1.1.3 - Fix Docker badge and trigger new build

v1.1.2

Toggle v1.1.2's commit message
Fix: align RSS format with wechatrss style

v1.1.1

Toggle v1.1.1's commit message
Fix: correct date extraction for IDSociety using JS rendering