-
蜘蛛能抓到，不等于用户能看到：对照一次就清楚了
蜘蛛抓到的和用户看到的可能完全不同：登录墙、地域限制、AB 测试、App 拦截都会造成断层。用蜘蛛视角抓一次，再用无痕浏览器走一遍，才能发现差异。
-
别只看 UA 判断蜘蛛真假，抓一次比猜十次准
UA 是最容易伪造的请求头，curl -A 一行就能冒充 Baiduspider。验真要看 IP 段和正反向 DNS；模拟抓取只能验证这个 UA 能拿到什么，不能证明身份。
-
Java 怎么格式化 JSON：Jackson 实用写法
Java 格式化 JSON 常用 Jackson：readTree 读取，writerWithDefaultPrettyPrinter 输出。生产日志注意脱敏，别把响应体打进去。
-
本地没有 IPv6，能用 IPv6 网站测速吗
可以。IPv6 网站测速的请求由平台节点发起，不依赖本机网络环境，本机没有 IPv6 也能测。它测的是各地节点到目标的链路，和本地 ping、curl 的视角完全不同。
-
如何确认域名支持 IPv6：看 AAAA 还是直接测
确认域名支持 IPv6 有两个办法：用 DNS 查询看有没有 AAAA 记录，或直接对域名做 IPv6 TCPing。记录只证明解析配了，握手成功才说明链路真的通。
-
日志里蜘蛛很多，收录却没涨：抓取量不等于收录量
蜘蛛抓取量涨，不代表收录涨。先算三个比例：有效内容页占比、2xx 占比、被抓页面中已索引的比例。参数页和重复页会吃掉大部分抓取配额。
-
IPv6 Ping 需要本机有公网 IPv6 吗
不需要。IPv6 Ping 的探测由平台节点发起，不依赖本机网络环境。它测的是各地节点到目标的链路质量，和本地 ping6 的视角不同，本机没有 IPv6 也能正常使用。
-
移动端和 PC 端抓取结果不同，正常吗
实测新浪：桌面 Baiduspider 拿到 402KB 的 www 页面，移动 UA 连续 3 次跳转到 sina.cn，142KB、标题变成「手机新浪网」。移动抓取必须单独测。
-
接口返回 JSON 字符串，为什么要再解析一次
HTTP 传输的本来就是文本，所谓“返回对象”只是客户端库自动解析的结果。如果接口把 JSON 序列化了两次，就会拿到一个字符串，需要 parse 两次才能取到字段。
-
为什么 IPv6 TCPing 比 IPv4 略慢
IPv6 TCPing 略慢与握手路径、出口和回程路由有关，跨境或绕行时差异更明显。稳定地慢几十毫秒属于正常，忽快忽慢才说明链路有问题。