第 6 章

采集前置:登录态与环境探测

为什么复用登录态,以及多店隔离的目录约定。

为什么要复用登录态

京东商智、京准通都要求登录,且带风控。两种做法:

做法优点缺点
账号密码登录可无人值守需要存密码,触发风控概率高
复用浏览器登录态不碰密码,与人工操作无异需要本机有一个已登录的浏览器

本系统采用第二种。cookie / storage 只在浏览器内存里,不写库、不落盘。

环境探测

下发任务前先跑一次探测,确认:

  1. 采集服务在线(本地控制台可访问)
  2. 浏览器扩展已连接
  3. 目标站点会话有效(打开商智首页不跳登录页)

探测不通过就不要下发批量任务,否则会拿到一堆空文件。

多店隔离

十几个店铺不要共用一个浏览器 Profile:

  • 每个店铺一个浏览器 Profile
  • 每个 Profile 各装一次扩展(扩展按 Profile 隔离,不共享)
  • 采集任务里带上店铺标识,落盘时按店铺分目录

采集目录约定

data/<店铺>/<采集源>/<日期>/<文件>.xlsx

按店铺分目录的好处是:一个店铺的登录态失效,不会污染其他店铺的归档。