规模扩大后,最不适合继续手工做的不是“内容创作”本身,而是逐页判断快照是否需要更新、逐条记录变更、逐次手工提交这类重复性动作。判断标准很简单:同一件事每周重复超过三次、判断规则能用一句话写清、出错后代价只是延迟而非不可逆,就应该转为规则化处理,手工只保留例外审核。
把手上一个页面的处理过程拆开看,通常会分成两类动作。第一类是判断动作,比如这个页面改动了正文主体还是只改了页脚时间,是否值得触发一次重新抓取。第二类是搬运动作,比如把改动页面记进表格、把地址贴进提交入口、把日志里的状态码抄到另一列。规模小的时候两者混在一起做没问题,页面到几百上千之后,搬运会吃掉大部分时间,判断反而被压缩。
适合保留手工的是判断动作,尤其是规则还没稳定、需要结合业务上下文才能决定的部分。适合交出去的是搬运动作,以及那些判断规则已经固定、只是逐页执行的环节。你可以先拿一个页面做实验:把它从“看一眼决定改不改”变成“先写一条判定条件,再看条件是否命中”,如果这条条件连续两周不需要修改,它就具备规则化的资格。
手工提交的问题不在于单次成本,而在于它和页面数量同比例增长。假设一个站点有 500 个页面,每月有 5% 发生实质改动,就是 25 次提交;规模到 5000 页时,同样的改动比例意味着 250 次。这组数字只是说明增长关系的假设,不是任何站点的实测值,但它能帮你估算:当每月需要手工处理的条目超过你能稳定复核的数量,漏掉和拖延就会先出现。
更关键的是,手工提交容易把“提交了”当成“完成了”。抓取、索引、快照呈现是不同环节,提交动作只影响被抓取的机会,不能保证后续环节按你的预期推进。因此手工提交只适合两类情况:一是改动极少、且每次改动都值得单独确认;二是规则尚未稳定,需要人工观察几次结果来校准条件。一旦规则稳定,继续手工做只会让记录变得不可靠。
两种做法都成立,但成立条件不同。
选择时可以问三个问题:判定条件能否写成“如果某字段变化,则标记为需要处理”;误判的代价是否可逆;谁负责每周抽查一批结果。三个问题都能给出明确答案,就适合走规则化路线;任何一个答不上来,先维持手工更稳妥。
以你手上一个产品页为例,按下面顺序处理:
这个流程的结果会直接影响下一步:如果抽查发现漏判集中在某一类字段,说明条件需要补充;如果发现大量误判,说明阈值太宽,应收紧而不是增加人工复核量。
不需要等到完全做不过来才切换。出现下面任一情况,就值得开始整理规则:同一类改动你已经连续多次用相同方式处理;记录表里开始出现重复条目或状态不明;你无法说清上个月哪些页面被处理过。这些信号说明问题已经从“工作量”变成“可追溯性”。
反过来,如果站点页面很少、每次改动都需要结合具体业务判断、且没有稳定的人负责维护规则,那么继续手工做并不是落后,而是当前规模下成本更低的选择。快照更新机制的价值在于让处理过程可预期,而不是让所有动作都自动化。