首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
V2EX 提问指南
广告
V2EX
›
问与答
问一个数据处理的技巧,定时采集一个页面上的链接,怎么比对、记录第二次采集发生的新增、减少?
qinrui
·
2019-03-27 18:46:51 +08:00
via iPhone · 1029 次点击
这是一个创建于 2004 天前的主题,其中的信息可能已经有所发展或是发生改变。
采集信息包括链接及标题,其中链接有可能增加、减少以及减少之后又恢复,应该怎么进行比对和记录呢?
比对
采集
链接
减少
2 条回复
•
2019-03-27 19:50:02 +08:00
1
x1596357
2019-03-27 19:11:08 +08:00 via iPhone
一堆 diff 算法,找找吧
2
C1tas
2019-03-27 19:50:02 +08:00 via Android
定向采集可以提前所有需要的链接拼接后算 hash 第二次如果 hash 相同就终止
关于
·
帮助文档
·
博客
·
API
·
FAQ
·
实用小工具
·
2543 人在线
最高记录 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 26ms ·
UTC 05:22
·
PVG 13:22
·
LAX 22:22
·
JFK 01:22
Developed with
CodeLauncher
♥ Do have faith in what you're doing.