排名查询工具原理

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 3179 天前的主题，其中的信息可能已经有所发展或是发生改变。

电商公司有这样的需求：输入一个关键词，查询指定产品或卖家在产品搜索结果显示在第几页
功能类似于： http://www.taodaxiang.com/
请问这个原理是什么？要考虑到平台会屏蔽频繁访问而封锁 IP 的问题，如何做到？
请指教，或者业余时间能帮我把功能做出来，有偿，谢谢

4 条回复 • 2016-03-14 16:49:01 +08:00

Strikeactor

2016-03-14 16:27:05 +08:00

爬虫前边加个代理池

aliseree

2016-03-14 16:30:05 +08:00

@Strikeactor 如果做在 web 上，给访客使用的话，实现上会不会导致服务器负担很重，代理池成本多少？

mhycy

2016-03-14 16:33:20 +08:00

@aliseree
每次请求都依赖服务器发起，数据抽取也依赖服务器，负担的确很重
代理池成本需要看有多少个用户访问频率如何，速度要求如何不能一概而论

aliseree

2016-03-14 16:49:01 +08:00

@mhycy 供客户使用，每天至多大约 1 万次关键词查询，有朋友能做出来吗？
大约需要多少经费，有空的话留个联系方式或者联系我微信 598①81851