来问个初级问题, 对于批量网页抓取,怎么实现好点儿 - V2EX

首页注册登录

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 3477 天前的主题，其中的信息可能已经有所发展或是发生改变。

ShowDetail.aspx?querywrid=xxxx 这种格式

批量抓取

另外登陆该怎么解决哦?

2 条回复

1

imlinhanchao

2015-05-18 11:39:42 +08:00

1. id連續就從1開始知道抓到錯誤頁。
2. 登錄就模擬登錄請求保存cookies就好了。

2

Flyshit

2015-05-18 16:05:28 +08:00 via Android

循环get/post就可以了嘛。需要登陆的话就post登陆后记录cookies，设置cookies然后get/post嘛

关于 · 帮助文档 · 博客 · API · FAQ · 实用小工具 · 2516 人在线 最高记录 6679 ·

Select Language

创意工作者们的社区

World is powered by solitude

VERSION: 3.9.8.5 · 20ms · UTC 15:41 · PVG 23:41 · LAX 07:41 · JFK 10:41
Developed with CodeLauncher
♥ Do have faith in what you're doing.