python 爬虫有 scrapy 框架， java 或者 scala 写的爬虫有什么框架？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 3542 天前的主题，其中的信息可能已经有所发展或是发生改变。

其实还有一方面，想知道java爬虫相对于Python爬虫有什么优势吗，Python的爬虫那么容易入门，开发那么方便。。。
（我发到这个版是因为觉得java版关注爬虫的应该没有这个版多）

第 1 条附言 · 2015-03-16 10:28:11 +08:00

http://www.open-open.com/68.htm
我找到了这么个列表，有熟悉这里面的爬虫框架的讲一讲好不

爬虫

Python

框架

10 条回复 • 2015-04-19 00:29:32 +08:00

xiaocsl

2015-03-16 02:58:48 +08:00

http://jsoup.org/
HTML解析器
从它开始的我第一个java爬虫

xxer

2015-03-16 09:05:04 +08:00

我感觉你弄颠倒了，爬虫最厉害的还是java

FeiMa

2015-03-16 09:13:29 +08:00

Nutch 这个是 Java 的。多了解一下。

zhfish

2015-03-16 10:58:47 +08:00

jsoup超帅

xuyankang

2015-03-16 12:18:06 +08:00

WebMagic是我实习公司的一位同事做的，用起来还不错。

shoumu

2015-03-16 12:20:59 +08:00

Top 50 open source web crawlers for data mining
http://www.bigdata-madesimple.com/top-50-open-source-web-crawlers-for-data-mining/

ZOwl

2015-03-16 15:05:35 +08:00

看规模吧，大规模的话就要考虑语言的运行时效率等因素了，这个时候开发效率不一定有那么重要

hadesqiao

2015-03-16 15:15:48 +08:00

mark

doushini

2015-03-16 23:10:31 +08:00 via Android

httpclient+htmlparser

professorz

2015-04-19 00:29:32 +08:00

@xuyankang 一个月前我看到你的回答没重视到，今天偶然Google进了这个webmagic的项目页面，看了一天没停下来，觉得将近浪费了一个月5555.
如果可以的话，转告你同事他做的太棒了。
顺道感谢Google，感谢github。