V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
awolfly9
V2EX  ›  Python

[开源] 使用爬虫代理框架 IPProxyTool 提取到的免费代理 IP 抓取 Unity3D 官方插件商店 AssetStore 共 34131 个插件信息

  •  
  •   awolfly9 · 2017-02-21 09:17:04 +08:00 · 2869 次点击
    这是一个创建于 2834 天前的主题,其中的信息可能已经有所发展或是发生改变。

    之前开源爬虫代理框架 IPProxyTool 收到很多 V 友的好评。但是也有一些疑惑,所以使用 IPProxyTool 抓取并验证后的代理 IP 抓取 unity 官方插件商店 [AssetStore] ( https://www.assetstore.unity3d.com/) 历时四个小时共抓取 AssetStore 商店 34131 个插件信息。而且没有被 AssetStore 反爬策略发现。验证了 IPProxyTool 工具提取到的代理 IP 的有效性。

    IPProxyTool github 地址: https://github.com/awolfly9/IPProxyTool
    抓取 Unity 官方插件商店 AssetStore github 地址: https://github.com/awolfly9/unity

    4 条回复    2017-02-21 23:44:10 +08:00
    nyanyh
        1
    nyanyh  
       2017-02-21 09:27:12 +08:00
    这段介绍文字有种毕业论文的感觉
    awolfly9
        2
    awolfly9  
    OP
       2017-02-21 09:31:21 +08:00
    @nyanyh 表示没有写过毕业论文
    voidtools
        3
    voidtools  
       2017-02-21 09:51:15 +08:00 via Android
    系编译好了的吗
    popoer
        4
    popoer  
       2017-02-21 23:44:10 +08:00
    不错啊,现在花钱买的感觉也不怎么样,试试楼主这个
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3612 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 34ms · UTC 11:08 · PVG 19:08 · LAX 03:08 · JFK 06:08
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.