请教一个问题，怎么提高 python 爬虫的爬取效率？

[BBrother]

写了个简单的协程爬虫爬取 B 站用户信息，代码如下：

import requests
import re
import json 
import datetime
import asyncio

def get_info(uid):
    url_info = "http://space.bilibili.com/ajax/member/GetInfo?mid=" #基本信息
    uid = str(uid)
    return loop.run_in_executor(None, requests.get, url_info+uid)

    
async def user_info(num):
    for uid in range(num, num+10):
        info = await get_info(uid)
        info = json.loads(info.text)["data"]
        try:
        # print(datetime.datetime.fromtimestamp(info['regtime']))
            print("ok", uid)
            print(info)
        except UnicodeEncodeError as e:
            print("UnicodeEncodeError:", e)
        except TypeError:
            print(info)
            
loop = asyncio.get_event_loop()
try:
    loop.run_until_complete(asyncio.wait([user_info(x) for x in range(1, 1000, 10)]))
except Exception as e:
    print("Error:", e)

爬取 1000 条需要 50 秒左右，而且带宽占用也只有 220Kbps 左右的样子，有没有什么办法提高爬取的速度？ B 站用户有 3800 万左右。

谢谢指教。

ps:1. 没机器做分布式 2. 我知道多进程，但我想问问协程能不能更有效率一点。

[lbp0200]

多个爬虫+队列（ redis ）

[chy373180]

协程与多进程并不冲突

[fatpa]

消息队列啊少年

[abxialiang]

使用大量的代理 ip

[yangtukun1412]

使用 requests.Session 复用连接应该能稍微快一点.

[kinghui]

使用异步非阻塞 I/O, 如 Tornado, Twisted 等框架

[BBrother]

@chy373180 我知道不冲突，但是我想知道协程能不能再快点，很直觉得觉得协程的效率没发挥出来。

[BBrother]

@fatpa 感觉没必要啊， B 站的 uid 是从 1 开始往上加的，直接切片就行了吧？

[BBrother]

@kinghui 我觉得现在的代码已经异步非阻塞了啊？

[razrlele]

看一下返回的 response status ，带宽没起来有可能是很多 request 直接被返回 403 了

[BBrother]

@abxialiang 呃，这个，有什么意义吗？

[spider82]

可以看看 stackless ，我觉得瓶颈应该不在协程那里，单设备不用代理爬早晚被 BAN 。

[knightdf]

我每次开 30 台机器爬，想要效率，只有一个途径，花钱

[BBrother]

@knightdf 残酷的现实

[Mark3K]

代码使用了 coroutine ，但仍然是单线程在跑，没有利用到多核的优势，如果不考虑对方的反爬而只考虑效率的提高的话 可以再加上多进程试试

[erevus]

多进程+协程 能用到多核

[BBrother]

哇啊，大家真热情，谢谢大家！拜谢！

[BBrother]

@razrlele 看了下， status_code 都是 200

[BBrother]

@spider82 嗯，看了下 stackless ，因为我要实现的功能比较简单，我觉得 python3.5.X 的 async/await 是够用的。现在只是试着跑跑啦，感觉差不多了就多进程+代理爬数据啦。

[kinghui]

@BBrother https://docs.python.org/3/library/asyncio-eventloop.html#executor

> Call a function in an Executor (pool of threads or pool of processes). By default, an event loop uses a thread pool executor (ThreadPoolExecutor).

[JhZ7z587cYROBgVQ]

为啥不用 aiohttp 要用 requests 呢？不会被阻塞住么？

[wmjie]

requests 会被阻塞，换成 aiohttp 试试；
https://github.com/aosabook/500lines/tree/master/crawler

[soulmine]

不挂代理池+搞分布式然后多线程 你跑到下个月也跑不完

[pncltp]

为什么要重新造轮子，用 scrapy 库呗。

[mutalisk]

requests+gevent

[hard2reg]

你好，我是 B 站的运维。我打算在后端加入反爬虫代码了！

[BBrother]

@hard2reg 不！住手！ 尔康.jpg

[Shliesce]

我是 B 站的研发，我要取消这个接口了。

[hard2reg]

@BBrother 笑尿

[BBrother]

@Shliesce 你不会真是 B 站的吧？接口真没了啊。