业务用了十几台腾讯云节点(便宜)爬数据,汇总到阿里云的中心服务器(用久了迁移麻烦),之间通过简易对称加密+HTTP (无 TLS )传输(爬一条传一条,每个节点都是几千并发地上报)(屎山代码,之前写爬虫的人离职了,没人愿意动)
最近调高上报线程数量后发现爬得更慢了,iftop 显示节点的 5Mbps 上行带宽中 7.1Mbps (没写错)(腾讯云面板看总实际上传速率是 5.8Mbps ),被中心服务器占满了,但中心服务器上用 iftop 看从这些节点的下行速度只有不到 30Kbps ,研究了很久也分析不出来多出来的带宽被用到了哪里?我知道阿里和腾讯云间会互相丢包,但也不至于丢 99%的包吧。
(非互联网企业,代码都是能用就行,完全没有什么架构之类的东西)
-------------------结帖 我看错了,中心服务器的下行带宽也是 7Mbps ,我把上行当成下行了----------------------