V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  okface  ›  全部回复第 3 页 / 共 8 页
回复总数  154
1  2  3  4  5  6  7  8  
@locoz 人说的跨平台指的是控制 mac 吧
2019-12-30 14:50:39 +08:00
回复了 okface 创建的主题 macOS mac10.14.6 有点小问题
感谢以上三位,对你们都点了感谢 ( V 站感谢有提醒吗?
2019-12-12 16:40:57 +08:00
回复了 MOONLIGHTT 创建的主题 程序员 Python 中的正则表达式
请问大佬说的完全不用 re 来完成指的是什么方法完成,我也在做类似的事情。
2019-11-25 17:00:08 +08:00
回复了 okface 创建的主题 HTTP 浏览器上不去网,微信却可以?
2019-11-20 14:18:35 +08:00
回复了 okface 创建的主题 Python windows 环境部署,请问最好的方案是?
@opengps 好的 我试试
2019-06-03 09:48:39 +08:00
回复了 pythonee 创建的主题 问与答 有人买过猫王收音机吗?谈谈使用体验
擦,我还真用过,前女友送的。。我就用来听 fm
2019-04-17 20:09:49 +08:00
回复了 okface 创建的主题 酷工作 医疗 AI 独角兽招聘爬虫专家
@leoliu168 beijing~
2019-04-08 11:24:06 +08:00
回复了 okface 创建的主题 酷工作 [社/校招] 计算机辅助药物设计研究员/专家
@yangzhaofeng 当然招~这里有很多中科大校友哦,欢迎来简历!
2019-03-29 17:40:05 +08:00
回复了 qweaszxcdf 创建的主题 优惠信息 沃尔玛 翻新 SE 32GB $69.99
@binux 大多数爬虫种子都是几个入口站点嘛但是我这情况是百万千万级别的搜索词提交给翻译接口,所以才会有这个需求~
2019-03-29 17:38:44 +08:00
回复了 qweaszxcdf 创建的主题 优惠信息 沃尔玛 翻新 SE 32GB $69.99
@binux 嗷。。那分布式的 pyspider 读取种子任务是不是最好从分布式机器都能访问的数据库里读啊,然后 scheduler 会自动去重。
2019-03-29 10:51:58 +08:00
回复了 qweaszxcdf 创建的主题 优惠信息 沃尔玛 翻新 SE 32GB $69.99
@binux 嗨老哥,再问一个 pyspider 的问题哈~我在不同机器上搭建了分布式(只启动了 fetcher 和 processor 组件),然后在 webui 的机器上启动了 project,这个 project 的 on_start 是通过按行读取本服务器的一个文件获取任务的。问题在于可能会概率性报错说找不到该文件( no such file )。我推测出现这种报错只能解释为分布式的机器不是简单的 fetcher 而是也参与了 on_start 方法?
2019-03-27 13:05:38 +08:00
回复了 Biwood 创建的主题 算法 自己想到的一个算法题
@binux 老哥,问个 pyspider 的问题哈,project 过多的时候加载任务是有上限的吗,为什么 on_start 方法里一个 150 万行的文件就读了 30 万行进去
2019-03-01 11:45:21 +08:00
回复了 Gr4zy 创建的主题 问与答 m3u8 格式视频下载 请教一下各位
@binux 测试成功啦,(访问 httpbin 发现返回的是两个服务器的 IP 地址)
特别感谢。
2019-03-01 11:02:26 +08:00
回复了 Gr4zy 创建的主题 问与答 m3u8 格式视频下载 请教一下各位
@binux 那请问如何验证 slave 的机器确实在抓 master 的任务呢~,slave 的 processor 的日志确实监听到了队列,master 的任务会收到返回一个字段说哪个任务是 slave 抓取的嘛。什么情况下才会触发 slave 呢,高并发?
2019-03-01 11:00:06 +08:00
回复了 Gr4zy 创建的主题 问与答 m3u8 格式视频下载 请教一下各位
@binux 那请问如何验证 slave
2019-03-01 10:53:07 +08:00
回复了 Gr4zy 创建的主题 问与答 m3u8 格式视频下载 请教一下各位
@binux 老哥,问一句 pyspider 的分布式部署的问题,是否是在内网主机上搭建同样的 pyspider 环境然后 slave 监听 master 的任务队列就可以? slave 只启动 fetcher 和 processor 就行。谢谢🙏
2019-02-14 10:41:34 +08:00
回复了 Cheez 创建的主题 问与答 现在的股市行情还能维持多久?
@binux 老哥,问句 pyspider 的问题,默认的登录地址 localhost:5000 能改成 localhost:5000/index/ 这种形式吗?
1  2  3  4  5  6  7  8  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2851 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 31ms · UTC 14:11 · PVG 22:11 · LAX 06:11 · JFK 09:11
Developed with CodeLauncher
♥ Do have faith in what you're doing.