yuwei162 最近的时间轴更新 yuwei162 最近的时间轴更新 |
yuwei162V2EX 第 137719 号会员，加入于 2015-09-10 15:58:14 +08:00 |
yuwei162 最近回复了
2015-09-12 16:37:38 +08:00 回复了 binux 创建的主题 › 分享创造 › 再次分享 pyspider 爬虫框架 |
@binux 是啊！一语道破天机，谢谢。
对了，我最近一直都在迷惑：
第一：如果不通过 ui ，是否可以直接运行脚本提交任务?
第二：如果部署多个 processor 的话，如果我像上面执行一个任务的话，是不能提前预选 processor 吧。
感觉我提的两个问题是一个，还请帮忙解答下，谢谢。
对了，我最近一直都在迷惑：
第一：如果不通过 ui ，是否可以直接运行脚本提交任务?
第二：如果部署多个 processor 的话，如果我像上面执行一个任务的话，是不能提前预选 processor 吧。
感觉我提的两个问题是一个，还请帮忙解答下，谢谢。
2015-09-10 20:40:09 +08:00 回复了 binux 创建的主题 › 分享创造 › 再次分享 pyspider 爬虫框架 |
@binux 你好，最近使用 pyspider ，碰到一个问题：
debug 模式下存在的文件，在 running 的时候提示文件不存在。
代码示例如下：
file = "/home/pyspider/myseeds"
file2 = "/home/pyspider/next"
@every (minutes=24 * 60 )
def on_start (self ):
print os.getcwd ()
print os.path.dirname (self.file )
print "file: exist=%s" % os.path.exists (self.file.strip ())
print os.path.abspath (self.file )
#open (self.file2, 'w') #通过该模式写文件，在 runing 中可以被识别出来
print "file2: exist=%s" % os.path.exists (self.file2 )
print os.path.abspath (self.file2 )
debug 模式下输出为：
/home/pyspider
/home/pyspider
file: exist=True
/home//pyspider/myseeds
file2: exist=True
/home/pyspider/next
running 的时候输出为：
/home/pyspider
/home/pyspider
file: exist=False
/home/pyspider/myseeds
file2: exist=True
/home/pyspider/next
不知道问题是否说明白了，还望帮忙看一下，谢谢。
debug 模式下存在的文件，在 running 的时候提示文件不存在。
代码示例如下：
file = "/home/pyspider/myseeds"
file2 = "/home/pyspider/next"
@every (minutes=24 * 60 )
def on_start (self ):
print os.getcwd ()
print os.path.dirname (self.file )
print "file: exist=%s" % os.path.exists (self.file.strip ())
print os.path.abspath (self.file )
#open (self.file2, 'w') #通过该模式写文件，在 runing 中可以被识别出来
print "file2: exist=%s" % os.path.exists (self.file2 )
print os.path.abspath (self.file2 )
debug 模式下输出为：
/home/pyspider
/home/pyspider
file: exist=True
/home//pyspider/myseeds
file2: exist=True
/home/pyspider/next
running 的时候输出为：
/home/pyspider
/home/pyspider
file: exist=False
/home/pyspider/myseeds
file2: exist=True
/home/pyspider/next
不知道问题是否说明白了，还望帮忙看一下，谢谢。
Select Language