一聚教程网:一个值得你收藏的教程网站

最新下载

热门教程

Python使用Scrapy保存控制台信息到文本解析

时间:2018-01-16 编辑:猪哥 来源:一聚教程网

在Windows平台下,如果想运行爬虫的话,就需要在cmd中输入:

scrapy crawl spider_name 

这时,爬虫就能启动,并在控制台(cmd)中打印一些信息,如下图所示:

但是,cmd中默认只能显示几屏的信息,其他的信息就无法看到。

如果我们想查看爬虫在运行过程中的调试信息或错误信息的话,会很不方便。

此时,我们就可以将控制台的信息写入的一个文本文件中去,方便我们查看。

命令如下:

D:>scrapy crawl spder_name -s LOG_FILE=scrapy.log 

热门栏目