最新下载
热门教程
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
利用Python的Scrapy框架十分钟爬取美女图的教程
时间：2016-12-28 编辑：简简单单 来源：一聚教程网
简介
scrapy 是一个 python 下面功能丰富、使用快捷方便的爬虫框架。用 scrapy 可以快速的开发一个简单的爬虫，官方给出的一个简单例子足以证明其强大：
快速开发
下面开始10分钟倒计时：
1. 初始化项目
|
scrapy startproject mzt
cd mzt
scrapy genspider meizitu meizitu.com
|
2. 添加 spider 代码：
定义 scrapy.Item ，添加 image_urls 和 images ，为下载图片做准备。
修改 start_urls 为初始页面, 添加 parse 用于处理列表页， 添加 parse_item 处理项目页面。
3. 修改配置文件：
|
DOWNLOAD_DELAY=1# 添加下载延迟配置
ITEM_PIPELINES={'scrapy.pipelines.images.ImagesPipeline':1}# 添加图片下载 pipeline
IMAGES_STORE='.'# 设置图片保存目录
|
4. 运行项目：
|
scrapy crawl meizitu
|
看，项目运行效果图
等待一会儿，就是收获的时候了
-
下一个： PHP会话控制实例代码与详细分析
相关文章
- PHP导出数据超时的优化建议解读 10-31
- PHP之mysql位运算解析 10-31
- Laravel实现登录跳转功能解析 10-31
- php双向队列解读 10-31
- Laravel异常上下文解决教程 10-24
- php数组查询元素位置方法介绍 10-24