一聚教程网:一个值得你收藏的教程网站

最新下载

热门教程

Python提取网页中的超链接地址方法

时间:2014-08-21 编辑:简简单单 来源:一聚教程网


最近正在学习Python,打算用作爬虫开发。既然要做爬虫,首先就要抓取网页,并且从网页中提取出超链接地址。

下面是最简单的实现方法,先将目标网页抓回来,然后通过正则匹配a标签中的href属性来获得超链接,代码如下:

 代码如下 复制代码

import urllib2
import re

url = 'http://www.111com.net/'

req = urllib2.Request(url)
con = urllib2.urlopen(req)
doc = con.read()
con.close()

links = re.findall(r'href\=\"(http\:\/\/[a-zA-Z0-9\.\/]+)\"', doc)
for a in links:
    print a

如果抓取的111cn的内容他就会把所有的以http开头的连接地址全部提取出来了,其实就是获取当前页面的外链了。

热门栏目