最新下载
热门教程
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
基于python requests selenium爬取excel vba过程代码解析
时间:2020-08-12 编辑:袖梨 来源:一聚教程网
本篇文章小编给大家分享一下基于python requests selenium爬取excel vba过程代码解析,文章代码介绍的很详细,小编觉得挺不错的,现在分享给大家供大家参考,有需要的小伙伴们可以来看看。
所使工具:
python3.7,requests、selenium库
前端方面:使用了jquery、jstree(用于方便的制作无限层级菜单
设计思路:
1、分析目标页面,可分出两部分,左边时导航,右边是内容显示。
2、通过selenium对导航条进行深度遍历,取得导航条所有节点以及对应的链接,并以jstree的数据格式存储。
# 导航层级为
-
...
....
3、使用requests遍历所有链接取得相应主体页面。
实现:
# # parent 上级节点 # wait_text 上级节点对应的xpath路径的文本项 # level,limit 仅方便测试使用 # def GetMenuDick_jstree(parent,level,wait_text,limit=2): if level >= limit: return [] parent.click() l = [] num = 1 new_wati_text = wait_text + '/following-sibling::ul' # 只需要等待ul出来就可以了/li[' + str(ele_num) + ']' try: wait.until(EC.presence_of_element_located((By.XPATH,new_wati_text))) # 查询子节点所有的 a节点和span节点(子菜单) childs = parent.find_elements_by_xpath('following-sibling::ul/li/span | following-sibling::ul/li/a') for i in childs: k = {} if i.get_attribute('role') == None: k['text'] = i.text # 如果是子菜单,进行深度遍历 k['children'] = GetMenuDick_jstree(i,level+1,new_wati_text + '/li[' + str(num) + ']/span',limit) else: # 网页访问的Url无Html后缀,需要加上。去除无相关地址,形成相对路径。 url_text = str(i.get_attribute('href')).replace('https://docs.microsoft.com/zh-cn/office/', '',1) + '.html' k['text'] = i.text k['a_attr'] = {"href":url_text,"target":"showframe"} lhref.append(str(i.get_attribute('href'))) num = num + 1 l.append(k) parent.click() # 最后收起来 except Exception as e: print('error message:',str(e),'error parent:' ,parent.text,' new_wati_text:',new_wati_text,'num:',str(num)) lerror.append(parent.text) finally: return l
# data菜单,lhref为后续需要访问的地址。 # 找到第一个excel节点,从excel开始 data = [] lhref = [] lerror = [] k = {} browser.get(start_url) browser.set_page_load_timeout(10) #超时设置 xpath_text = '//li[contains(@class,"tree")]/span[text()="Excel"][1]' cl = browser.find_element_by_xpath(xpath_text) k = {'text':'Excel'} k['children'] = GetMenuDick_jstree(cl,1,xpath_text,20) data.append(k) # Writing JSON data with open(r'templetedata.json', 'w', encoding='utf-8') as f: json.dump(data, f)
进行到这里,已经拥有了excel vba下所有的菜单信息以及对应的url。下来需要得到页面主体。
实现思路:
1、遍历所有url
2、通过url得到相应的文件名
# # 根据网页地址,得到文件名,并创建相应文件夹 # def create_file(url): t = 'https://docs.microsoft.com/zh-cn/office/' # 替换掉字眼,然后根据路径生成相应文件夹 url = url.replace(t,"",1) lname = url.split('/') # 先判断有没有第一个文件夹 path = lname[0] if not os.path.isdir(path): os.mkdir(path) for l in lname[1:-1]: path = path + '\' + str(l) if not os.path.isdir(path): os.mkdir(path) if len(lname) > 1: path = path + '\' + lname[-1] + '.html' return path
3、访问url得到主体信息储存。
# requests模式 # 循环遍历,如果错误,记录下来,以后再执行 had_lhref = [] error_lhref = [] num = 1 for url in lhref: try: had_lhref.append(url) path = create_file(url) resp = requests.get(url,timeout=5,headers = headers) # 设置访问超时,以及http头 resp.encoding = 'utf-8' html = etree.HTML(resp.text) c = html.xpath('//main[@id="main"]') # tostring获取标签所有html内容,是字节类型,要decode为字符串 content = html_head + etree.tostring(c[0], method='html').decode('utf-8') with open(path,'w', encoding='utf-8') as f: f.write(content) except Exception as e: print('error message:',str(e),'error url:',url) error_lhref.append(url) if num % 10 == 0 : print('done:',str(num) + '/' + str(len(lhref)),'error num:' + str(len(error_lhref))) #time.sleep(1) # 睡眠一下,防止被反 num = num + 1
现在,菜单信息与内容都有了,需要构建自己的主页,这里使用了jstree;2个html,index.html,menu.html。
index.html:使用frame页面框架,相对隔离。
menu.html:
1、引入了data.json,这样在可以进行离线调用,使用ajax.get读取json的话,会提示跨域失败;
2、jstree会禁止跳转事件,所有需要通过监听"change.tree"事件来进行跳转。
Title css
相关文章
- Golang ProtoBuf的基本语法详解 10-20
- Python识别MySQL中的冗余索引解析 10-20
- Python+Pygame绘制小球代码展示 10-18
- Python中的数据精度问题介绍 10-18
- Python随机值生成的常用方法介绍 10-18
- python3解压缩.gz文件分析 09-27