未加星标

python爬虫爬取网页表格数据

字体大小 | |
[开发(python) 所属分类 开发(python) | 发布者 店小二04 | 时间 | 作者 红领巾 ] 0人收藏点击收藏
python爬取网页表格数据,供大家参考,具体内容如下

from bs4 import BeautifulSoup
import requests
import csv
import bs4


#检查url地址
def check_link(url):
try:

r = requests.get(url)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
print('无法链接服务器!!!')


#爬取资源
def get_contents(ulist,rurl):
soup = BeautifulSoup(rurl,'lxml')
trs = soup.find_all('tr')
for tr in trs:
ui = []
for td in tr:
ui.append(td.string)
ulist.append(ui)

#保存资源
def save_contents(urlist):
with open("D:/2016年中国企业500强排行榜.csv",'w') as f:
writer = csv.writer(f)
writer.writerow(['2016年中国企业500强排行榜'])
for i in range(len(urlist)):
writer.writerow([urlist[i][1],urlist[i][3],urlist[i][5]])
def main():
urli = []
url = "http://www.maigoo.com/news/463071.html"
rs = check_link(url)
get_contents(urli,rs)
save_contents(urli)

main()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。


您可能感兴趣的文章:通过抓取淘宝评论为例讲解Python爬取ajax动态生成的数据(经典)Python实现爬取知乎神回复简单爬虫代码分享python爬取网站数据保存使用的方法以视频爬取实例讲解Python爬虫神器Beautiful Soup用法利用Python爬取可用的代理IPPython使用Scrapy爬虫框架全站爬取图片并保存本地的实现代码python爬虫爬取快手视频多线程下载功能python爬取m3u8连接的视频python定向爬取淘宝商品价格python爬虫爬取淘宝商品信息(selenum+phontomjs)

本文开发(python)相关术语:python基础教程 python多线程 web开发工程师 软件开发工程师 软件开发流程

tags: 爬取,python,url,urlist,爬虫,import,contents,writer,def,Python,get,ui,csv
分页:12
转载请注明
本文标题:python爬虫爬取网页表格数据
本站链接:https://www.codesec.net/view/573811.html


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 开发(python) | 评论(0) | 阅读(466)