一步步利用开源项目实现网络爬虫:以抓取证券日报新闻为例

在学习编程的过程中,初学者(特别是想转行互联网的来自其它专业的初学者)往往因为缺乏实际项目的操作而陷入基础学习的环境中无法自拔,在学习python的过程中,笔者最初也是一直停留在不断地print、列表、数组,在各种数据结构的学习中不断重复,固然基础知识的掌握很重要,但是没有实际操作,往往无法得到编程能力的提升并会心生厌倦,为了应对这个问题,接下来专栏将从Github中选取一些比较有意思的开源项目,来为大家说明如何开展项目,如何安装环境,如何debug,如何找到解决问题的方法......

第一篇我们以抓取财经新闻的爬虫为例,默认centos系统、Python2.7环境,并且已经安装pyenv,如未安装pyenv请参考:

基于pyenv和virtualenv搭建python多版本虚拟环境

项目作者: Hailong Zhang

项目地址: spider_news_all

感谢作者开源

1. 首先准备项目开发环境

$cd /home/andy/.pyenv/ENV2.7.10 $ mkdir works $ cd works $ pyenv activate ENV2.7.10 $ sudo yum install gcc libffi-devel openssl-devel libxml2 libxslt-devel libxml2-devel python-devel -y $ sudo yum install python-setuptools

2. 依次安装pip、lxml、scrapy

$ easy_install pip $ easy_install lxml $ pip install scrapy

3. 从github克隆项目

$ mkdir spiders $ git clone https://github.com/hailong0707/spider_news_all
一步步利用开源项目实现网络爬虫:以抓取证券日报新闻为例
4. 查看README.md项目文档 $ cd spider_news_all $ ls $ vim README.md
一步步利用开源项目实现网络爬虫:以抓取证券日报新闻为例
5. 安装环境及数据库存储连接用的mysql-python模块 $ sudo yum install python-devel $ sudo yum install mysql-devel $ pip install MySQL-python $ pip install bs4
一步步利用开源项目实现网络爬虫:以抓取证券日报新闻为例
6. 创建新的与爬虫项目匹配的数据库和配置爬虫项目MySQLdb的连接账号密码

进入MySQL创建存储数据的数据库、表,记得刷新权限:

mysql> create database news; mysql> grant all privileges on news.* to [email protected] identified by 'passwd'; mysql> flush privileges;

在db.sql的同级目录加载数据库表结构

$ mysql -u root -p $ source db.sql

配置与数据库对应的爬虫系统的MySQLdb的连接账号密码:

$ vim pipelines.py $ vim zqrb.py
一步步利用开源项目实现网络爬虫:以抓取证券日报新闻为例
7. 安装screen,运行项目,以抓取证券日报新闻为例,命名screen名称zqrb $ sudo yum install screen $ screen -S zqrb $ scrapy crawl zqrb

8. Debug,直接运行会发现报错,debug完再运行

AttributeError: 'list' object has no attribute 'iteritems'

查看项目的github主页,在Issues里有人已经提出解决方案,修改setting.py

ITEM_PIPELINES = { 'spider_news_all.pipelines.SpiderNewsAllPipeline': 300 }

修改之后再次运行,Great!Ctrl+A+D退出screen返回终端,让爬虫继续运行,linux中可以利用crontab执行定时任务,比如可以设置每天晚上0点定时开启爬虫抓取。

$ scrapy crawl zqrb
一步步利用开源项目实现网络爬虫:以抓取证券日报新闻为例
一步步利用开源项目实现网络爬虫:以抓取证券日报新闻为例
一步步利用开源项目实现网络爬虫:以抓取证券日报新闻为例
----------------------------

微信公众号:Python中文社区

Python中文社区2000人免费超级QQ群:152745094

Python高级技术交流群:273186166

----------------------------

本文作者主页

Python中文社区知乎专栏

各专业技术方向QQ群:

Python数据分析与挖掘:539956362

Python网络爬虫:206241755

PythonWeb开发:577672548

Python量化交易策略:264204289

Python自然语言处理:570364809

--------------------------

史上最全Python学习免费资源下载汇总: Python开发基础教学视频

http:// pan.baidu.com/s/1dEAlfS P

密码:请关注微信公众号“Python中文社区”后回复“ 视频 ”二字获取

Python就业培训视频三套教程打包汇总下载

https:// pan.baidu.com/s/1gfFicU 3

密码:请关注微信公众号“Python中文社区”后回复“ 培训 ”二字获取

Python学习资料PDF电子书大合集

http:// pan.baidu.com/s/1bpuqex 5

密码:请关注微信公众号“Python中文社区”后回复“ 资料

”二字获取

Python量化交易学习资料大全汇总打包下载

http:// pan.baidu.com/s/1pKFXuW V

密码:请关注微信公众号“Python中文社区”后回复“ 量化 ”二字获取

Python学习思维脑图大全汇总打包

http:// pan.baidu.com/s/1qYH6Te k

密码:请关注微信公众号“Python中文社区”后回复“ 思维 ”二字获取


一步步利用开源项目实现网络爬虫:以抓取证券日报新闻为例
4分钟告诉你Python是什么―在线播放―优酷网,视频高清在线观看 http://v.youku.com/v_show/id_XMTcwMTg4NzYwOA==

本文开发(python)相关术语:python基础教程 python多线程 web开发工程师 软件开发工程师 软件开发流程

分页:12
转载请注明
本文标题:一步步利用开源项目实现网络爬虫:以抓取证券日报新闻为例
本站链接:http://www.codesec.net/view/480506.html
分享请点击:


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 开发(python) | 评论(0) | 阅读(33)