未加星标

nodeJs爬虫的技术点总结

字体大小 | |
[前端(javascript) 所属分类 前端(javascript) | 发布者 店小二03 | 时间 | 作者 红领巾 ] 0人收藏点击收藏
背景

最近打算把之前看过的nodeJs相关的内容在复习下,顺便写几个爬虫来打发无聊,在爬的过程中发现一些问题,记录下以便备忘。

依赖

用到的是在网上烂大街的cheerio库来处理爬取的内容,使用superagent处理请求,log4js来记录日志。

日志配置

话不多说,直接上代码:

const log4js = require('log4js');
log4js.configure({
appenders: {
cheese: {
type: 'dateFile',
filename: 'cheese.log',
pattern: '-yyyy-MM-dd.log',
// 包含模型
alwaysIncludePattern: true,
maxLogSize: 1024,
backups: 3 }
},
categories: { default: { appenders: ['cheese'], level: 'info' } }
});
const logger = log4js.getLogger('cheese');
logger.level = 'INFO';
module.exports = logger;

以上直接导出一个logger对象,在业务文件里直接调用logger.info()等函数添加日志信息就可以,会按天生成日志。相关信息网络上一堆。

爬取内容并处理

superagent.get(cityItemUrl).end((err, res) => {
if (err) {
return console.error(err);
}
const $ = cheerio.load(res.text);
// 解析当前页面,获取当前页面的城市链接地址
const cityInfoEle = $('.newslist1 li a');
cityInfoEle.each((idx, element) => {
const $element = $(element);
const sceneURL = $element.attr('href'); // 页面地址
const sceneName = $element.attr('title'); // 城市名称
if (!sceneName) {
return;
}
logger.info(`当前解析到的目的地是: ${sceneName}, 对应的地址为: ${sceneURL}`);
getDesInfos(sceneURL, sceneName); // 获取城市详细信息
ep.after('getDirInfoComplete', cityInfoEle.length, (dirInfos) => {
const content = JSON.parse(fs.readFileSync(path.join(__dirname, './imgs.json')));
dirInfos.forEach((element) => {
logger.info(`本条数据为:${JSON.stringify(element)}`);
Object.assign(content, element);
});
fs.writeFileSync(path.join(__dirname, './imgs.json'), JSON.stringify(content));
});
});
});

使用superagent请求页面,请求成功后使用cheerio 来加载页面内容,然后使用类似Jquery的匹配规则来查找目的资源。

多个资源加载完成,使用eventproxy来代理事件,处理一次资源处罚一次事件,所有事件触发完成后处理数据。

以上就是最基本的爬虫了,接下来就是一些可能会出问题或者需要特别注意的地方了。。。

读写本地文件

创建文件夹

function mkdirSync(dirname) {
if (fs.existsSync(dirname)) {
return true;
}
if (mkdirSync(path.dirname(dirname))) {
fs.mkdirSync(dirname);
return true;
}
return false;
}

读写文件

const content = JSON.parse(fs.readFileSync(path.join(__dirname, './dir.json')));
dirInfos.forEach((element) => {
logger.info(`本条数据为:${JSON.stringify(element)}`);
Object.assign(content, element);
});
fs.writeFileSync(path.join(__dirname, './dir.json'), JSON.stringify(content));
批量下载资源

下载资源可能包括图片、音频等等。

使用Bagpipe处理异步并发 参考

const Bagpipe = require('bagpipe');
const bagpipe = new Bagpipe(10);
bagpipe.push(downloadImage, url, dstpath, (err, data) => {
if (err) {
console.log(err);
return;
}
console.log(`[${dstpath}]: ${data}`);
});

下载资源,使用stream来完成文件写入。

function downloadImage(src, dest, callback) {
request.head(src, (err, res, body) => {
if (src && src.indexOf('http') > -1 || src.indexOf('https') > -1) {
request(src).pipe(fs.createWriteStream(dest)).on('close', () => {
callback(null, dest);
});
}
});
}
编码

有时候直接使用 cheerio.load处理的网页内容,写入文件后发现是编码后的文字,可以通过

const $ = cheerio.load(buf, { decodeEntities: false });

来禁止编码,

ps: encoding库和iconv-lite未能实现将utf-8编码的字符转换为中文,可能是还对API不熟悉,稍后可以关注下。

最后,附上一个匹配所有dom标签的正则

const reg = /<.*?>/g;
您可能感兴趣的文章:nodejs爬虫初试superagent和cheerioNodeJS爬虫实例之糗事百科nodeJS实现简单网页爬虫功能的实例(分享)基于nodejs 的多页面爬虫实例代码nodejs制作爬虫实现批量下载图片nodejs爬虫遇到的乱码问题汇总详解nodejs爬虫程序解决gbk等中文编码问题简单好用的nodejs 爬虫框架分享nodeJs爬虫获取数据简单实现代码Nodejs爬虫进阶教程之异步并发控制nodejs爬虫抓取数据之编码问题nodejs爬虫抓取数据乱码问题总结NodeJS制作爬虫全过程(续)NodeJS制作爬虫全过程

本文前端(javascript)相关术语:javascript是什么意思 javascript下载 javascript权威指南 javascript基础教程 javascript 正则表达式 javascript设计模式 javascript高级程序设计 精通javascript javascript教程

主题: 数据城市
分页:12
转载请注明
本文标题:nodeJs爬虫的技术点总结
本站链接:https://www.codesec.net/view/576410.html


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 前端(javascript) | 评论(0) | 阅读(37)