使用Cheerio的简单爬虫
这是我在Node.js中创建简单爬网程序的公式。这是想要在服务器端进行DOM操作的主要原因，这也许就是您来到这里的原因。
首先，用于request下载要解析的页面。下载完成后，cheerio像使用jQuery一样处理它并开始DOM操作。
工作示例：
var
request = require('request'),
cheerio = require('cheerio');
function parse(url) {
request(url, function (error, response, body) {
var
$ = cheerio.load(body);
$('.question-summary .question-hyperlink').each(function () {
console.info($(this).text());
});
})
}
parse('http://stackoverflow.com/');
此示例将在控制台上显示SO主页上显示的所有最重要的问题。这就是为什么我喜欢Node.js及其社区。没有比这更容易的了:-)
安装依赖项：
npm安装请求cheerio
并运行（假设上面的脚本在file中crawler.js）：
节点crawler.js
编码方式
某些页面会以某种编码包含非英语内容，您需要将其解码为UTF-8。例如，巴西葡萄牙语（或拉丁语来源的任何其他语言）的页面很可能会以ISO-8859-1（aka“ latin1”）编码。当需要解码时，我告诉我request不要以任何方式解释内容，而是使用它iconv-lite来完成工作。
工作示例：
var
request = require('request'),
iconv = require('iconv-lite'),
cheerio = require('cheerio');
var
PAGE_ENCODING = 'utf-8'; // change to match page encoding
function parse(url) {
request({
url: url,
encoding: null // do not interpret content yet
}, function (error, response, body) {
var
$ = cheerio.load(iconv.decode(body, PAGE_ENCODING));
$('.question-summary .question-hyperlink').each(function () {
console.info($(this).text());
});
})
}
parse('http://stackoverflow.com/');
在运行之前，请安装依赖项：
npm安装请求iconv-lite cheerio
最后：
节点crawler.js
以下链接
下一步将是链接。假设您要列出SO每个最重要问题的所有发帖人。您必须首先列出所有热门问题（上面的示例），然后输入每个链接，解析每个问题的页面以获取涉及的用户列表。
当您开始关注链接时，回调地狱就可以开始。为了避免这种情况，您应该使用某种承诺，期货或其他任何方式。我总是在工具带中保持异步。因此，这是使用异步的搜寻器的完整示例：
var
url = require('url'),
request = require('request'),
async = require('async'),
cheerio = require('cheerio');
var
baseUrl = 'http://stackoverflow.com/';
// Gets a page and returns a callback with a $ object
function getPage(url, parseFn) {
request({
url: url
}, function (error, response, body) {
parseFn(cheerio.load(body))
});
}
getPage(baseUrl, function ($) {
var
questions;
// Get list of questions
questions = $('.question-summary .question-hyperlink').map(function () {
return {
title: $(this).text(),
url: url.resolve(baseUrl, $(this).attr('href'))
};
}).get().slice(0, 5); // limit to the top 5 questions
// For each question
async.map(questions, function (question, questionDone) {
getPage(question.url, function ($$) {
// Get list of users
question.users = $$('.post-signature .user-details a').map(function () {
return $$(this).text();
}).get();
questionDone(null, question);
});
}, function (err, questionsWithPosters) {
// This function is called by async when all questions have been parsed
questionsWithPosters.forEach(function (question) {
// Prints each question along with its user list
console.info(question.title);
question.users.forEach(function (user) {
console.info('\t%s', user);
});
});
});
});
运行之前：
npm安装请求异步cheerio
运行测试：
节点crawler.js
样本输出：
Is it possible to pause a Docker image build?
conradk
Thomasleveil
PHP Image Crop Issue
Elyor
Houston Molinar
Add two object in rails
user1670773
Makoto
max
Asymmetric encryption discrepancy - Android vs Java
Cookie Monster
Wand Maker
Objective-C: Adding 10 seconds to timer in SpriteKit
Christian K Rider
这就是您开始制作自己的搜寻器的基本知识：-)
使用的图书馆