这次给大家带来怎样操作node实现爬虫效果，操作node实现爬虫效果的注意事项有哪些，下面就是实战案例，一起来看一下。
node是服务器端的语言，所以可以像python一样对网站进行爬取，下面就使用node对博客园进行爬取，得到其中所有的章节信息。
第一步： 建立crawl文件，然后npm init。
第二步： 建立crawl.js文件，一个简单的爬取整个页面的代码如下所示：
var http = require("http");var url = "http://www.cnblogs.com";http.get(url, function (res) { var html = ""; res.on("data", function (data) { html += data; }); res.on("end", function () { console.log(html); });}).on("error", function () { console.log("获取课程结果错误！");});
登录后复制
即引入http模块，然后利用http对象的get请求，即一旦运行，相当于node服务器端发送了一个get请求请求这个页面，然后通过res返回，其中on绑定data事件用来不断地接受数据，最后end时我们就在后台打印出来。
这只是整个页面的一部分，我们可以在此页面审查元素，发现确实是一样的
我们只需要将其中的章节title和每一小节的信息爬到即可。
第三步： 引入cheerio模块，如下：（在gitbash中安装即可，cmd总是出问题）
cnpm install cheerio --save-dev
登录后复制
这个模块的引入，就是为了方便我们操作dom，就像jQuery一样。
第四步： 操作dom，获取有用信息。
var http = require("http");var cheerio = require("cheerio");var url = "http://www.cnblogs.com";function filterData(html) { var $ = cheerio.load(html); var items = $(".post_item"); var result = []; items.each(function (item) { var tit = $(this).find(".titlelnk").text(); var aut = $(this).find(".lightblue").text(); var one = { title: tit, author: aut }; result.push(one); }); return result;}function printInfos(allInfos) { allInfos.forEach(function (item) { console.log("文章题目 " + item["title"] + '' + "文章作者 " + item["author"] + ''+ ''); });}http.get(url, function (res) { var html = ""; res.on("data", function (data) { html += data; }); res.on("end", function (data) { var allInfos = filterData(html); printInfos(allInfos); });}).on("error", function () { console.log("爬取博客园首页失败")});
登录后复制
即上面的过程就是在爬取博客的题目和作者。
最终后台输出如下：
这和博客园首页的内容是一致的：
相信看了本文案例你已经掌握了方法，更多精彩请关注【创想鸟】其它相关文章！
推荐阅读：
怎样使用Node.js内Koa实现JWT用户认证
react-navigation使用案例解析
以上就是怎样操作node实现爬虫效果的详细内容，更多请关注【创想鸟】其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至253000106@qq.com举报，一经查实，本站将立刻删除。
发布者：PHP中文网，转转请注明出处：https://www.chuangxiangniao.com/p/2752237.html
