了解Node.js中的Stream

了解Node.js中的Stream

相关推荐:《nodejs 教程》

对于大部分有后端经验的的同学来说 Stream 对象是个再合理而常见的对象,但对于前端同学 Stream 并不是那么理所当然,github 上甚至有一篇 9000 多 Star 的文章介绍到底什么是 Stream —— stream-handbook(https://link.zhihu.com/?target=https%3A//github.com/substack/stream-handbook)。为了更好的理解 Stream,在这篇文章的基础上简单总结概括一下。

什么是 Stream

在 Unix 系统中流就是一个很常见也很重要的概念,从术语上讲流是对输入输出设备的抽象。

ls | grep *.js

登录后复制

类似这样的代码我们在写脚本的时候经常可以遇到,使用 连接两条命令,把前一个命令的结果作为后一个命令的参数传入,这样数据像是水流在管道中传递,每个命令类似一个处理器,对数据做一些加工,因此 | 被称为 “管道符号”。

NodeJS 中 Stream 的几种类型

从程序角度而言流是有方向的数据,按照流动方向可以分为三种流

设备流向程序:readable

程序流向设备:writable

双向:duplex、transform

NodeJS 关于流的操作被封装到了 Stream 模块,这个模块也被多个核心模块所引用。按照 Unix 的哲学:一切皆文件,在 NodeJS 中对文件的处理多数使用流来完成

普通文件

设备文件(stdin、stdout)

网络文件(http、net)

有一个很容易忽略的知识点:在 NodeJS 中所有的 Stream 都是 EventEmitter 的实例。

小例子

我们写程序忽然需要读取某个配置文件 config.json,这时候简单分析一下

数据:config.json 的内容方向:设备(物理磁盘文件) -> NodeJS 程序

我们应该使用 readable 流来做此事

const fs = require('fs');const FILEPATH = '...';const rs = fs.createReadStream(FILEPATH);

登录后复制

通过 fs 模块提供的 createReadStream() 方法我们轻松的创建了一个可读的流,这时候  config.json 的内容从设备流向程序。我们并没有直接使用 Stream 模块,因为 fs 内部已经引用了 Stream 模块,并做了封装。

有了数据后我们需要处理,比如需要写到某个路径 DEST ,这时候我们遍需要一个 writable 的流,让数据从程序流向设备。

const ws = fs.createWriteStream(DEST);

登录后复制

两种流都有了,也就是两个数据加工器,那么我们如何通过类似 Unix 的管道符号 | 来链接流呢?在 NodeJS 中管道符号就是 pipe() 方法。

const fs = require('fs');const FILEPATH = '...';const rs = fs.createReadStream(FILEPATH);const ws = fs.createWriteStream(DEST);rs.pipe(ws);

登录后复制

这样我们利用流实现了简单的文件复制功能,关于 pipe() 方法的实现原理后面会提到,但有个值得注意地方:数据必须是从上游 pipe 到下游,也就是从一个 readable 流 pipe 到 writable 流。

加工一下数据

上面提到了 readable 和 writable 的流,我们称之为加工器,其实并不太恰当,因为我们并没有加工什么,只是读取数据,然后存储数据。

如果有个需求,把本地一个 package.json 文件中的所有字母都改为小写,并保存到同目录下的 package-lower.json 文件下。

这时候我们就需要用到双向的流了,假定我们有一个专门处理字符转小写的流 lower,那么代码写出来大概是这样的

const fs = require('fs');const rs = fs.createReadStream('./package.json');const ws = fs.createWriteStream('./package-lower.json');rs.pipe(lower).pipe(ws);

登录后复制

这时候我们可以看出为什么称 pipe() 连接的流为加工器了,根据上面说的,必须从一个 readable 流 pipe 到 writable 流:

rs -> lower:lower 在下游,所以 lower 需要是个 writable 流lower -> ws:相对而言,lower 又在上游,所以 lower 需要是个 readable 流

有点推理的赶脚呢,能够满足我们需求的 lower 必须是双向的流,具体使用 duplex 还是 transform 后面我们会提到。

当然如果我们还有额外一些处理动作,比如字母还需要转成 ASCII 码,假定有一个流 ascii 那么我们代码可能是

rs.pipe(lower).pipe(acsii).pipe(ws);

登录后复制

同样 ascii 也必须是双向的流。这样处理的逻辑是非常清晰的,那么除了代码清晰,使用流还有什么好处呢?

为什么应该使用 Stream

有个用户需要在线看视频的场景,假定我们通过 HTTP 请求返回给用户电影内容,那么代码可能写成这样

const http = require('http');const fs = require('fs');http.createServer((req, res) => {   fs.readFile(moviePath, (err, data) => {      res.end(data);   });}).listen(8080);

登录后复制

这样的代码又两个明显的问题

电影文件需要读完之后才能返回给客户,等待时间超长

电影文件需要一次放入内存中,相似动作多了,内存吃不消

用流可以讲电影文件一点点的放入内存中,然后一点点的返回给客户(利用了 HTTP 协议的 Transfer-Encoding: chunked 分段传输特性),用户体验得到优化,同时对内存的开销明显下降

const http = require('http');const fs = require('fs');http.createServer((req, res) => {   fs.createReadStream(moviePath).pipe(res);}).listen(8080);

登录后复制

除了上述好处,代码优雅了很多,拓展也比较简单。比如需要对视频内容压缩,我们可以引入一个专门做此事的流,这个流不用关心其它部分做了什么,只要是接入管道中就可以了

const http = require('http');const fs = require('fs');const oppressor = require(oppressor);http.createServer((req, res) => {   fs.createReadStream(moviePath)      .pipe(oppressor)      .pipe(res);}).listen(8080);

登录后复制

可以看出来,使用流后,我们的代码逻辑变得相对独立,可维护性也会有一定的改善,关于几种流的具体使用方式且听下回分解。

更多编程相关知识,请访问:编程视频课程!!

以上就是了解Node.js中的Stream的详细内容,更多请关注【创想鸟】其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至253000106@qq.com举报,一经查实,本站将立刻删除。

发布者:PHP中文网,转转请注明出处:https://www.chuangxiangniao.com/p/2635037.html

(0)
上一篇 2025年3月7日 04:39:04
下一篇 2025年3月1日 17:59:55

AD推荐 黄金广告位招租... 更多推荐

相关推荐

  • Node.js中require()是如何工作的?工作原理介绍

    相关推荐:《nodejs 教程》 大多数人都知道Node.js中require()函数做什么的,但是有多少人知道它的工作原理呢?我们每天使用它加载库包和模块,但是它的内部行为原理很神秘。 我们追寻Node模块系统的核心: module.js…

    2025年3月7日
    200
  • 了解Node.js中的模块系统

    相关推荐:《node js教程》 Node.js 的模块 JavaScript 做为一门为网页添加交互功能的简单脚本语言问世,在开始并不包含模块系统,随着 JavaScript 解决问题越来越复杂,把所有代码写在一个文件内,用 functi…

    2025年3月7日
    200
  • Node.js进行调试的几种方法介绍

    相关推荐:《nodejs 教程》 调试是解决程序问题的必备工具,在最早的时候 Node 的调试有些麻烦,社区也有不少工具包辅助,现在 Node 的调试已经比较简单,常用的有几种 Chrome DevTools Chrome 开发者工具交互通…

    2025年3月7日 编程技术
    200
  • Node.js中如何创建和提取zip文件?方法介绍

    相关推荐:《nodejs 教程》 Zip文件是常用的压缩文件格式。大多数开发人员最终使用tarball而不是zip文件。但在某些情况下,您需要使用zip文件,例如将函数上载到AWS Lambda。在本文中,我将演示如何用 adm-zip n…

    2025年3月7日
    200
  • 了解一下Node.js中的文件夹写入

    本篇文章给大家介绍一下node.js中的文件夹写入。有一定的参考价值,有需要的朋友可以参考一下,希望对大家有所帮助。 相关推荐:《node js教程》 fs.Dir & fs.Dirent fs.Dir 是可迭代的目录流的类,fs.…

    2025年3月7日
    200
  • 浅谈Node.js监视文件变化的方法

    相关推荐:《nodejs 教程》 fs.FSWatcher fs.FSWatcher类 继承了 EventEmitter,用于监视文件变化,调用 fs.watch 后返回一个 fs.FSWatcher 实例,每当指定监视的文件被修改时,实例…

    2025年3月7日
    200
  • 如何利用nvm工具来管理node版本?方法介绍

    相关推荐:《node js教程》 nvm 是一种流行的运行 Node.js 的方式。 例如,它可以轻松地切换 Node.js 版本,也可以安装新版本用以尝试并且当出现问题时轻松地回滚。 这对于使用旧版本的 Node.js 来测试代码非常有用…

    2025年3月7日 编程技术
    200
  • Node.js学习之静态资源服务器

    相关推荐:《nodejs 教程》 在创建 HTTP 服务器实现了一个最简单的静态资源服务器,可以对代码进行写改造,增加文件夹预览功能,暴露出一些配置,变成一个可定制的静态资源服务器模块 模块化 可定制的静态资源服务器理想的使用方式应该是这样…

    2025年3月7日 编程技术
    200
  • Node.js和java后台服务器的简单比较

    最近去了新公司,又拾起了被我抛下许久的后端了,不过因为公司的需求,后端采用Nodejs,最近一直在学习Node.js,随着逐渐深入的了解,发现真的Node.js能越来越变得热门是有其存在的道理的。可能有人会说,Java作为后端语言一直隐隐有…

    2025年3月7日
    200
  • node.js“多线程”如何处理高并发任务?

    下面本篇文章给大家介绍一下使用 nodejs “多线程”处理高并发任务的方法。有一定的参考价值,有需要的朋友可以参考一下,希望对大家有所帮助。 相关推荐:《nodejs视频教程》 摩尔定律 摩尔定律是由英特尔联合创始人戈登·摩尔(Gordo…

    2025年3月7日 编程技术
    200

发表回复

登录后才能评论