博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Nodejs中流的操作,实现简单的pipe
阅读量:7054 次
发布时间:2019-06-28

本文共 3486 字,大约阅读时间需要 11 分钟。

fs与流都可以处理文件,为什么还要用流:

  fs模块处理文件的缺点:将文件的数据全读到内存中,在把数据写到文件内,会大量占用内存

流:

        流(stream)是 Node.js 中处理流式数据的抽象接口,是一组有序的,有起点和终点的字节数据传输手段。可以实现将数据从一个地方流动到另一个地方,其边读取边写入的特点有别于fs模块的文件处理,并且可以做到控制读取文件和写入文件的速度,从而减少内存的占用
        nodeJS中提供了许多种流的对象,像用http模块创建的服务器的回调内,req就是一个可读流,res就是可写流
流的特点:
  1、边读  边写,是边读边写的,读取一段文件,就将它写入
  2、流是基于事件的,所有的流对象都用 on绑定事件,并触发
 

Node.js 中有四种基本的流类型:

  •  - 可写入数据的流(例如 )。
  •  - 可读取数据的流(例如 )。
  •  - 可读又可写的流(例如 )。
  •  - 在读写过程中可以修改或转换数据的 Duplex 流(例如 )。

 

可读流:

let fs = require('fs')//参数1:要读取的文件//参数2:配置项,有highWaterMark  每次能读取多少,默认是64k,一次读取64k 不需要更改let rs = fs.createReadStream('1.txt', {     // 返回了一个可读流的实例    flags: 'r'        //对文件进行何种操作        encoding: 'utf-8'        //设置之后,读取的是字符串,不然默认为buffer        start:3                    //从索引3开始读        end:7                    // 读到索引为7的  包括结束        highWaterMark: 1})       // 默认是不会把读取的文件给你 需要监听事件,数据到来的事件  rs.emit('data',数据);// 所以把那个绑定这个事件fs.on('data',function(chunk){    console,log(chunk)})// 默认这个data事件不停的触发,直到文件中的数据全部读完rs.on('end', function () {    })
 
如果每次读取多少需要自己设置highWaterMark ,读取文件的时候为了不乱码,需要用到buffer拼接转化
let rs = fs,createReadStream('1.txt', {highWaterMark: 1})let arr = []rs.on('data',function(chunk){    arr.push(chunk)            //读取文件时,是buffer类型,将每次读取的buffer拼到一个数组内    })// 当文件全部读完,触发endres.end('end',function(){    let filesData = Buffer.concat(arr).toString()})//报错是  触发err        文件不存在,会触发这个事件rs.on('err', function(err){})

如果想要控制读取的速度,可以用rs.pause() 暂停data事件的触发,  rs.resume() 恢复data事件的触发

let arr = []rs.on('data',function(chunk){    arr.push(chunk)    rs.pause()    //暂停    setTimeout(()=>{        rs.resume       //一秒恢复一次  data事件的触发,直到数据读完    },1000)})rs.on('end', ()=>{    console.log(Buffer.concat(arr).toString())})

 

可写流:

1、当往可写流里写数据的时候,不会立刻写入文件,先写入缓存区,缓存区的大小就是highWaterMark,默认为16k
等缓存区满了之后,再次真正的写入文件里
2、通过判断ws.write的返回值判断缓存区是否已经满了。为true是,还没满,有空间,可以继续写,为false时,表示满了
3、按理说如果返回false,就不能再往里写了,但是如果写了,不会丢失,会先缓存在内存中,等缓冲区写完清空之后,在从内存中读取写入。
所以一般在读取文件写入的时候。当缓存区满了,一般会暂停可读流的读取  data事件,等写完之后再次出发可读流的data读取文件,所以不会占用太多的内存
const fs = require('fs')//第一个参数,写入的文件位置  名称// 第二参数,配置项let ws = fs.createWriteStream('./a.txt', {      flags:'w'      highWaterMark:2 })var flag = ws.write('1', function(){})        //flag为true//write   写的内容,必须是 字符串或者buffer,// 会返回一个布尔值,提示是否还有空间写入, 与highWaterMark对应,例如为写入1时,第一次写 返回一个true,表示还有空间写入//write是异步的 有回调函数,但是不常用var flag = ws.write('2', function(){})       //flag为falsevar flag = ws.write('3', function(){}) // 当数据写入文件后,又有空间继续写入时,触发drain事件ws.on('drain',function(){    })// 当所有文件写完之后,触发end,也可以在end时,在写入最后的数据ws.end('结束写入')
 
利用可读流可写流,实现一个pipe,边读边写,控制读取可写入的速度:
读取30b的文件,每次只能读5b,每次只能写入1b
1、可读流第一次读取5b
2、可写流写入读取流读取的数据,拿到5b开始写,因为设置了highWaterMark为1,写了1b之后,ws.write()就返回fasle。
表示没有空间在写入了,剩下的4b放到内存中,开始1b  1b的写入
3、ws.write()返回false后,暂停可读流 的 data事件,等待5b全部写入
4、 5b写完后,触发ws.on('drain',function(){rs.resume()}),    恢复可读流的 data事件,再次读取了5b
5、直到文件读完,写完
const fs = require('fs')function pipe(readFile,writeFileu){    let rs = fs.createReadStream(readFile,{        highWaterMark:5    })    let ws = fs.createWriteStream(writeFileu,{        highWaterMark:1    })    rs.on('data',function(chunk){        console.log('读取')        // 当ws.write() 返回false时,表示没有空间继续写入了,暂停读取        if(ws.write(chunk) == false){            rs.pause() // 暂停rs的data事件        }    })    // 当触发可写流的drain,表示有空间继续写入了,继续读取文件    ws.on('drain',function(){        rs.resume() // 恢复rs的data事件        // 把当前读入的内容都写到文件中了,继续调用读写    })    // 当读取流触发end方法,表示读取完毕,这时关闭可写流的写入    rs.on('end',function(){        ws.end()    })}pipe('1.txt','./2.txt')

转载于:https://www.cnblogs.com/CZforever/p/10505687.html

你可能感兴趣的文章
Memcache的客户端连接系列(二) Python
查看>>
shell 环境变量
查看>>
安装xampp二三事
查看>>
2019-04-09 SpringBoot+Druid+MyBatis+Atomikos 的多数据源配置
查看>>
分解质因数
查看>>
字符型图片验证码识别完整过程及Python实现
查看>>
js,jquery获取url参数
查看>>
Java基础学习总结(36)——Java注释模板
查看>>
erange.heetian.com 回显任意账号
查看>>
OBJ文件格式简介
查看>>
实验三 有限自动机的构造与识别
查看>>
python的学习笔记之——time模块常用内置函数
查看>>
计算机是如何工作的
查看>>
【c++】必须在类初始化列表中初始化的几种情况
查看>>
阿拉伯数字1与英语字母l造成的代码bug
查看>>
深度学习常见的专业术语
查看>>
2018-2019-2 20165334《网络对抗技术》Exp2 后门原理与实践
查看>>
HTML提交方式post和get区别(实验)
查看>>
Java 11.do语句
查看>>
学习理论之感知器与最大间隔分类器
查看>>