如何ungzip(解压缩)NodeJS请求的模块gzip响应主体?


72

如何在请求的模块响应中解压缩压缩的正文?

我已经在网上尝试了几个示例,但是似乎都没有用。

request(url, function(err, response, body) {
    if(err) {
        handleError(err)
    } else {
        if(response.headers['content-encoding'] == 'gzip') {    
            // How can I unzip the gzipped string body variable?
            // For instance, this url:
            // http://highsnobiety.com/2012/08/25/norse-projects-fall-2012-lookbook/
            // Throws error:
            // { [Error: incorrect header check] errno: -3, code: 'Z_DATA_ERROR' }
            // Yet, browser displays page fine and debugger shows its gzipped
            // And unzipped by browser fine...
            if(response.headers['content-encoding'] && response.headers['content-encoding'].toLowerCase().indexOf('gzip') > -1) {   
                var body = response.body;                    
                zlib.gunzip(response.body, function(error, data) {
                    if(!error) {
                        response.body = data.toString();
                    } else {
                        console.log('Error unzipping:');
                        console.log(error);
                        response.body = body;
                    }
                });
            }
        }
    }
}

3
浏览器不应该透明地这样做吗?
2012年

我添加了node.js标记,但我并不清楚,...让我编辑帖子...
izk 2012年

您可以将数据保存到文件req.gz并从命令行解压缩吗?如果是,什么是从输出gunzip req.gzfile req.gz
安德烈·西多罗夫

嗨,安德鲁!谢谢你的建议。如果我将文件保存到“ req.gz”文件,则在桌面上将其解压缩会生成一个名为“ req.gz.cpgz”的文件。依次扩展此文件会生成一个名为“ req 2.gz”的第三个文件。在读取请求主体之前,将请求主体编码为utf8(response.setEncoding('utf8'))。但是,这似乎没有什么不同。我得到相同的错误和相似的桌面文件结果。
izk 2012年

节点v0.10发布后,请求3.0将为此添加自动支持
Jonathan Ong

Answers:


62

我也无法获得工作请求,因此最终使用了http。

var http = require("http"),
    zlib = require("zlib");

function getGzipped(url, callback) {
    // buffer to store the streamed decompression
    var buffer = [];

    http.get(url, function(res) {
        // pipe the response into the gunzip to decompress
        var gunzip = zlib.createGunzip();            
        res.pipe(gunzip);

        gunzip.on('data', function(data) {
            // decompression chunk ready, add it to the buffer
            buffer.push(data.toString())

        }).on("end", function() {
            // response and decompression complete, join the buffer and return
            callback(null, buffer.join("")); 

        }).on("error", function(e) {
            callback(e);
        })
    }).on('error', function(e) {
        callback(e)
    });
}

getGzipped(url, function(err, data) {
   console.log(data);
});

最后!我一直在设置标题以接受gzip并尝试使用代理和所有其他东西,但这确实起到了与stackoverflow API一起工作的技巧!一件小事:var gunzip = gzip.createGunzip();应该是var gunzip = zlib.createGunzip();
mlunoe

我尝试使用所有方法进行请求,但均失败。这个作品!
天堂

这可行,但是通过在请求模块上设置很少的选项,有一种更好,更轻松的方法。请在下面阅读我的答案。
西堤雅

35

尝试encoding: null在传递给的选项中添加request,这样可以避免将下载的正文转换为字符串并将其保存在二进制缓冲区中。


3
我遇到了同样的问题,这个编码选项对我有用。谢谢 !!
appanponn 2012年

30

就像@Iftah所说的,set encoding: null

完整示例(更少的错误处理):

request = require('request');
zlib = require('zlib');

request(url, {encoding: null}, function(err, response, body){
    if(response.headers['content-encoding'] == 'gzip'){
        zlib.gunzip(body, function(err, dezipped) {
            callback(dezipped.toString());
        });
    } else {
        callback(body);
    }
});

27

实际上,请求模块处理gzip响应。为了告诉请求模块解码回调函数中的body参数,我们必须在选项中将'gzip'设置为true。让我用一个例子来解释一下。

例:

var opts = {
  uri: 'some uri which return gzip data',
  gzip: true
}

request(opts, function (err, res, body) {
 // now body and res.body both will contain decoded content.
})

注意:您在“响应”事件中获得的数据不会被解码。

这对我有用。希望它也对你们有用。

我们在使用请求模块时通常遇到的类似问题是JSON解析。让我解释一下。如果您希望请求模块自动解析正文,并在body参数中为您提供JSON内容。然后,您必须在选项中将'json'设置为true。

var opts = {
  uri:'some uri that provides json data', 
  json: true
} 
request(opts, function (err, res, body) {
// body and res.body will contain json content
})

参考:https : //www.npmjs.com/package/request#requestoptions-callback


这次真是万分感谢!!它有效,我不知道请求的承诺有一个gzip标志。
史蒂文R

1
设置"gzip": true选项的一个警告...服务器响应必须包括一个"Content-Encoding": "gzip"用于请求模块实际解压缩响应的参数。我一直在与未正确设置“ Content-Encoding”标头的服务器打交道,直到阅读请求模块的源代码,我才发现这是必需的。希望此注释可以帮助其他人节省时间,以弄清楚如果遇到类似情况,为什么此方法不起作用。
dstricks '19

7

https://gist.github.com/miguelmota/9946206所示

自2017年12月起,请求和请求承诺均立即对其进行处理:

var request = require('request')
  request(
    { method: 'GET'
    , uri: 'http://www.google.com'
    , gzip: true
    }
  , function (error, response, body) {
      // body is the decompressed response body
      console.log('server encoded the data as: ' + (response.headers['content-encoding'] || 'identity'))
      console.log('the decoded data is: ' + body)
    }
  )

4

在尝试了不同的压缩方式并解决了与编码有关的错误之后,我提出了一个更完整的答案

希望这对您也有帮助:

var request = require('request');
var zlib = require('zlib');

var options = {
  url: 'http://some.endpoint.com/api/',
  headers: {
    'X-some-headers'  : 'Some headers',
    'Accept-Encoding' : 'gzip, deflate',
  },
  encoding: null
};

request.get(options, function (error, response, body) {

  if (!error && response.statusCode == 200) {
    // If response is gzip, unzip first
    var encoding = response.headers['content-encoding']
    if (encoding && encoding.indexOf('gzip') >= 0) {
      zlib.gunzip(body, function(err, dezipped) {
        var json_string = dezipped.toString('utf-8');
        var json = JSON.parse(json_string);
        // Process the json..
      });
    } else {
      // Response is not gzipped
    }
  }

});

4

这是我的两分钱。我遇到了同样的问题,发现了一个很酷的库concat-stream

let request = require('request');
const zlib = require('zlib');
const concat = require('concat-stream');

request(url)
  .pipe(zlib.createGunzip())
  .pipe(concat(stringBuffer => {
    console.log(stringBuffer.toString());
  }));

1
当远程文件实际上是.gz预压缩的文件时,这是唯一对我有用的方法。
Ecker00 '19

3

这是一个工作示例(对节点使用请求模块),将响应压缩

function gunzipJSON(response){

    var gunzip = zlib.createGunzip();
    var json = "";

    gunzip.on('data', function(data){
        json += data.toString();
    });

    gunzip.on('end', function(){
        parseJSON(json);
    });

    response.pipe(gunzip);
}

完整代码:https//gist.github.com/0xPr0xy/5002984


谢谢你 我遇到了问题,并使用了您的解决方案,效果很好。
thtsigma 2013年

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.