使用node.js下载图像


169

我正在尝试编写一个脚本来使用node.js下载图像。这是我到目前为止的内容:

var maxLength = 10 // 10mb
var download = function(uri, callback) {
  http.request(uri)
    .on('response', function(res) {
      if (res.headers['content-length'] > maxLength*1024*1024) {
        callback(new Error('Image too large.'))
      } else if (!~[200, 304].indexOf(res.statusCode)) {
        callback(new Error('Received an invalid status code.'))
      } else if (!res.headers['content-type'].match(/image/)) {
        callback(new Error('Not an image.'))
      } else {
        var body = ''
        res.setEncoding('binary')
        res
          .on('error', function(err) {
            callback(err)
          })
          .on('data', function(chunk) {
            body += chunk
          })
          .on('end', function() {
            // What about Windows?!
            var path = '/tmp/' + Math.random().toString().split('.').pop()
            fs.writeFile(path, body, 'binary', function(err) {
              callback(err, path)
            })
          })
      }
    })
    .on('error', function(err) {
      callback(err)
    })
    .end();
}

但是,我想使它更强大:

  1. 有图书馆这样做并且做得更好吗?
  2. 响应头是否有可能说谎(关于长度,关于内容类型)?
  3. 我还应该关注其他状态代码吗?我应该麻烦重定向吗?
  4. 我想我在某处读到了binary编码将被弃用。那我该怎么办?
  5. 我怎样才能在Windows上使用它?
  6. 还有其他方法可以使此脚本更好吗?

原因:对于类似于imgur的功能(用户可以给我一个URL),我下载了该图像,然后以多种尺寸重新托管该图像。

Answers:


401

我建议使用request模块。下载文件与以下代码一样简单:

var fs = require('fs'),
    request = require('request');

var download = function(uri, filename, callback){
  request.head(uri, function(err, res, body){
    console.log('content-type:', res.headers['content-type']);
    console.log('content-length:', res.headers['content-length']);

    request(uri).pipe(fs.createWriteStream(filename)).on('close', callback);
  });
};

download('https://www.google.com/images/srpr/logo3w.png', 'google.png', function(){
  console.log('done');
});

1
凉!有没有一种方法可以在实际下载之前检查大小和内容类型?
乔纳森·翁

2
它将图像下载到哪里?
Gofilord 2014年

17
不适用于我(图片已损坏
Darth,2015年

2
@Gofilord将图像下载到您的根目录。
当当

1
您可以更改它们的保存位置吗?如果要将它们放在特定的文件夹中?
AKL012 '11

34

几天前,我遇到了这个问题,对于纯NodeJS的回答,我建议使用Stream将这些块合并在一起。

var http = require('http'),                                                
    Stream = require('stream').Transform,                                  
    fs = require('fs');                                                    

var url = 'http://www.google.com/images/srpr/logo11w.png';                    

http.request(url, function(response) {                                        
  var data = new Stream();                                                    

  response.on('data', function(chunk) {                                       
    data.push(chunk);                                                         
  });                                                                         

  response.on('end', function() {                                             
    fs.writeFileSync('image.png', data.read());                               
  });                                                                         
}).end();

最新的Node版本不适用于二进制字符串,因此在处理二进制数据时将块与字符串合并并不是一个好主意。

*使用'data.read()'时请务必小心,它将为下一个'read()'操作清空流。如果要多次使用,请将其存放在某处。


7
为什么不直接将下载流式传输到磁盘?
乔治,

在创建一个损坏的文件时,将字符串分块有很多问题,但是做到了
Shaho

27

你可以用爱可信(一承诺在在您选择的顺序Node.js的基于HTTP客户端)下载图片异步环境

npm i axios

然后,您可以使用以下基本示例开始下载图像:

const fs = require('fs');
const axios = require('axios');

/* ============================================================
  Function: Download Image
============================================================ */

const download_image = (url, image_path) =>
  axios({
    url,
    responseType: 'stream',
  }).then(
    response =>
      new Promise((resolve, reject) => {
        response.data
          .pipe(fs.createWriteStream(image_path))
          .on('finish', () => resolve())
          .on('error', e => reject(e));
      }),
  );

/* ============================================================
  Download Images in Order
============================================================ */

(async () => {
  let example_image_1 = await download_image('https://example.com/test-1.png', 'example-1.png');

  console.log(example_image_1.status); // true
  console.log(example_image_1.error); // ''

  let example_image_2 = await download_image('https://example.com/does-not-exist.png', 'example-2.png');

  console.log(example_image_2.status); // false
  console.log(example_image_2.error); // 'Error: Request failed with status code 404'

  let example_image_3 = await download_image('https://example.com/test-3.png', 'example-3.png');

  console.log(example_image_3.status); // true
  console.log(example_image_3.error); // ''
})();

2
很好的例子!但几乎不可读的代码,请尝试标准样式:D
camwhite

3
@camwhite我更喜欢分号。;)
Grant Miller

1
您确实应该将'finish'和'error'事件附加到写入流,将它们包装在Promise中并返回promise。否则,您可能会尝试访问尚未完全下载的图像。
jwerre

在等待访问之前,是否会确保图像完全下载?@jwerre
FabricioG

@jwerre @FabricioG我已经更新了该功能,download_image以捕获返回的诺言的“完成”和“错误”事件
董建华

10

如果要下载进度,请尝试以下操作:

var fs = require('fs');
var request = require('request');
var progress = require('request-progress');

module.exports = function (uri, path, onProgress, onResponse, onError, onEnd) {
    progress(request(uri))
    .on('progress', onProgress)
    .on('response', onResponse)
    .on('error', onError)
    .on('end', onEnd)
    .pipe(fs.createWriteStream(path))
};

如何使用:

  var download = require('../lib/download');
  download("https://www.google.com/images/branding/googlelogo/2x/googlelogo_color_150x54dp.png", "~/download/logo.png", function (state) {
            console.log("progress", state);
        }, function (response) {
            console.log("status code", response.statusCode);
        }, function (error) {
            console.log("error", error);
        }, function () {
            console.log("done");
        });

注意:您应该使用以下命令安装请求和请求进行模块:

npm install request request-progress --save

2
效果很好,但建议添加statusCode支票。例如,状态代码为500,则不会出现'on("error", e)。通过添加on('response', (response) => console.error(response.statusCode))它极大地方便了调试,
mateuscb 2016年

1
您可以编辑我的答案:)
Fareed Alnamrouti

4

基于以上内容,如果有人需要处理写入/读取流中的错误,则可以使用此版本。请注意stream.read(),如果发生写入错误,这是必需的,因此我们可以完成读取并close在读取流上触发。

var download = function(uri, filename, callback){
  request.head(uri, function(err, res, body){
    if (err) callback(err, filename);
    else {
        var stream = request(uri);
        stream.pipe(
            fs.createWriteStream(filename)
                .on('error', function(err){
                    callback(error, filename);
                    stream.read();
                })
            )
        .on('close', function() {
            callback(null, filename);
        });
    }
  });
};

2
stream.read()似乎已经过时,会引发错误not a function
bentulum

4
var fs = require('fs'),
http = require('http'),
https = require('https');

var Stream = require('stream').Transform;

var downloadImageToUrl = (url, filename, callback) => {

    var client = http;
    if (url.toString().indexOf("https") === 0){
      client = https;
     }

    client.request(url, function(response) {                                        
      var data = new Stream();                                                    

      response.on('data', function(chunk) {                                       
         data.push(chunk);                                                         
      });                                                                         

      response.on('end', function() {                                             
         fs.writeFileSync(filename, data.read());                               
      });                                                                         
   }).end();
};

downloadImageToUrl('https://www.google.com/images/srpr/logo11w.png', 'public/uploads/users/abc.jpg');

1
您的函数不会触发回调
crockpotveggies

4

这是对Cezary答案的扩展。如果要将其下载到特定目录,请使用它。另外,使用const而不是var。这样安全。

const fs = require('fs');
const request = require('request');
var download = function(uri, filename, callback){
  request.head(uri, function(err, res, body){    
    request(uri).pipe(fs.createWriteStream(filename)).on('close', callback);
  });
};

download('https://www.google.com/images/srpr/logo3w.png', './images/google.png', function(){
  console.log('done');
});
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.