如何通过HTTP下载二进制文件？

如何使用Ruby通过HTTP下载和保存二进制文件？

网址为http://somedomain.net/flv/sample/sample.flv。

我在Windows平台上，所以我不希望运行任何外部程序。

最简单的方法是特定于平台的解决方案：

 #!/usr/bin/env ruby
`wget http://somedomain.net/flv/sample/sample.flv`

可能您正在搜索：

require 'net/http'
# Must be somedomain.net instead of somedomain.net/, otherwise, it will throw exception.
Net::HTTP.start("somedomain.net") do |http|
    resp = http.get("/flv/sample/sample.flv")
    open("sample.flv", "wb") do |file|
        file.write(resp.body)
    end
end
puts "Done."

编辑：已更改。谢谢。

Edit2：下载时保存部分文件的解决方案：

# instead of http.get
f = open('sample.flv')
begin
    http.request_get('/sample.flv') do |resp|
        resp.read_body do |segment|
            f.write(segment)
        end
    end
ensure
    f.close()
end

我知道这是一个老问题，但是Google将我扔到这里，我认为我找到了一个简单的答案。

在Railscasts＃179中，Ryan Bates使用Ruby标准类OpenURI来完成许多这样的要求：

（警告：未经测试的代码。您可能需要对其进行更改/调整。）

require 'open-uri'

File.open("/my/local/path/sample.flv", "wb") do |saved_file|
  # the following "open" is provided by open-uri
  open("http://somedomain.net/flv/sample/sample.flv", "rb") do |read_file|
    saved_file.write(read_file.read)
  end
end

这是我使用Ruby http归档的文件open(name, *rest, &block)。

require "open-uri"
require "fileutils"

def download(url, path)
  case io = open(url)
  when StringIO then File.open(path, 'w') { |f| f.write(io) }
  when Tempfile then io.close; FileUtils.mv(io.path, path)
  end
end

它的主要优点是简洁明了，因为open它可以完成许多繁重的工作。而且它不会读取内存中的整个响应。

该open方法会将大于1kb的响应流式传输到Tempfile。我们可以利用这些知识来实现​​这种精益下载到文件的方法。在此处查看OpenURI::Buffer实现。

请小心用户提供的输入！ open(name, *rest, &block)如果name来自用户输入，则是不安全的！

Ruby的net / http文档中的示例3 展示了如何通过HTTP下载文档，以及如何输出文件而不是仅将其加载到内存中，而是用二进制写操作替换文件，例如，如Dejw的答案所示。

同一文档中更详细地显示了更复杂的情况。

您可以使用open-uri，这是一个班轮

require 'open-uri'
content = open('http://example.com').read

或使用net / http

require 'net/http'
File.write("file_name", Net::HTTP.get(URI.parse("http://url.com")))

扩展Dejw的答案（edit2）：

File.open(filename,'w'){ |f|
  uri = URI.parse(url)
  Net::HTTP.start(uri.host,uri.port){ |http| 
    http.request_get(uri.path){ |res| 
      res.read_body{ |seg|
        f << seg
#hack -- adjust to suit:
        sleep 0.005 
      }
    }
  }
}

其中filename和url是字符串。

当网络成为限制因素时，该sleep命令是一种可以大大减少CPU使用率的黑客。Net :: HTTP不会等待缓冲区（在v1.9.2中为16kB）填满才让步，因此CPU忙于自己移动小块内存。睡眠片刻可以使缓冲区有机会在两次写操作之间充满，并且CPU使用率与curl解决方案相当，在我的应用程序中相差4-5倍。一个更强大的解决方案可能会检查f.pos并调整超时以达到目标，例如缓冲区大小的95％－实际上，这就是我在示例中获得的0.005值的方式。

抱歉，但是我不知道让Ruby等待缓冲区填充的更优雅的方法。

编辑：

这是一个自动调整自身以使缓冲区保持等于或低于容量的版本。这是一个不太好的解决方案，但是它看起来一样快，并且只需占用很少的CPU时间，就像它呼唤卷曲一样。

它分为三个阶段。短暂的学习时间和故意较长的睡眠时间可以确定整个缓冲区的大小。下降周期通过将其乘以一个较大的因子来迅速减少每次迭代的睡眠时间，直到找到未满的缓冲区为止。然后，在正常期间，它会以较小的系数上下调整。

我的Ruby有点生锈，所以我敢肯定它可以改善。首先，没有错误处理。另外，也许可以将其分离为一个对象，而不必进行下载本身，这样您就可以autosleep.sleep(f.pos)在循环中进行调用了吗？更好的是，可以将Net :: HTTP更改为在产生:-)之前等待完整的缓冲区

def http_to_file(filename,url,opt={})
  opt = {
    :init_pause => 0.1,    #start by waiting this long each time
                           # it's deliberately long so we can see 
                           # what a full buffer looks like
    :learn_period => 0.3,  #keep the initial pause for at least this many seconds
    :drop => 1.5,          #fast reducing factor to find roughly optimized pause time
    :adjust => 1.05        #during the normal period, adjust up or down by this factor
  }.merge(opt)
  pause = opt[:init_pause]
  learn = 1 + (opt[:learn_period]/pause).to_i
  drop_period = true
  delta = 0
  max_delta = 0
  last_pos = 0
  File.open(filename,'w'){ |f|
    uri = URI.parse(url)
    Net::HTTP.start(uri.host,uri.port){ |http|
      http.request_get(uri.path){ |res|
        res.read_body{ |seg|
          f << seg
          delta = f.pos - last_pos
          last_pos += delta
          if delta > max_delta then max_delta = delta end
          if learn <= 0 then
            learn -= 1
          elsif delta == max_delta then
            if drop_period then
              pause /= opt[:drop_factor]
            else
              pause /= opt[:adjust]
            end
          elsif delta < max_delta then
            drop_period = false
            pause *= opt[:adjust]
          end
          sleep(pause)
        }
      }
    }
  }
end

还有更多的API友好的库比Net::HTTP，例如httparty：

require "httparty"
File.open("/tmp/my_file.flv", "wb") do |f| 
  f.write HTTParty.get("http://somedomain.net/flv/sample/sample.flv").parsed_response
end

如果文件中包含德国Umlauts（ä，ö，ü），我遇到了问题。我可以使用以下方法解决问题：

ec = Encoding::Converter.new('iso-8859-1', 'utf-8')
...
f << ec.convert(seg)
...

如果您正在寻找一种下载临时文件的方法，请执行以下操作并将其删除，请尝试使用此gem https://github.com/equivalent/pull_tempfile

require 'pull_tempfile'

PullTempfile.transaction(url: 'https://mycompany.org/stupid-csv-report.csv', original_filename: 'dont-care.csv') do |tmp_file|
  CSV.foreach(tmp_file.path) do |row|
    # ....
  end
end