Ruby:如何通过HTTP将文件作为multipart / form-data发布?


112

我想做一个看起来像从浏览器发布的HMTL表单的HTTP POST。具体来说,发布一些文本字段和文件字段。

发布文本字段非常简单,net / http rdocs中就有一个示例,但是我不知道如何将文件与之一起发布。

Net :: HTTP看起来不是最好的主意。遏制看起来不错。

Answers:


102

我喜欢RestClient。它将ne​​t / http封装成具有很酷的功能,例如多部分表单数据:

require 'rest_client'
RestClient.post('http://localhost:3000/foo', 
  :name_of_file_param => File.new('/path/to/file'))

它还支持流媒体。

gem install rest-client 会帮助您入门。


我对此表示赞同,现在可以进行文件上传了。我现在遇到的问题是服务器给出302,其余客户端遵循RFC(没有浏览器执行)并引发异常(因为浏览器应该警告这种行为)。其他选择是路缘石,但我从来没有在Windows中安装路缘石的运气。
马特·沃尔夫

7
自首次发布以来,API发生了一些变化,现在可以像下面这样调用多部分:RestClient.post'localhost :3000 / foo ',:upload => File.new('/ path / tofile'))参见github.com/详细信息,请参见archiloque / rest-client
克林顿

2
rest_client不支持提供请求标头。许多REST应用程序需要/期望特定类型的标头,因此其余客户端在这种情况下将无法工作。例如,JIRA需要令牌X-Atlassian-Token。
onknows 2013年

是否可以获取文件上传进度?例如,上传了40%。
Ankush 2014年

1
+1用于添加gem install rest-clientrequire 'rest_client'。该信息遗漏了太多的红宝石示例。
dansalmo '18

36

关于尼克·西格(Nick Sieger)的多篇文章库,我不能说太多好话。

它增加了对直接发布到Net :: HTTP的多部分发布的支持,而无需手动担心边界或目标可能与您自己的目标不同的大型库。

这是自述文件中有关如何使用它的一个小示例:

require 'net/http/post/multipart'

url = URI.parse('http://www.example.com/upload')
File.open("./image.jpg") do |jpg|
  req = Net::HTTP::Post::Multipart.new url.path,
    "file" => UploadIO.new(jpg, "image/jpeg", "image.jpg")
  res = Net::HTTP.start(url.host, url.port) do |http|
    http.request(req)
  end
end

您可以在此处签出该库:http : //github.com/nicksieger/multipart-post

或通过以下方式安装:

$ sudo gem install multipart-post

如果您通过SSL连接,则需要像这样启动连接:

n = Net::HTTP.new(url.host, url.port) 
n.use_ssl = true
# for debugging dev server
#n.verify_mode = OpenSSL::SSL::VERIFY_NONE
res = n.start do |http|

3
那是为我做的,正是我想要的,也正是不需要宝石的应包含的内容。Ruby遥遥领先,但遥遥领先。
Trey

太棒了,这是上帝送来的!使用它来修补OAuth gem,以支持文件上传。只花了我5分钟
马赛厄斯

@matthias我正在尝试使用OAuth gem上传照片,但是失败了。你能给我一些你的猴子补丁的例子吗?
霍普,

1
这个补丁是相当具体到我的脚本(快速和肮脏的),但看看它,也许你会有些了一个更通用的方法(gist.github.com/974084
马蒂亚斯

3
Multipart不支持请求标头。因此,例如,如果您想使用JIRA REST界面,那么分多部分只会浪费宝贵的时间。
onknows 2013年

30

curb看起来是一个不错的解决方案,但是如果它不能满足您的需求,则可以使用Net::HTTP。一个多部分的表单帖子只是一个带有一些额外标题的精心格式化的字符串。似乎每个需要编写多篇文章的Ruby程序员最终都为此编写了自己的小程序库,这使我想知道为什么没有内置此功能。也许是...无论如何,为了您的阅读乐趣,我将继续在这里提出解决方案。这段代码基于我在几个博客中找到的示例,但是很遗憾我找不到链接。所以我想我只需要为自己承担全部功劳...

我为此编写的模块包含一个公共类,用于从StringFile对象的哈希中生成表单数据和标头。因此,例如,如果您要发布一个带有名为“ title”的字符串参数和名为“ document”的文件参数的表单,则可以执行以下操作:

#prepare the query
data, headers = Multipart::Post.prepare_query("title" => my_string, "document" => my_file)

然后,你只是做一个正常的POSTNet::HTTP

http = Net::HTTP.new(upload_uri.host, upload_uri.port)
res = http.start {|con| con.post(upload_uri.path, data, headers) }

或者,否则,您想要执行此操作POST。关键是Multipart返回您需要发送的数据和标头。就是这样!简单吧?这是Multipart模块的代码(您需要mime-typesgem):

# Takes a hash of string and file parameters and returns a string of text
# formatted to be sent as a multipart form post.
#
# Author:: Cody Brimhall <mailto:brimhall@somuchwit.com>
# Created:: 22 Feb 2008
# License:: Distributed under the terms of the WTFPL (http://www.wtfpl.net/txt/copying/)

require 'rubygems'
require 'mime/types'
require 'cgi'


module Multipart
  VERSION = "1.0.0"

  # Formats a given hash as a multipart form post
  # If a hash value responds to :string or :read messages, then it is
  # interpreted as a file and processed accordingly; otherwise, it is assumed
  # to be a string
  class Post
    # We have to pretend we're a web browser...
    USERAGENT = "Mozilla/5.0 (Macintosh; U; PPC Mac OS X; en-us) AppleWebKit/523.10.6 (KHTML, like Gecko) Version/3.0.4 Safari/523.10.6"
    BOUNDARY = "0123456789ABLEWASIEREISAWELBA9876543210"
    CONTENT_TYPE = "multipart/form-data; boundary=#{ BOUNDARY }"
    HEADER = { "Content-Type" => CONTENT_TYPE, "User-Agent" => USERAGENT }

    def self.prepare_query(params)
      fp = []

      params.each do |k, v|
        # Are we trying to make a file parameter?
        if v.respond_to?(:path) and v.respond_to?(:read) then
          fp.push(FileParam.new(k, v.path, v.read))
        # We must be trying to make a regular parameter
        else
          fp.push(StringParam.new(k, v))
        end
      end

      # Assemble the request body using the special multipart format
      query = fp.collect {|p| "--" + BOUNDARY + "\r\n" + p.to_multipart }.join("") + "--" + BOUNDARY + "--"
      return query, HEADER
    end
  end

  private

  # Formats a basic string key/value pair for inclusion with a multipart post
  class StringParam
    attr_accessor :k, :v

    def initialize(k, v)
      @k = k
      @v = v
    end

    def to_multipart
      return "Content-Disposition: form-data; name=\"#{CGI::escape(k)}\"\r\n\r\n#{v}\r\n"
    end
  end

  # Formats the contents of a file or string for inclusion with a multipart
  # form post
  class FileParam
    attr_accessor :k, :filename, :content

    def initialize(k, filename, content)
      @k = k
      @filename = filename
      @content = content
    end

    def to_multipart
      # If we can tell the possible mime-type from the filename, use the
      # first in the list; otherwise, use "application/octet-stream"
      mime_type = MIME::Types.type_for(filename)[0] || MIME::Types["application/octet-stream"][0]
      return "Content-Disposition: form-data; name=\"#{CGI::escape(k)}\"; filename=\"#{ filename }\"\r\n" +
             "Content-Type: #{ mime_type.simplified }\r\n\r\n#{ content }\r\n"
    end
  end
end

嗨!此代码的许可是什么?另外:最好在顶部的评论中添加此帖子的URL。谢谢!
docwhat 2010年

5
这篇文章中的代码已根据WTFPL(sam.zoy.org/wtfpl)许可。请享用!
科迪·布里姆霍尔

您不应将文件流传递给该类的Initialize调用FileParam。方法中的分配to_multipart再次复制文件内容,这是不必要的!而是只传递文件描述符并在以下时间读取文件描述符to_multipart
2012年

1
这段代码很棒!因为它有效。Rest-client和Siegers Multipart-post不支持请求标头。如果您需要请求标头,则会在rest-client和Siegers Multipart帖子上浪费很多宝贵的时间。
onknows 2013年

实际上,@ Onno现在支持请求标头。看到我对eric的回答的评论
亚历山大·

24

另一个仅使用标准库的库:

uri = URI('https://some.end.point/some/path')
request = Net::HTTP::Post.new(uri)
request['Authorization'] = 'If you need some headers'
form_data = [['photos', photo.tempfile]] # or File.open() in case of local file

request.set_form form_data, 'multipart/form-data'
response = Net::HTTP.start(uri.hostname, uri.port, use_ssl: true) do |http| # pay attention to use_ssl if you need it
  http.request(request)
end

尝试了很多方法,但是只有这种方法对我有用。


3
谢谢你 第一点,第1行应该是: uri = URI('https://some.end.point/some/path') 这样一来,您可以调用uri.port并且uri.host以后不会出错。
davidkovsky

1
一个较小的更改,如果不是tempfile,并且要从光盘上载文件,File.open则不应该使用File.read
Anil Yanduri,

1
在大多数情况下,需要文件名,这是我添加的形式:form_data = [['file',File.read(file_name),{filename:file_name}]]
ZsJoska

4
这是正确的答案。人们应该在可能的情况下停止使用包装宝石,然后再回到基础知识。
卡洛斯·罗克

18

在尝试了本文中其他可用的方法之后,这是我的解决方案,我正在使用它在TwitPic上上传照片:

  def upload(photo)
    `curl -F media=@#{photo.path} -F username=#{@username} -F password=#{@password} -F message='#{photo.title}' http://twitpic.com/api/uploadAndPost`
  end

1
尽管似乎有点骇人听闻,但这对我来说可能是最好的解决方案,非常感谢这个建议!
Bo Jeanes

只是给那些粗心的人一个提示,media = @ ...是使curl成为...的文件,而不仅仅是字符串。红宝石语法有点让人困惑,但是@#{photo.path}与#{@photo.path}不同。此解决方案是最好的恕我直言之一。
叶夫根尼(Evgeny)2010年

7
这看起来不错,但是如果您的@username包含“ foo && rm -rf /”,则情况会非常糟糕:-P
gaspard 2014年


7

好的,这是一个使用路缘石的简单示例。

require 'yaml'
require 'curb'

# prepare post data
post_data = fields_hash.map { |k, v| Curl::PostField.content(k, v.to_s) }
post_data << Curl::PostField.file('file', '/path/to/file'), 

# post
c = Curl::Easy.new('http://localhost:3000/foo')
c.multipart_form_post = true
c.http_post(post_data)

# print response
y [c.response_code, c.body_str]

3

在我覆盖RestClient :: Payload :: Multipart中的create_file_field之前,restclient对我不起作用。

它正在每个部分中创建一个“ Content-Disposition:multipart / form-data”,其中应为“ Content-Disposition:form-data”

http://www.ietf.org/rfc/rfc2388.txt

如果需要,我的叉子在这里:git@github.com:kcrawford / rest-client.git


最新的restclient中已修复此问题。

1

好的,使用NetHttp的解决方案有一个缺点,那就是在发布大文件时,它将首先将整个文件加载到内存中。

在玩了一点之后,我想到了以下解决方案:

class Multipart

  def initialize( file_names )
    @file_names = file_names
  end

  def post( to_url )
    boundary = '----RubyMultipartClient' + rand(1000000).to_s + 'ZZZZZ'

    parts = []
    streams = []
    @file_names.each do |param_name, filepath|
      pos = filepath.rindex('/')
      filename = filepath[pos + 1, filepath.length - pos]
      parts << StringPart.new ( "--" + boundary + "\r\n" +
      "Content-Disposition: form-data; name=\"" + param_name.to_s + "\"; filename=\"" + filename + "\"\r\n" +
      "Content-Type: video/x-msvideo\r\n\r\n")
      stream = File.open(filepath, "rb")
      streams << stream
      parts << StreamPart.new (stream, File.size(filepath))
    end
    parts << StringPart.new ( "\r\n--" + boundary + "--\r\n" )

    post_stream = MultipartStream.new( parts )

    url = URI.parse( to_url )
    req = Net::HTTP::Post.new(url.path)
    req.content_length = post_stream.size
    req.content_type = 'multipart/form-data; boundary=' + boundary
    req.body_stream = post_stream
    res = Net::HTTP.new(url.host, url.port).start {|http| http.request(req) }

    streams.each do |stream|
      stream.close();
    end

    res
  end

end

class StreamPart
  def initialize( stream, size )
    @stream, @size = stream, size
  end

  def size
    @size
  end

  def read ( offset, how_much )
    @stream.read ( how_much )
  end
end

class StringPart
  def initialize ( str )
    @str = str
  end

  def size
    @str.length
  end

  def read ( offset, how_much )
    @str[offset, how_much]
  end
end

class MultipartStream
  def initialize( parts )
    @parts = parts
    @part_no = 0;
    @part_offset = 0;
  end

  def size
    total = 0
    @parts.each do |part|
      total += part.size
    end
    total
  end

  def read ( how_much )

    if @part_no >= @parts.size
      return nil;
    end

    how_much_current_part = @parts[@part_no].size - @part_offset

    how_much_current_part = if how_much_current_part > how_much
      how_much
    else
      how_much_current_part
    end

    how_much_next_part = how_much - how_much_current_part

    current_part = @parts[@part_no].read(@part_offset, how_much_current_part )

    if how_much_next_part > 0
      @part_no += 1
      @part_offset = 0
      next_part = read ( how_much_next_part  )
      current_part + if next_part
        next_part
      else
        ''
      end
    else
      @part_offset += how_much_current_part
      current_part
    end
  end
end

什么是StreamPart类?
马林·皮尔斯


0

我有同样的问题(需要发布到jboss Web服务器)。在我在代码中使用会话变量时,遏制对我而言工作正常,除了它导致红宝石崩溃(ubuntu 8.10上的红宝石1.8.7)之外。

我研究了其余客户端文档,找不到支持多部分的指示。我尝试了上面的rest-client示例,但是jboss说http帖子不是多篇文章。


0

这个由多部分组成的gem在Rails 4 Net :: HTTP上可以很好地工作,没有其他特殊的gem

def model_params
  require_params = params.require(:model).permit(:param_one, :param_two, :param_three, :avatar)
  require_params[:avatar] = model_params[:avatar].present? ? UploadIO.new(model_params[:avatar].tempfile, model_params[:avatar].content_type, model_params[:avatar].original_filename) : nil
  require_params
end

require 'net/http/post/multipart'

url = URI.parse('http://www.example.com/upload')
Net::HTTP.start(url.host, url.port) do |http|
  req = Net::HTTP::Post::Multipart.new(url, model_params)
  key = "authorization_key"
  req.add_field("Authorization", key) #add to Headers
  http.use_ssl = (url.scheme == "https")
  http.request(req)
end

https://github.com/Feuda/multipart-post/tree/patch-1

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.