ruby 1.9：UTF-8中的无效字节序列

我正在用Ruby（1.9）编写一个爬虫，该爬虫使用了来自许多随机站点的大量HTML。
尝试提取链接时，我决定只使用.scan(/href="(.*?)"/i)nokogiri / hpricot（主要是提高速度）。问题是我现在收到很多“ invalid byte sequence in UTF-8”错误。
据我了解，该net/http库没有任何特定于编码的选项，并且进来的东西基本上没有正确标记。
实际使用该传入数据的最佳方法是什么？我尝试.encode设置了replace和invalid选项，但到目前为止没有成功...

在Ruby 1.9.3中，可以使用String.encode“忽略”无效的UTF-8序列。这是一个可以在1.8（iconv）和1.9（String＃encode）中使用的代码段：

require 'iconv' unless String.method_defined?(:encode)
if String.method_defined?(:encode)
  file_contents.encode!('UTF-8', 'UTF-8', :invalid => :replace)
else
  ic = Iconv.new('UTF-8', 'UTF-8//IGNORE')
  file_contents = ic.iconv(file_contents)
end

或者，如果您输入的内容确实很麻烦，则可以将UTF-8转换为UTF-16，然后再转换回UTF-8：

require 'iconv' unless String.method_defined?(:encode)
if String.method_defined?(:encode)
  file_contents.encode!('UTF-16', 'UTF-8', :invalid => :replace, :replace => '')
  file_contents.encode!('UTF-8', 'UTF-16')
else
  ic = Iconv.new('UTF-8', 'UTF-8//IGNORE')
  file_contents = ic.iconv(file_contents)
end

接受的答案或其他答案都对我有用。我发现这篇文章暗示

string.encode!('UTF-8', 'binary', invalid: :replace, undef: :replace, replace: '')

这为我解决了问题。

我当前的解决方案是运行：

my_string.unpack("C*").pack("U*")

这至少会摆脱我主要的问题

试试这个：

def to_utf8(str)
  str = str.force_encoding('UTF-8')
  return str if str.valid_encoding?
  str.encode("UTF-8", 'binary', invalid: :replace, undef: :replace, replace: '')
end

我建议您使用HTML解析器。只要找到最快的一个。

解析HTML并不像看起来那样容易。

浏览器会在UTF-8 HTML文档中解析无效的UTF-8序列，只需将“ ...”符号放入即可。因此，一旦解析了HTML中的无效UTF-8序列，生成的文本即为有效字符串。

即使在内部属性值中，您也必须解码amp等HTML实体

这是一个很好的问题，它总结了为什么不能可靠地使用正则表达式解析HTML： RegEx匹配除XHTML自包含标签以外的其他开放标签

这似乎可行：

def sanitize_utf8(string)
  return nil if string.nil?
  return string if string.valid_encoding?
  string.chars.select { |c| c.valid_encoding? }.join
end

attachment = file.read

begin
   # Try it as UTF-8 directly
   cleaned = attachment.dup.force_encoding('UTF-8')
   unless cleaned.valid_encoding?
     # Some of it might be old Windows code page
     cleaned = attachment.encode( 'UTF-8', 'Windows-1252' )
   end
   attachment = cleaned
 rescue EncodingError
   # Force it to UTF-8, throwing out invalid bits
   attachment = attachment.force_encoding("ISO-8859-1").encode("utf-8", replace: nil)
 end

我遇到过字符串，其中混合了英语，俄语和其他一些字母，这导致了异常。我只需要俄语和英语，这目前对我有用：

ec1 = Encoding::Converter.new "UTF-8","Windows-1251",:invalid=>:replace,:undef=>:replace,:replace=>""
ec2 = Encoding::Converter.new "Windows-1251","UTF-8",:invalid=>:replace,:undef=>:replace,:replace=>""
t = ec2.convert ec1.convert t

尽管Nakilon的解决方案有效，至少可以克服错误，但就我而言，我将源自Microsoft Excel的这个怪异的f-ed字符转换为CSV，并将其注册为红宝石西里尔字母K，红宝石是一个加粗的K。为了解决这个问题，我使用了“ iso-8859-1”即。CSV.parse(f, :encoding => "iso-8859-1")，这使我怪异的，古朴的西里尔字母K变成了更易于管理的代码/\xCA/，然后可以通过删除string.gsub!(/\xCA/, '')

在使用之前scan，请确保所请求页面的Content-Type标题为text/html，因为可以链接到诸如未以UTF-8编码的图像之类的东西。如果您使用href诸如<link>元素之类的元素，则该页面也可能不是HTML 。根据使用的HTTP库的不同，检查方法也不同。然后，确保结果仅使用ascii String#ascii_only?（而不是UTF-8，因为HTML仅应使用ascii，否则可以使用实体）。如果这两个测试均通过，则可以安全使用scan。

如果您不关心数据，则可以执行以下操作：

search_params = params[:search].valid_encoding? ? params[:search].gsub(/\W+/, '') : "nothing"

我只是valid_encoding?过去而已。我的是一个搜索领域，所以我一遍又一遍地发现了同样的怪异，所以我使用了类似的东西：只是为了不让系统崩溃。由于我无法控制用户体验在发送此信息之前进行自动验证（例如自动反馈说“ dummy up！”），因此我可以直接将其接收，剥离并返回空白结果。