如何在Ruby中替换带重音符号的拉丁字符？

我有一个ActiveRecord模型，Foo其中有一个name字段。我希望用户能够按名称搜索，但我希望搜索忽略大小写和任何重音符号。因此，我还要存储一个canonical_name要搜索的字段：

class Foo
  validates_presence_of :name

  before_validate :set_canonical_name

  private

  def set_canonical_name
    self.canonical_name ||= canonicalize(self.name) if self.name
  end

  def canonicalize(x)
    x.downcase.  # something here
  end
end

我需要填写“此处的内容”以替换带重音符号的字符。有没有比这更好的了

x.downcase.gsub(/[àáâãäå]/,'a').gsub(/æ/,'ae').gsub(/ç/, 'c').gsub(/[èéêë]/,'e')....

而且，就此而言，由于我没有使用Ruby 1.9，所以无法将这些Unicode文字放入我的代码中。实际的正则表达式看起来丑陋得多。

Rails已经有一个用于规范化的内置函数，您只需要使用它来规范化您的字符串以形成KD，然后删除其他字符（即重音符号），如下所示：

>> "àáâãäå".mb_chars.normalize(:kd).gsub(/[^\x00-\x7F]/n,'').downcase.to_s
=> "aaaaaa"

ActiveSupport::Inflector.transliterate （需要Rails 2.2.1+和Ruby 1.9或1.8.7）

例：

>> ActiveSupport::Inflector.transliterate("àáâãäå").to_s => "aaaaaa"

更好的是使用I18n：

1.9.3-p392 :001 > require "i18n"
 => false
1.9.3-p392 :002 > I18n.transliterate("Olá Mundo!")
 => "Ola Mundo!"

我已经尝试了很多这种方法，但是它们并没有满足以下一项或多项要求：

• 尊重空间
• 尊重“ñ”字符
• 尊重大小写（我知道这不是原始问题的要求，但是将字符串移动到小写字母并不难）

一直这样：

# coding: utf-8
string.tr(
  "ÀÁÂÃÄÅàáâãäåĀāĂ㥹ÇçĆćĈĉĊċČčÐðĎďĐđÈÉÊËèéêëĒēĔĕĖėĘęĚěĜĝĞğĠġĢģĤĥĦħÌÍÎÏìíîïĨĩĪīĬĭĮįİıĴĵĶķĸĹĺĻļĽľĿŀŁłÑñŃńŅņŇňʼnŊŋÒÓÔÕÖØòóôõöøŌōŎŏŐőŔŕŖŗŘřŚśŜŝŞşŠšſŢţŤťŦŧÙÚÛÜùúûüŨũŪūŬŭŮůŰűŲųŴŵÝýÿŶŷŸŹźŻżŽž",
  "AAAAAAaaaaaaAaAaAaCcCcCcCcCcDdDdDdEEEEeeeeEeEeEeEeEeGgGgGgGgHhHhIIIIiiiiIiIiIiIiIiJjKkkLlLlLlLlLlNnNnNnNnnNnOOOOOOooooooOoOoOoRrRrRrSsSsSsSssTtTtTtUUUUuuuuUuUuUuUuUuUuWwYyyYyYZzZzZz"
)

– http://blog.slashpoundbang.com/post/12938588984/remove-all-accents-and-diacritics-from-string-in-ruby

您必须对字符列表进行一些修改以尊重“ñ”字符，但这是一项容易的工作。

我的答案：String＃parameterize方法：

"Le cœur de la crémiére".parameterize
=> "le-coeur-de-la-cremiere"

对于非Rails程序：

安装activesupport：gem install activesupport然后：

require 'active_support/inflector'
"a&]'s--3\014\xC2àáâã3D".parameterize
# => "a-s-3-3d"

我认为您可能并不真正走那条路。如果您正在开发具有此类字母的市场，那么您的用户可能会认为您有点...点子。因为对于用户而言，“å”甚至不接近“ a”。走另一条路，阅读有关以非ascii方式搜索的信息。这只是有人发明unicode和collat​​ion的情况之一。

PS很晚了：

http://www.w3.org/International/wiki/Case_folding http://www.w3.org/TR/charmod-norm/#sec-WhyNormalization

除此之外，我没有办法将排序规则的链接转到msdn页面，但是我将其保留在那里。它应该是http://www.unicode.org/reports/tr10/

分解字符串并从中删除非空格标记。

irb -ractive_support/all
> "àáâãäå".mb_chars.normalize(:kd).gsub(/\p{Mn}/, '')
aaaaaa

如果在.rb文件中使用，可能还需要此功能。

# coding: utf-8

该normalize(:kd)部分在可能的情况下拆分变音符号（例如：“ n与tilda”单个字符被拆分为n，然后再组合变音符tilda字符），然后该gsub部分将删除所有变音符。

假设您使用Rails。

"anything".parameterize.underscore.humanize.downcase

根据您的要求，这可能就是我要做的...我认为它简洁，简单，并且会在Rails和Ruby的未来版本中保持最新。

更新：dgilperez指出该parameterize参数带有分隔符，因此"anything".parameterize(" ")（不建议使用）"anything".parameterize(separator: " ")或更短更整洁。

将文本转换为规范化形式D，删除所有具有unicode类别非间隔标记（Mn）的代码点，然后将其转换回规范化形式C。这将消除所有变音符号，并且您的问题将减少为不区分大小写的搜索。

有关详细信息，请参见http://www.siao2.com/2005/02/19/376617.aspx和http://www.siao2.com/2007/05/14/2629747.aspx。

关键是在数据库中使用两列： canonical_text和original_text。使用original_text用于显示和canonical_text进行搜索。这样，如果用户搜索“ Visual Cafe”，则她会看到“ VisualCafé”结果。如果她确实想要其他商品“ Visual Cafe”，则可以将其单独保存。

要在Ruby 1.8源文件中获取canonical_text字符，请执行以下操作：

register_replacement([0x008A].pack('U'), 'S')

您可能需要Unicode分解（“ NFD”）。分解字符串后，只需过滤掉[A-Za-z]中没有的任何内容。æ将分解为“ ae”，ã分解为“ a〜”（大约-变音符号将成为一个单独的字符），因此过滤会留下合理的近似值。

iconv：

http://groups.google.com/group/ruby-talk-google/browse_frm/thread/8064dcac15d688ce？

=============

我不明白的Perl模块：

http://www.ahinea.com/en/tech/accented-translate.html

============

蛮力（有很多的小动物！：

http://projects.jkraemer.net/acts_as_ferret/wiki#UTF-8support

http://snippets.dzone.com/posts/show/2384

对于阅读此内容并希望去除所有非ASCII字符的任何人，这可能很有用，我成功地使用了第一个示例。

我在使foo.mb_chars.normalize（：kd）.gsub（/ [^ \ x00- \ x7F] / n，''）。downcase.to_s解决方案正常工作时遇到问题。我没有使用Rails，与我的activesupport / ruby​​版本存在一些冲突，无法深入了解。

使用ruby-unf宝石似乎是一个很好的替代方法：

require 'unf'
foo.to_nfd.gsub(/[^\x00-\x7F]/n,'').downcase

据我所知，它与.mb_chars.normalize（：kd）的作用相同。这个对吗？谢谢！

如果您使用PostgreSQL => 9.4作为数据库适配器，也许您可​​以在迁移中添加它是“ unaccent”扩展名，我认为它可以满足您的要求，例如：

def self.up
   enable_extension "unaccent" # No falla si ya existe
end

为了测试，在控制台中：

2.3.1 :045 > ActiveRecord::Base.connection.execute("SELECT unaccent('unaccent', 'àáâãäåÁÄ')").first
 => {"unaccent"=>"aaaaaaAA"}

请注意，到目前为止，区分大小写。

然后，可以在范围内使用它，例如：

scope :with_canonical_name, -> (name) {
   where("unaccent(foos.name) iLIKE unaccent('#{name}')")
}

iLIKE运算符使搜索大小写不敏感。还有另一种使用citext数据类型的方法。这是关于这两种方法的讨论。还要注意，不建议使用PosgreSQL的lower（）函数。

这将为您节省一些数据库空间，因为您将不再需要cannonical_name字段，并且可能使模型更简单，但需要在每个查询中进行一些额外处理，具体取决于您使用的是iLIKE还是citext，并且您的数据集。

如果您使用的是MySQL，也许可以使用此简单的解决方案，但我尚未对其进行测试。

大声笑..我刚刚尝试了..并且它正在工作..我仍然不太确定为什么..但是当我使用这4行代码时：

• str = str.gsub（/ [^ a-zA-Z0-9] /，“”）
• str = str.gsub（/ [] + /，“”）
• str = str.gsub（/ /，“-”）
• str = str.downcase

它会自动删除文件名中的任何重音..我正试图删除（从文件名中重命名并重命名它们）希望它有所帮助:)