如何从字符串中去除非ASCII字符?(在C#中)


Answers:


414
string s = "søme string";
s = Regex.Replace(s, @"[^\u0000-\u007F]+", string.Empty);

19
对于我们这些正面临挑战的RegEx,您介意用简单的英语写下您的RegEx模式。换句话说,“ ^做到了”,等等……
Metro Smurf

47
@Metro Smurf ^是not运算符。它告诉正则表达式查找不匹配的所有内容,而不是不匹配的所有内容。\ u ####-\ u ####表示匹配的字符。\ u0000- \ u007F是utf-8或unicode中前255个字符的等价字符,它们始终是ascii字符。因此,您匹配每个非ascii字符(因为不是),并对所有匹配的字符进行替换。
戈登·塔克

41
可打印字符的范围是0020-007E,适用于正在寻找正则表达式来替换不可打印字符的人们
Mubashar 2014年

1
@GordonTucker \ u0000- \ u007F是前127个字符的等价字符 utf-8或unicode中,而不是前225个。请参见表
full_prog_full

4
@full_prog_full,这就是为什么我在一分钟后回复自己,纠正自己说是127而不是255的原因。:)
Gordon Tucker

125

这是一个不使用正则表达式的纯.NET解决方案:

string inputString = "Räksmörgås";
string asAscii = Encoding.ASCII.GetString(
    Encoding.Convert(
        Encoding.UTF8,
        Encoding.GetEncoding(
            Encoding.ASCII.EncodingName,
            new EncoderReplacementFallback(string.Empty),
            new DecoderExceptionFallback()
            ),
        Encoding.UTF8.GetBytes(inputString)
    )
);

它看起来很麻烦,但是应该很直观。它使用.NET ASCII编码来转换字符串。转换期间使用UTF8,因为它可以表示任何原始字符。它使用EncoderReplacementFallback将任何非ASCII字符转换为空字符串。


5
完善!我正在使用它来清理字符串,然后再将其保存到RTF文档中。非常感谢。比Regex版本更容易理解。
内森·普拉瑟

21
您真的发现它更容易理解吗?对我来说,所有不相关的东西(回退,转换为字节等)都将注意力从实际发生的事情上转移了。
bzlm

21
这有点像说螺丝刀太混乱了,所以我只用锤子。
布兰登

8
@Brandon,实际上,这种技术没有比其他技术做得更好。因此,类推将使用普通的老式螺丝刀,而不是花哨的iScrewDriver Deluxe2000。:)
bzlm 2011年

10
一个优点是,我可以轻松用ISO 8859-1或其他编码替换ASCII :)
山本彰(Akira Yamamoto)

38

我相信MonsCamus的意思是:

parsememo = Regex.Replace(parsememo, @"[^\u0020-\u007E]", string.Empty);

1
恕我直言,此答案比接受的答案要好,因为它会去除控制字符。
Dean2690


11

philcruz正则表达式解决方案的启发,我制作了一个纯LINQ解决方案

public static string PureAscii(this string source, char nil = ' ')
{
    var min = '\u0000';
    var max = '\u007F';
    return source.Select(c => c < min ? nil : c > max ? nil : c).ToText();
}

public static string ToText(this IEnumerable<char> source)
{
    var buffer = new StringBuilder();
    foreach (var c in source)
        buffer.Append(c);
    return buffer.ToString();
}

这是未经测试的代码。


1
对于那些不了解它的人,这是一个基于C#4.0 LINQ的解决方案。:)

7
代替单独的ToText()方法,将PureAscii()的第3行替换为:返回新字符串(source.Select(c => c <min?nil:c> max?nil:c).ToArray()) ;
agentnega

或者将ToText表示为:return(new string(source))。ToArray()-取决于效果最佳。将ToText作为扩展方法-流利/管道样式仍然很不错。:-)
Bent Rasmussen

该代码用空格替换非ASCII字符。要删除它们,return new string( source.Where( c => c >= min && c <= max ).ToArray() );
请将“

@Foozinator该代码允许您指定用哪个字符替换非ASCII字符。默认情况下,它使用空格,但是如果将其命名为.PureASCII(Char.MinValue),它将用'\ 0'替换所有非ASCII-仍然不能完全剥离它们,但是结果类似。
Ulfius

5

无需正则表达式。只是使用编码...

sOutput = System.Text.Encoding.ASCII.GetString(System.Text.Encoding.ASCII.GetBytes(sInput));

5
这是行不通的。这不会去除unicode字符,而是将它们替换为?。字符。
大卫

1
@大卫是正确的。至少我????nacho??尝试时得到了:たまねこnachoなち单声道3.4
nacho4d 2014年

1
您可以实例化自己的Encoding类,而不是替换字符,而是将其删除。请参阅GetEncoding方法:msdn.microsoft.com/zh-cn/library/89856k4b
v=vs.110).aspx

4

我发现以下稍微改变的范围可用于从数据库中解析注释块,这意味着您不必与制表符和转义符竞争,而这会导致CSV字段变得烦躁。

parsememo = Regex.Replace(parsememo, @"[^\u001F-\u007F]", string.Empty);

如果要避免其他特殊字符或特殊标点符号,请检查ascii表


1
如果任何人都没有注意到其他注释,则可打印字符实际上是@“ [^ \ u0020- \ u007E]”。如果您有兴趣
scradam

3

我来这里是为了寻找扩展的ASCII字符的解决方案,但找不到它。我找到的最接近的是bzlm的解决方案。但这仅适用于127以下的ASCII代码(显然,您可以替换其代码中的编码类型,但我认为理解起来有点复杂。因此,请共享此版本)。这是适用于扩展ASCII码(即最多255ISO 8859-1)的解决方案

查找并去除非ASCII字符(大于255)

Dim str1 as String= "â, ??î or ôu🕧� n☁i✑💴++$-💯♓!🇪🚑🌚‼⁉4⃣od;/⏬'®;😁☕😁:☝)😁😁///😍1!@#"

Dim extendedAscii As Encoding = Encoding.GetEncoding("ISO-8859-1", 
                                                New EncoderReplacementFallback(String.empty),
                                                New DecoderReplacementFallback())

Dim extendedAsciiBytes() As Byte = extendedAscii.GetBytes(str1)

Dim str2 As String = extendedAscii.GetString(extendedAsciiBytes)

console.WriteLine(str2)
'Output : â, ??î or ôu ni++$-!‼⁉4od;/';:)///1!@#$%^yz:

是代码工作提琴

根据要求替换编码,其余部分应保持不变。


2
唯一可以从此字符串“Ωcçã”中删除Ω的电阻。非常感谢你!
拉斐尔·阿拉霍

2

这不是最佳的性能,而是一种非常简单的Linq方法:

string strippedString = new string(
    yourString.Where(c => c <= sbyte.MaxValue).ToArray()
    );

缺点是,所有“尚存的”字符都首先被放入类型数组中char[],然后在string构造函数不再使用它后将其丢弃。


1

我用了这个正则表达式:

    string s = "søme string";
    Regex regex = new Regex(@"[^a-zA-Z0-9\s]", (RegexOptions)0);
    return regex.Replace(s, "");

16
这样也可以删除标点符号,以防万一这不是某人想要的。
德鲁·诺阿克斯

1

我使用此正则表达式过滤掉文件名中的错误字符。

Regex.Replace(directory, "[^a-zA-Z0-9\\:_\- ]", "")

那应该是文件名所允许的所有字符。


1
不。请参阅Path.GetInvalidPathCharsPath.GetInvalidFileNameChars。因此,有成千上万个有效字符。
Tom Blodget

你是正确的,汤姆。我实际上在想常见的那些,但是我没有加上括号和花括号以及所有这些-^%$#@!&+ =。
user890332
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.