在Java中分割定界字符串的最快方法

我正在构建一个在分隔字符串上提供多列排序功能的比较器。我目前使用String类的split方法作为将原始String拆分为标记的首选。

这是将原始String转换为String数组的最佳方法吗？我将对数百万行进行排序，因此我认为方法很重要。

它似乎运行良好并且非常简单，但是不确定Java中是否有更快的方法。

这是我的比较器中排序方式的工作方式：

public int compare(String a, String b) {

    String[] aValues = a.split(_delimiter, _columnComparators.length);
    String[] bValues = b.split(_delimiter, _columnComparators.length);
    int result = 0;

    for( int index : _sortColumnIndices ) {
        result = _columnComparators[index].compare(aValues[index], bValues[index]);
        if(result != 0){
            break;
        }
    }
    return result;
}

在对各种方法进行基准测试之后，不管您信不信，使用最新版本的Java最快的方法是split方法。您可以在这里下载我完成的比较器：https : //sourceforge.net/projects/multicolumnrowcomparator/

我为此编写了一个快速而肮脏的基准测试。它比较了7种不同的方法，其中一些方法需要特定的数据拆分知识。

对于基本的通用拆分，番石榴拆分器比String＃split（）快3.5倍，我建议使用它。Stringtokenizer的速度略快于此，使用indexOf进行自我拆分的速度是其两倍。

有关代码和更多信息，请参见http://demeranville.com/battle-of-the-tokenizers-delimited-text-parser-performance/

正如@Tom所写，indexOf类型方法比的速度更快String.split()，因为后者处理正则表达式，并且对它们有很多额外的开销。

但是，一种算法更改可能会为您带来超级加速。假设将使用该Comparator对〜100,000个字符串进行排序，请不要编写Comparator<String>。因为，在你的排序过程中，相同的字符串将有可能比较多的时间，所以你把它分解多时间，等...

将所有Strings 一次拆分为String [] s，并对Comparator<String[]>String [] 进行排序。然后，最后可以将它们组合在一起。

另外，您也可以使用Map来缓存String-> String []，反之亦然。例如（粗略）另外请注意，您正在以内存换取速度，希望您有很多RAM

HashMap<String, String[]> cache = new HashMap();

int compare(String s1, String s2) {
   String[] cached1 = cache.get(s1);
   if (cached1  == null) {
      cached1 = mySuperSplitter(s1):
      cache.put(s1, cached1);
   }
   String[] cached2 = cache.get(s2);
   if (cached2  == null) {
      cached2 = mySuperSplitter(s2):
      cache.put(s2, cached2);
   }

   return compareAsArrays(cached1, cached2);  // real comparison done here
}

根据此基准，StringTokenizer用于拆分字符串的速度更快，但它不返回数组，因此使用起来不太方便。

如果您需要对数百万行进行排序，我建议您使用RDBMS。

这是我用于解析大型（1GB +）制表符分隔文件的方法。它的开销远小于String.split()，但仅限于char用作分隔符。如果有人有更快的方法，我想看看。这也可以通过CharSequence和来完成CharSequence.subSequence，但这需要实现CharSequence.indexOf(char)（String.indexOf(char[] source, int sourceOffset, int sourceCount, char[] target, int targetOffset, int targetCount, int fromIndex)如果感兴趣，请参考package方法）。

public static String[] split(final String line, final char delimiter)
{
    CharSequence[] temp = new CharSequence[(line.length() / 2) + 1];
    int wordCount = 0;
    int i = 0;
    int j = line.indexOf(delimiter, 0); // first substring

    while (j >= 0)
    {
        temp[wordCount++] = line.substring(i, j);
        i = j + 1;
        j = line.indexOf(delimiter, i); // rest of substrings
    }

    temp[wordCount++] = line.substring(i); // last substring

    String[] result = new String[wordCount];
    System.arraycopy(temp, 0, result, 0, wordCount);

    return result;
}