我正在尝试将一些代码从Python转换为C ++，以期提高速度并提高生锈的C ++技能。当一个天真的实现从标准输入读取线是在Python比C快得多++（见昨天我惊呆了这个）。今天，我终于弄清楚了如何使用合并定界符（与python的split（）相似的语义）在C ++中拆分字符串，并且现在遇到了deja vu！我的C ++代码需要花费更长的时间才能完成工作（尽管昨天的课程没有那么多）。
Python代码：
#!/usr/bin/env python
from __future__ import print_function
import time
import sys
count = 0
start_time = time.time()
dummy = None
for line in sys.stdin:
dummy = line.split()
count += 1
delta_sec = int(time.time() - start_time)
print("Python: Saw {0} lines in {1} seconds. ".format(count, delta_sec), end='')
if delta_sec > 0:
lps = int(count/delta_sec)
print(" Crunch Speed: {0}".format(lps))
else:
print('')
C ++代码：
#include <iostream>
#include <string>
#include <sstream>
#include <time.h>
#include <vector>
using namespace std;
void split1(vector<string> &tokens, const string &str,
const string &delimiters = " ") {
// Skip delimiters at beginning
string::size_type lastPos = str.find_first_not_of(delimiters, 0);
// Find first non-delimiter
string::size_type pos = str.find_first_of(delimiters, lastPos);
while (string::npos != pos || string::npos != lastPos) {
// Found a token, add it to the vector
tokens.push_back(str.substr(lastPos, pos - lastPos));
// Skip delimiters
lastPos = str.find_first_not_of(delimiters, pos);
// Find next non-delimiter
pos = str.find_first_of(delimiters, lastPos);
}
}
void split2(vector<string> &tokens, const string &str, char delim=' ') {
stringstream ss(str); //convert string to stream
string item;
while(getline(ss, item, delim)) {
tokens.push_back(item); //add token to vector
}
}
int main() {
string input_line;
vector<string> spline;
long count = 0;
int sec, lps;
time_t start = time(NULL);
cin.sync_with_stdio(false); //disable synchronous IO
while(cin) {
getline(cin, input_line);
spline.clear(); //empty the vector for the next line to parse
//I'm trying one of the two implementations, per compilation, obviously:
// split1(spline, input_line);
split2(spline, input_line);
count++;
};
count--; //subtract for final over-read
sec = (int) time(NULL) - start;
cerr << "C++ : Saw " << count << " lines in " << sec << " seconds." ;
if (sec > 0) {
lps = count / sec;
cerr << " Crunch speed: " << lps << endl;
} else
cerr << endl;
return 0;
//compiled with: g++ -Wall -O3 -o split1 split_1.cpp
请注意，我尝试了两种不同的拆分实现。一个（split1）使用字符串方法搜索令牌，并且能够合并多个令牌以及处理多个令牌（它来自此处）。第二个（split2）使用getline作为流读取字符串，不合并定界符，仅支持单个分隔符（该字符由多个StackOverflow用户发布，用于回答字符串拆分问题）。
我以不同的顺序多次运行。我的测试机器是Macbook Pro（2011，8GB，四核），并不是很重要。我正在使用20M行文本文件进行测试，该文件具有三个以空格分隔的列，每个列看起来都与此类似：“ foo.bar 127.0.0.1 home.foo.bar”
结果：
$ /usr/bin/time cat test_lines_double | ./split.py
15.61 real 0.01 user 0.38 sys
Python: Saw 20000000 lines in 15 seconds. Crunch Speed: 1333333
$ /usr/bin/time cat test_lines_double | ./split1
23.50 real 0.01 user 0.46 sys
C++ : Saw 20000000 lines in 23 seconds. Crunch speed: 869565
$ /usr/bin/time cat test_lines_double | ./split2
44.69 real 0.02 user 0.62 sys
C++ : Saw 20000000 lines in 45 seconds. Crunch speed: 444444
我究竟做错了什么？有没有更好的方法可以在C ++中进行字符串拆分，而该拆分不依赖于外部库（即不增强），支持合并定界符序列（如python的split），是线程安全的（因此没有strtok），并且其性能至少是与python相提并论？
编辑1 /部分解决方案？：
我尝试通过让python重置虚拟列表并每次都将其追加到C ++来使它更公平地进行比较。这仍然不完全是C ++代码正在做的事情，但是还差一点。基本上，循环现在是：
for line in sys.stdin:
dummy = []
dummy += line.split()
count += 1
python的性能现在与split1 C ++实现大致相同。
/usr/bin/time cat test_lines_double | ./split5.py
22.61 real 0.01 user 0.40 sys
Python: Saw 20000000 lines in 22 seconds. Crunch Speed: 909090
我仍然感到惊讶的是，即使Python如此优化了字符串处理（如Matt Joiner所建议的那样），这些C ++实现也不会更快。如果有人对如何使用C ++以最佳方式实现此操作有任何想法，请共享您的代码。（我认为我的下一步将尝试在纯C中实现此功能，尽管我不会牺牲程序员的生产力来重新使用C来实现我的整个项目，所以这只是一个字符串拆分速度的实验。）
感谢大家的帮助。
最终编辑/解决方案：
请参阅Alf接受的答案。由于python严格按引用处理字符串，并且经常复制STL字符串，因此使用香草python实现会提高性能。为了进行比较，我通过Alf的代码编译并运行了数据，以下是与其他所有运行在同一台机器上的性能，基本上与朴素的python实现相同（尽管比重置/追加列表的python实现更快，因为如以上编辑所示）：
$ /usr/bin/time cat test_lines_double | ./split6
15.09 real 0.01 user 0.45 sys
C++ : Saw 20000000 lines in 15 seconds. Crunch speed: 1333333
我唯一剩下的小麻烦是关于在这种情况下使C ++执行所需的代码量。
从本期和昨天的stdin行阅读版（如上链接）中可以得出的教训之一是，应该始终进行基准测试，而不是对语言的相对“默认”性能进行幼稚的假设。我很感谢教育。
再次感谢大家的建议！
g++ -Wall -O3 -o split1 split_1.cpp@JJC：请问你的基准票价，当你实际使用dummy和spline分别，也许Python的删除调用line.split()，因为它有没有副作用？