C代码循环性能[续]


83

这个问题在我的问题上继续(根据Mystical的建议):

C代码循环性能


继续我的问题,当我使用打包指令而不是标量指令时,使用内在函数的代码将非常相似:

for(int i=0; i<size; i+=16) {
    y1 = _mm_load_ps(output[i]);
    …
    y4 = _mm_load_ps(output[i+12]);

    for(k=0; k<ksize; k++){
        for(l=0; l<ksize; l++){
            w  = _mm_set_ps1(weight[i+k+l]);

            x1 = _mm_load_ps(input[i+k+l]);
            y1 = _mm_add_ps(y1,_mm_mul_ps(w,x1));
            …
            x4 = _mm_load_ps(input[i+k+l+12]);
            y4 = _mm_add_ps(y4,_mm_mul_ps(w,x4));
        }
    }
    _mm_store_ps(&output[i],y1);
    …
    _mm_store_ps(&output[i+12],y4);
    }

尽管我希望它是标量版本性能的4倍,即每个周期4.1,6 = 6,4 FP ops,但该内核的测量性能约为每个周期5.6个FP操作。

考虑到权重因子的移动(感谢指出),时间表如下:

时间表

看起来时间表没有改变,尽管在操作之后还有一条额外的指令movss将标量权重值移动到XMM寄存器,然后用于shufps将该标量值复制到整个向量中。mulps考虑到从负载到浮点域的切换延迟,权重向量似乎已准备就绪,可以及时使用,因此不会引起任何额外的延迟。

此内核中使用的movaps(对齐,打包移动)addpsmulps指令(与汇编代码一起检查)与标量版本具有相同的延迟和吞吐量,因此也不应该导致任何额外的延迟。

有人知道这个内核可以获得的最大性能是每个周期6.4 FP ops,并且每个周期以5.6 FP ops运行吗?


顺便说一下,这是实际的装配图:

…
Block x: 
  movapsx  (%rax,%rcx,4), %xmm0
  movapsx  0x10(%rax,%rcx,4), %xmm1
  movapsx  0x20(%rax,%rcx,4), %xmm2
  movapsx  0x30(%rax,%rcx,4), %xmm3
  movssl  (%rdx,%rcx,4), %xmm4
  inc %rcx
  shufps $0x0, %xmm4, %xmm4               {fill weight vector}
  cmp $0x32, %rcx 
  mulps %xmm4, %xmm0 
  mulps %xmm4, %xmm1
  mulps %xmm4, %xmm2 
  mulps %xmm3, %xmm4
  addps %xmm0, %xmm5 
  addps %xmm1, %xmm6 
  addps %xmm2, %xmm7 
  addps %xmm4, %xmm8 
  jl 0x401ad6 <Block x> 
…

所以我想现在的问题是:“为什么shufps指令每1.6次迭代增加1个周期?” 那是一个艰难的过程……
Mysticial

我希望它没有开销,因为的输出shufps应该直接提供给multpsop,因为它们都是FP域
Ricky

容易发现。确保权重向量不包含任何非规范化值。尝试不带随机播放指令的循环。它不会产生任何有用的结果,但是也许您会发现哪条指令确实会花费您额外的周期(我怀疑是随机的)。
Gunther Piez'4

@Mystical:我看到每个循环迭代增加了0.75个周期。(这不是我对使用5个周期而不是4个周期的评论,它会导致您在此处找到答案... :
Gunther Piez'April

3
首先,您现在需要4倍的缓存带宽。数据大小是多少?它们适合L1缓存吗?
Mysticial

Answers:


3

尝试在Vtune或其他等效工具(例如oprof)中使用EMON分析

EMON(事件监视)配置文件=>类似于基于时间的工具,但它可以告诉您是什么性能事件导致了问题。虽然,您应该首先从基于时间的配置文件开始,以查看是否有特定的指令跳出来。(并且可能还有一些相关事件告诉您该IP上有多少退休摊位。)

要使用EMON分析,您必须遍历一系列事件,范围从“通常的可疑对象”到...

在这里,我将从缓存未命中,对齐开始。我不知道您使用的处理器是否具有针对RF端口限制的计数器-应该-但是我很早以前就添加了EMON分析,而且我不知道它们通过添加适用于微体系结构的事件来保持良好状态。

它也可能是前端,指令获取,停顿。无论如何,这些指令中有多少字节?也有EMON事件。


回应评论说Nehalem VTune看不到L3事件:不正确。这是我要添加评论的内容,但不合适:

实际上,有针对LL3 / L3 $ /所谓的Uncore的性能计数器。如果VTune不支持它们,我将感到非常惊讶。看到http://software.intel.com/sites/products/collat​​eral/hpc/vtune/performance_analysis_guide.pdf指向VTune和其他工具,例如PTU。实际上,即使没有LL3事件,正如David Levinthal所说:“英特尔®酷睿™i7处理器具有一个“延迟事件”,与“安腾®处理器家族数据EAR”事件非常相似。该事件对加载进行采样,记录了事件的数量。在指令执行和数据实际传送之间循环,如果测量的延迟时间大于编程到MSR 0x3f6的最小延迟时间(位15:0),则计数器递增。如果事件满足等待时间阈值,则将测得的等待时间,虚拟或线性地址和数据源复制到PEBS缓冲区中的3个其他寄存器中。采样驱动程序还可以执行虚拟到物理的转换并捕获物理地址。物理地址标识NUMA原始位置,并且原则上可以分析高速缓存占用率的详细信息。”他还在第35页上指出了VTune事件,例如L3 CACHE_HIT_UNCORE_HIT和L3 CACHE_MISS_REMOTE_DRAM。有时,您需要查找数字代码并将其编程到VTune的较低级界面中,但是我认为在这种情况下,它可以在漂亮的用户界面中看到。


好的,在http://software.intel.com/zh-cn/forums/showthread.php?t=77700&o=d&s=lr中,俄罗斯的VTune程序员(我认为)“解释”是您无法在Uncore上试用的事件。

他错了-例如,您可以仅启用一个CPU,并进行有意义的采样。我还相信,当L3丢失的数据返回到CPU时,它可以对其进行标记。实际上,总体而言,L3知道它要将数据返回到哪个CPU,因此您可以肯定地进行采样。您可能不知道哪个超线程,但是可以再次禁用它,进入单线程模式。

但是看起来,就像通常那样,您必须在VTune周围工作,而不是与此一起工作。

首先尝试延迟分析。这完全在CPU内部,VTune人士不太可能将其弄得太多。

而且,我再说一遍,可能是您的问题是核心问题,而不是L3。因此,VTune应该能够处理该问题。


尝试每个Levinthal的“周期会计”。


感谢您的反应。我使用VTune分析了我的应用程序,但是nehalem体系结构的问题在于L3缓存属于off-core核心部分,因此该部分没有性能事件计数器。因此,难以估计高速缓存未命中等。
Ricky 2012年

实际上,有针对LL3 / L3 $ /所谓的Uncore的性能计数器。如果VTune不支持它们,我将感到非常惊讶。见software.intel.com/sites/products/collat​​eral/hpc/vtune/...
疯狂之GLEW

我写了超出评论的内容,试图将其移至答案并清理原始评论,但评论只能编辑5分钟。简短版:VTune允许您查看L3缓存未命中。即使没有Uncore支持,也可以使用延迟分析-并且具有Uncore支持。
Krazy Glew 2012年

总体而言,我怀疑您的问题不是L3高速缓存未命中。更有可能发生前端事件。
Krazy Glew 2012年

@KrazyGlew:您的猜测是正确的,他是俄罗斯联邦的俄罗斯人。下面是他在LinkedIn的个人资料- linkedin.com/in/vtsymbal
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.