HPC中本地内存/计算，网络延迟和带宽抖动的统计模型

并行计算通常使用确定性的本地计算速率，等待时间开销和网络带宽来建模。实际上，这些是空间可变的和不确定的。诸如Skinner和Kramer（2005）之类的研究观察到多峰分布，但是性能分析似乎总是使用确定性或高斯分布（不仅是不准确的，而且由于负潜伏期的正概率也不一致）。

是否开发了高保真统计模型？是否考虑了本地计算/内存，延迟和带宽可变性之间的互相关性？

从计算机科学的角度来看，我认为为内存访问时间（延迟）和内存带宽建立一个通用的统计模型是没有意义的。

为算法创建统计模型确实有意义。那是因为每种算法都有特定的内存访问模式，所以内存访问模式与高速缓存层次结构相关，例如，具有较高数据局部性的算法将从低级高速缓存中受益，而这得益于真正快速的内存访问时间，而其他算法则必须一直到RAM（甚至更糟的是交换内存），并且访问时间极慢。

该通用值是从架构上看给出的，你可以检查你的架构，并从一个给定的核心，以给定的内存位置搜索的访问时间（比方说，L3高速缓存）。请注意，最近的体系结构是非统一内存访问NUMA，这会使您的工作更加困难。