Questions tagged «io»

我有一个可以并行化的应用程序，但其性能在很大程度上受到I / O的限制。该应用程序读取存储在文件中的单个输入数组，该文件的大小通常为2-5 GB（但我希望这个数字将来会增长）。典型的计算将相同的操作应用于该数组的每一行或每一列。对于CPU繁重的操作，我可以很好地扩展到大约100个处理器，但是对于较慢的操作，I / O和相关的通信（NFS访问）占主导地位，并且我不能有效地使用几个以上的处理器。 在这种情况下，什么是有效且可移植的（理想情况下是高效的）选项？并行HDF5似乎很有希望。有没有人有现实生活中的经验？ MPI-I / O是否值得研究？它可以在给定的文件布局下有效地工作，还是必须调整所有内容？

20 io  parallel-computing  mpi 

我们的等离子体动力学模拟通常会产生太多信息。在仿真过程中，我们至少在10个属性上将各种物理属性记录在最大（8192x1024x1024x1500）的网格（x，y，z，t）上。仿真完成后，将处理此信息。有了它，我们 拍电影， 进行傅立叶分析， 计算平均性能。 当研究较小的系统时，尽可能多地进行简单的信息转储就可以了。这使我们可以灵活地与结果进行交互，并在以后决定我们要怎么做。它也使我们能够分配计算资源（CPU时间）来简单地运行仿真。 我们已经开始进行动态傅里叶分析的过程，并且仅对选定范围的长度刻度进行过滤。出于数字原因，有时我们需要解析小于实际所需长度的比例尺，因此在这种情况下，此过滤器会很有帮助。我们还在探索各种并行IO库，例如并行I / O选项，尤其是并行HDF5。 有哪些策略可以使数据处理效率最大化？ 快速执行所有分析（不包括后期处理，例如电影和情节）是否有任何好处？ 我可以想象这个问题会在其他研究领域出现。例如，您可能需要进行长时间的分子动力学模拟，但是您对发生有趣事件的短暂瞬间感兴趣。或在CFD中，早期开发可能会变慢，但是一旦出现动荡，您可能需要更高的时间分辨率来监视动态。 是否有免费提供的从模拟中收集复杂结果的示例？

14 performance  io  data-management