获取目录中所有文件的最有效方法

我有四百万个文件分布在四个光纤连接阵列上。我需要将path，filesize和last_modified日期插入到mysql数据库中。最好的方法是什么？

这是我目前正在做的事情：

sudo find "$FULFILLMENT" "$ARCH1" "$ARCH2" "$MASTERING" -type f -exec ls -lT {} + > $FILE

然后我解析该文件（使用Python）将其插入到我的数据库中。

实现上述目标的最佳方法是什么？

macos mac bash filesystem command-line

— David542
source

你目前在做什么有什么问题吗？此外，如果没有对哪些文件以及您需要搜索的位置有所了解，我看不出我们如何正确回答这个问题。

— 格里

四卷中有数百万个文件。它们是所有类型的文件（实际上，它是四台不同的计算机，每台计算机都有100个TB存储空间）。我目前正在做的大约需要3个小时，我想知道是否有更快的东西。

— David542 2013年

这个find命令需要花费多少时间才能完成？无论如何，我相信find是最适合列出文件的工具。

— 格里

该find命令大约占99％的时间。

— David542 2013年

你可以试试find -type f -ls，虽然我不确定这会有什么显着的不同。听起来好像有很多数据需要处理。

— 格里