5
Parquet vs ORC vs Snappy的ORC
我正在对Hive可用的存储格式进行一些测试，并使用Parquet和ORC作为主要选项。我将ORC包含一次默认压缩，一次包含Snappy。 我已经阅读了许多文档，这些文档指出Parquet在时间/空间复杂度上比ORC更好，但是我的测试与我通过的文档相反。 跟随我的数据的一些细节。 Table A- Text File Format- 2.5GB Table B - ORC - 652MB Table C - ORC with Snappy - 802MB Table D - Parquet - 1.9 GB 就我桌子的压缩而言，实木复合地板最糟糕。 我对以上表格的测试得出以下结果。 行计数操作 Text Format Cumulative CPU - 123.33 sec Parquet Format Cumulative CPU - 204.92 sec ORC Format Cumulative …