Questions tagged «snappy»

5
Parquet vs ORC vs Snappy的ORC
我正在对Hive可用的存储格式进行一些测试,并使用Parquet和ORC作为主要选项。我将ORC包含一次默认压缩,一次包含Snappy。 我已经阅读了许多文档,这些文档指出Parquet在时间/空间复杂度上比ORC更好,但是我的测试与我通过的文档相反。 跟随我的数据的一些细节。 Table A- Text File Format- 2.5GB Table B - ORC - 652MB Table C - ORC with Snappy - 802MB Table D - Parquet - 1.9 GB 就我桌子的压缩而言,实木复合地板最糟糕。 我对以上表格的测试得出以下结果。 行计数操作 Text Format Cumulative CPU - 123.33 sec Parquet Format Cumulative CPU - 204.92 sec ORC Format Cumulative …
87 hadoop  hive  parquet  snappy  orc 
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.