Questions tagged «hdfs»

我想在Spark中读取CSV并将其转换为DataFrame并将其存储在HDFS中 df.registerTempTable("table_name") 我努力了： scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") 我得到的错误： java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [49, 59, 54, 10] at parquet.hadoop.ParquetFileReader.readFooter(ParquetFileReader.java:418) at org.apache.spark.sql.parquet.ParquetRelation2$MetadataCache$$anonfun$refresh$6.apply(newParquet.scala:277) at org.apache.spark.sql.parquet.ParquetRelation2$MetadataCache$$anonfun$refresh$6.apply(newParquet.scala:276) at scala.collection.parallel.mutable.ParArray$Map.leaf(ParArray.scala:658) at scala.collection.parallel.Task$$anonfun$tryLeaf$1.apply$mcV$sp(Tasks.scala:54) at scala.collection.parallel.Task$$anonfun$tryLeaf$1.apply(Tasks.scala:53) at scala.collection.parallel.Task$$anonfun$tryLeaf$1.apply(Tasks.scala:53) at scala.collection.parallel.Task$class.tryLeaf(Tasks.scala:56) at scala.collection.parallel.mutable.ParArray$Map.tryLeaf(ParArray.scala:650) at …

140 scala  apache-spark  hadoop  apache-spark-sql  hdfs 

Apache Parquet的特征是： 自我描述 柱状格式 语言无关 与Avro，Sequence Files，RC File等相比。我想要这些格式的概述。我已经读过：Impala如何与Hadoop文件格式一起使用，它提供了一些有关格式的见解，但是我想知道在每种格式中如何进行数据访问和数据存储。镶木地板比其他镶木地板有什么优势？

136 file  hadoop  hdfs  avro  parquet 

如何将文件从HDFS复制到本地文件系统。文件下没有文件的物理位置，甚至目录也没有。我如何将它们移到我的本地进行进一步的验证。我已通过winscp尝试过。

135 hadoop  copy  hdfs 

这是一个幼稚的问题，但是我是NoSQL范式的新手，对此了解不多。因此，如果有人可以帮助我清楚地了解HBase和Hadoop之间的区别，或者提供一些可以帮助我了解区别的指针。 到目前为止，我进行了一些研究和认证。据我了解，Hadoop提供了与HDFS中的原始数据块（文件）一起使用的框架，而HBase是Hadoop之上的数据库引擎，它基本上与结构化数据而非原始数据块一起工作。就像SQL一样，Hbase在HDFS上提供逻辑层。这是正确的吗？ 请随时纠正我。 谢谢。

130 hadoop  nosql  hbase  hdfs  difference 

root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. 无法在HDFS中创建任何内容 我做了 root# bin/hadoop fs -safemode leave 但是显示 safemode: Unknown command 问题是什么？ 解

122 hadoop  hdfs 

根据 Hadoop - The Definitive Guide FileInputFormats定义的逻辑记录通常不能整齐地放入HDFS块中。例如，TextInputFormat的逻辑记录是行，这些行将经常跨越HDFS边界。这与程序的功能无关（例如，行不会丢失或断线），但是这是值得了解的，因为这确实意味着数据本地映射（即与它们在同一主机上运行的映射）输入数据）将执行一些远程读取。造成的轻微开销通常并不重要。 假设一条记录线分为两个块（b1和b2）。处理第一个块（b1）的映射器将注意到，最后一行没有EOL分隔符，并从下一个数据块（b2）中获取其余行。 处理第二个块（b2）的映射器如何确定第一条记录不完整，应从块（b2）中的第二条记录开始处理？

119 hadoop  split  mapreduce  block  hdfs 

在Map Reduce编程中，reduce阶段具有改组，排序和reduce的子部分。排序是一项昂贵的事务。 Map Reduce编程中的reducer的改组和排序阶段的目的是什么？

113 sorting  hadoop  mapreduce  hdfs  shuffle 

他们应该平等吗？ 但是，为什么“ hadoop fs”命令显示hdfs files而“ hdfs dfs”命令显示本地文件呢？ 这是hadoop版本信息： Hadoop 2.0.0-mr1-cdh4.2.1子版本git：//ubuntu-slave07.jenkins.cloudera.com/var/lib/jenkins/workspace/CDH4.2.1-Packaging-MR1/build/cdh4/mr1/2.0.0 -mr1-cdh4.2.1 / source -r由jenkins于2013年4月22日星期一10:48:26编译

109 hadoop  hdfs 

我知道du -sh常见的Linux文件系统。但是如何使用HDFS做到这一点？

99 hadoop  command-line  directory  hdfs 

我想知道如何找到Hive表与它们所代表的实际HDFS文件（或目录）之间的映射。我需要直接访问表文件。 Hive在HDFS中将文件存储在哪里？

72 hadoop  hive  hdfs 

当我将Hadoop集群连接到Amazon存储并将文件下载到HDFS时，我发现s3://它不起作用。在Internet上寻求帮助时，我可以使用S3n。当我使用S3n它的时候。我不明白，使用之间的区别S3，并S3n与我的Hadoop集群，有人能解释一下吗？

71 hadoop  amazon-s3  hdfs