Questions tagged «apache-spark-encoders»

8
如何在数据集中存储自定义对象?
根据介绍Spark数据集: 当我们期待Spark 2.0时,我们计划对数据集进行一些激动人心的改进,特别是:...自定义编码器–虽然我们目前可以自动生成多种类型的编码器,但我们希望为自定义对象打开一个API。 并尝试在Dataset导致以下错误的情况下存储自定义类型: 找不到用于存储在数据集中的类型的编码器。导入sqlContext.implicits。支持基本类型(Int,String等)和产品类型(案例类)。_在将来的版本中将添加对序列化其他类型的支持。 要么: Java.lang.UnsupportedOperationException:未找到...的编码器。 是否有任何现有的解决方法? 请注意,此问题仅作为社区Wiki回答的切入点存在。随时更新/改善问题和答案。
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.