这篇文章给大家介绍发动中怎么配置启用LZO压缩，内容非常详细，感兴趣的小伙伴们可以参考借鉴，希望对大家能有所帮助。
火花中配置启用LZO压缩，步骤如下：一、spark-env.sh配置
导出LD _ LIBRARY _ PATH=$ LD _ LIBRARY _ PATH :/app/Hadoop-2。6 .0-CDH 6。7 .0/lib/native
导出SPARK _ LIBRARY _ PATH=$ SPARK _ LIBRARY _ PATH :/app/Hadoop-2。6 .0-CDH 6。7 .0/lib/native
导出SPARK _ class path=$ SPARK _ class path :/app/Hadoop-2。6 .0-CDH 6。7 .0/share/Hadoop/shate/* :/app/Hadoop-2。6 .0-CDH 6。7 .0/share/Hadoop/shate/lib/* :/app/Hadoop-2。6 .0-CDH 6。7 .0/share/Hadoop/common/* 3:/app/Hadoop
2、无法找到LzopCodec类
2.1、错误提示：
由： Java。朗。illegalargumentexception引起：压缩编解码器。com。Hadoop。压缩。lzo。lzocopcodec未找到。
在。组织。阿帕奇。Hadoop。io。压缩。压缩机工厂。getcodecclases(compresscodecffactory。Java :135)
在。组织。阿帕奇。Hadoop。io。压缩。压缩机工厂。init(compresscodecffactory。Java :175)
在组织。阿帕奇。Hadoop。mapred。textinputformat。配置(textinputformat。Java :45)
由： Java。朗。Class notfoundexception引起：类网站。Hadoop。压缩。lzo。lzocopcodec未找到
在组织。阿帕奇。Hadoop。糖膏剂配置。getclassbyname(配置。Java :1980)
在。组织。阿帕奇。Hadoop。io。压缩。压缩机工厂。getcodecclases(compresscodecffactory。Java :128)
2.2、解决办法：在spark的conf中配置spark-defaults.conf，增加以下内容：
火花。司机。额外的类路径/app/Hadoop-2。6 .0-CDH 6。7 .0/共享/Hadoop/common/Hadoop-lzo-0。4 .19 .冲突
火花。执行者。额外的类路径/app/Hadoop-2。6 .0-CDH 6。7 .0/共享/Hadoop/common/Hadoop-lzo-0。4 .19 .冲突
关于发动中怎么配置启用LZO压缩就分享到这里了，希望
内容来源网络，如有侵权，联系删除，本文地址：https://www.230890.com/zhan/149951.html