本篇文章为大家展示了阿帕奇胡迪异步压紧部署方式有哪些，内容简明扼要并且容易理解，绝对能使你眼前一亮，通过这篇文章的详细介绍希望你能有所收获。
对执行异步压紧的不同部署模型全面汇总。
1. Compaction
对于读取时合并表，数据使用列式镶木地板文件和行式Avro文件存储，更新被记录到增量文件，然后进行同步/异步压紧生成新版本的列式文件读取时合并表可减少数据摄入延迟，因而进行不阻塞摄入的异步压紧很有意义。
2. 异步Compaction
异步压紧会进行如下两个步骤
调度Compaction:由摄取作业完成，在这一步，胡迪扫描分区并选出待进行压紧的文件许可证，最后契约计划会写入胡迪的时间线.执行Compaction:一个单独的进程/线程将读取契约计划并对文件切片执行压紧操作。
3. 部署模型
几种执行异步压紧的方法如下
3.1 Spark Structured Streaming
在0.6.0版本，胡迪支持在火花结构拉伸作业中支持异步压实，压实在流动作业内被异步调度和执行火花，结构化作业在读取时合并表中会默认开启异步压实。
Java 语言(一种计算机语言，尤用于创建网站)语言（一种计算机语言，尤用于创建网站)代码示例如下
导入组织。阿帕奇。胡迪。datasourcewriteoptions导入组织。阿帕奇。胡迪。hoodiedatasourcehelpers导入组织。阿帕奇。胡迪。配置。hoodiecompactionconfig导入组织。阿帕奇。胡迪。配置。hoodeiewriteconfig导入组织。阿帕奇。火花。SQL。流媒体。OutPut模式；导入组织。阿帕奇。火花。SQL。流媒体。处理时间；datastreamwriterrarrow writer=stream input。writerstream().格式(' org.apache.hudi ').选项(数据源选项.OPERATION_OPT_KEY()，operationType().选项(数据源选项.表格类型.选项(数据源选项.RECORDKEY_FIELD_OPT_KEY()，' _row_key ').选项(数据源选项.PARTITIONPATH_FIELD_OPT_KEY()，' partition ').选项(数据源选项.PRECOMBINE_FIELD_OPT_KEY()，'时间戳').选项(HoodieCompactionConfig .INLINE _ COMPACT _ NUM _ DELTA _ COMMITES _ PROP，' 10 ').选项(数据源选项.ASYNC_COMPACT_ENABLE_OPT_KEY()，' true ').选项(HoodieWriteConfig .表名)。选项('检查点位置，检查点位置)。输出模式(输出模式.append())；writer.trigger(新的处理时间(30000).start(tablePath)；
3.2 DeltaStreamer Continuous模式
胡迪三角洲拖缆提供连续摄入模式，火花作业可以持续从上游消费数据写入胡迪，在该模式下，胡迪也支持异步压实，下面是在连续模式下进行异步压紧示例
spark-submit-package sorg。阿帕奇。胡迪：胡迪-公用事业-捆绑_ 2。11:0 .6 .0 \-类组织。阿帕奇。胡迪。公用事业。三角洲拖缆。hoodietel流光\-表类型merge _ ON _ READ \-目标-基路径胡迪_基_路径\-目标-表胡迪_表\-源-类组织。阿帕奇。胡迪。公用事业。来源。jsondfssource \-source-ordering-field ts \-schemaprovider是另一种异步执行指定压紧的方式，示例如下
胡迪： trips-compact ionrun-tablename table _ name-parallelism compalism-compact ioninstantinstantinstant time.
3.3 Hudi CLI
胡迪还提供了独立工具来异步执行指定压实，示例如下
spark-submit-package sorg。阿帕奇。胡迪：胡迪-公用事业-捆绑_ 2。11:0 .6 .0 \-类组织。阿帕奇。胡迪。公用事业。hoodiecompactor \-base-path base _ path \-表名table _ name \-即时压缩_ instant \-schema-fileHudi提供了不同的压紧方式，可根据不同应用场景部署不同压紧方式。
上述内容就是阿帕奇胡迪异步压紧部署方式有哪些，你们学到知识或技能了吗？如果还想学到更多技能或者丰富自己的知识储备，欢迎关注行业资讯频道。
内容来源网络，如有侵权，联系删除，本文地址：https://www.230890.com/zhan/102825.html