emr-skills

emr-skills是什么

火山引擎EMR Serverless交互技能，适用于大数据作业的提交和管理，支持Spark、Ray等多种作业类型，提供队列管理、作业状态监控等功能。

开源协议：MIT-0

emr-skills的主要功能

• 队列管理：查询和管理可用队列，获取队列详情。
• 多样化作业提交：支持SQL、Jar包、PySpark脚本、Ray Job等多种作业类型的提交。
• 作业生命周期管理：查询作业状态、获取作业日志、取消作业、拉取结果等。
• 灵活配置：通过环境变量或文件统一部署凭证与默认参数。
• 日志洞察：获取作业的Driver与Submission日志，便于调试与排错。

如何使用emr-skills

• 环境准备：安装依赖，配置凭证。
• 运行测试：使用pytest运行测试套件，验证核心功能。
• 队列管理：调用list_queues和get_queue函数进行队列查询和详情获取。
• 作业提交：根据作业类型，调用相应的提交函数，如submit_sql、submit_jar等。
• 作业监控：调用get_job函数获取作业状态，使用cancel_job函数取消作业。

emr-skills的应用场景

• 大数据平台中Spark/Ray作业的提交和管理
• 数据仓库中SQL查询的执行和监控
• 机器学习模型的训练和评估
• 实时数据处理和分析