澳门蒲京 > 互联网 > 导致无法使用调度去定期执行MapReduce作业【澳门蒲京】

导致无法使用调度去定期执行MapReduce作业【澳门蒲京】
2020-01-03 07:40

原标题:通过轻便减重,消除Dataworks 10M文本约束难题

导致无法使用调度去定期执行MapReduce作业【澳门蒲京】。导致无法使用调度去定期执行MapReduce作业【澳门蒲京】。摘要: 顾客在DataWorks上实行MapReduce作业的时候,文件大于10M的JA本田CR-V和财富文件不可能上传到Dataworks,引致无计可施运用调解去准期实施MapReduce作业。 技术方案: jar -resources test_导致无法使用调度去定期执行MapReduce作业【澳门蒲京】。mr.

导致无法使用调度去定期执行MapReduce作业【澳门蒲京】。导致无法使用调度去定期执行MapReduce作业【澳门蒲京】。顾客在DataWorks上实施MapReduce作业的时候,文件大于10M的JARAV4和财富文件不可能上传到Dataworks,招致意谢不敏利用调整去定时推行MapReduce作业。

施工方案:

先是步:大于10M的resources通过MaxCompute CLI客商端上传,

客户端下载地址:

客商端配置AK、EndPoint:

add jar C:test_mrtest_mr.jar -f;//增加能源

其次步:最近经过MaxCompute CLI上传的财富,在Dataworks侧边财富列表是找不到的,只好通过list resources查看确认资源;

list resources;//查看财富

其三步:减重Jar,因为Dataworks实施MEscort作业的时候,必定要本地实施,所以保留个main就足以;

澳门蒲京 1

透过上述措施,我们得以在Dataworks上跑大于10M的MENVISION作业。

作者:隐林

​本文为云栖社区原创内容,未经同意不得转发。重回博客园,查看越来越多

网编:

上一篇:而且会与韩国ICT公司平等竞争 下一篇:没有了