需求背景
一些公用的脚本,不方便互相引用,浪费人力。考虑把开发中心的文档作为资源,用于文档间互相引用,或者被任务引用
交互设计
以文当中书写关键词的形式实现。格式如(rename重命名可选):
引用开发中心的文档
—download[doc://docId rename]
引用HDFS上的文件
—download[hdfs://hdfsPath rename]
技术方案
- 对于ShellJob和HiveJob在JobUtil createJob的时候解析脚本中的资源定义,添加到资源文件列表中
- 把要运行job的脚本中的资源定义暂时删除(不提交数据库)
- 在前置处理单元DownloadJob中处理文档中直接定义的资源下载
- 对于开发中心的job,创建WithProcesserJob,添加DownloadJob到前置任务
- 在开发中心 文档标题中 显示文档ID
- 在开发中心提供上传资源到HDFS的功能,上传成功后直接将资源引用代码插入文档第一行