[自研开源] MyData v0.7.2 更新日志

[lien321]

开源地址：gitee | github

详细介绍：MyData 基于 Web API 的数据集成平台

部署文档：用 Docker 部署 MyData

使用手册：MyData 使用手册

试用体验：http://demo.mydata.work

交流 Q 群：430089673

v0.7.2 更新说明

完善数据集成场景：支持环境变量的定时更新、跨环境数据集成、任务跨环境复制；

新功能

• 项目管理 / 集成管理

  • 增加变量任务管理，实现定时从接口更新变量值；

  • 任务支持跨环境同步数据，支持多环境的数据集成，同时业务数据按环境隔离；

  • 复制任务 到其他环境，简化重复配置操作；

优化

• 升级后端 SpringBlade 框架版本；

  • 去掉框架示例功能；

• 升级前端 Sword 框架版本；

  • 去掉框架示例功能；

功能

[coolair]

需要用户验证的 API 怎么办？

[lien321]

@coolair 你好，如果用户验证采用的是 Web Token 可通过 环境变量 实现，操作过程如下：
1. 配置环境变量的定时任务，从用户验证的 API 获取 token 并存入环境变量，以便重复使用；
2. 调用数据 API 时 可通过配置 header 或 param 传递环境变量；

如果不满足您的使用场景 期待进一步的交流

[coolair]

有没有办法对获取的数据添加后置处理函数？
比如：获取到了数据'aaaaa'，但是要的值是 base64 编码后的。

[lien321]

@coolair 目前 0.7 版本还不支持，有增加对数据的编码、加密、脱敏等通用处理的开发计划，后续会实现

[boycem]

拉取数据是分批还是一次性？

[lien321]

@boycem 你好，数据是分批还是一次性主要取决于 API 能否通过参数支持分批，再通过任务配置实现分批调度；
例如：API 能返回类似分页结果的数据，可以将其保存到环境变量，并配置到请求参数中，任务每次调用 API 并发送参数 实现分批查询，再将新的分页结果覆盖环境变量值；

[lien321]

@boycem 你好，十分感谢之前的留言！
关于分批拉取数据 经过考虑计划后续版本中 在定时任务上增加批量参数的配置 实现自动批量拉取，简化之前的方案。