Skip to content

Latest commit

 

History

History
333 lines (229 loc) · 18.2 KB

README.md

File metadata and controls

333 lines (229 loc) · 18.2 KB

数择云平台

关于我们

数择云平台是开源一站式大数据智能云研发平台。 同时能满足用户对数据治理的需求,赋予用户对外提供数据服务的能力。

数择云平台是从工作室、车间到工具集都齐备的一站式大数据工场,助力您快速完成数据集成、开发、治理、服务、质量和安全等全套数据研发工作。产品功能对标阿里云DataWorks,我们的目标是做开源界最好用的DataWorks

数择云平台与DataWorks功能对比

模块 功能点 DataWorks基础版 数择云平台
基础 工作空间数量 不限 不限
换肤 支持 规划中
OpenAPI 不支持 支持
数据集成 实时同步 支持 支持
离线同步 支持 支持
同步资源监控 不支持 支持
自定义资源组 不支持 规划中
DataStudio 代码搜索 不支持 支持
多人协作 支持 支持
周期任务调度 支持 支持
业务流程 支持 支持
手动业务流程 支持 支持
发布管理 支持 支持
自定义调度资源组 不支持 规划中
HQL 支持 支持
数据服务 通过向导模式生成API 支持 支持
通过脚本模式生成API 支持 支持
注册API 支持 支持
查看数据表 支持 支持
数据类型 基础关系型数据(DRDS、ADS、MySQL、SQL Server、PostgreSQL和Oracle) 基础关系型数据(DRDS、ADS、MySQL、SQL Server、PostgreSQL和Oracle)和ES
API授权 支持 支持
API调用SDK 支持 支持
过滤器 不支持 不支持
函数 不支持 规划中
服务编排 不支持 不支持
数据质量 质量总览 支持 支持
配置监控规则 支持 支持
动态阈值 不支持 规划中
自定义数据质量报告 不支持 规划中
规则模板库 不支持 规划中
运维中心 周期任务 支持 支持
报警信息 支持 支持
基线预警 不支持 支持
事件报警 不支持 支持
成环报警 支持 规划中
孤立节点报警 支持 规划中
创建自定义规则 支持 支持
电话告警 不支持 支持
运行诊断 不支持 规划中
数据地图 搜索数据-全部对象 支持 支持
筛选数据-全部对象 支持 支持
工作空间详情 支持 支持
表详情-基础信息 支持 部分支持
表详情-明细信息 支持 支持
表详情-产出信息:耗时、任务 支持 支持
表详情-血缘信息:表 不支持 支持
表详情-使用记录 支持 支持
表详情-使用说明 支持 规划中
表详情-数据预览 支持 支持
类目管理 支持 支持
个人资产-收藏功能 支持 支持
查看数据和权限 支持 支持
数据保护伞 分级管理 不支持 规划中
字段扫描 不支持 规划中
数据访问记录 不支持 规划中
资产大盘 不支持 规划中
自定义内容扫描 不支持 规划中
风险识别大盘 不支持 规划中
动态脱敏 不支持 规划中
内置扫描模型 不支持 规划中
数据样本管理 不支持 规划中
数据开发-Stream Studio SQL编辑、发布、基本运维 支持 支持
基础运维-任务运行信息、监控告警 支持 支持
执行计划图形化 支持 支持
DAG开发和SQL&DAG互转 不支持 部分支持
DAG组建组 不支持 不支持
本地调试(实时数据预览) 不支持 支持
高级运维-任务智能诊断 不支持 规划中
数据分析 文件管理 支持 规划中
导入功能 支持 规划中
表格编辑功能 支持 规划中
透视功能 表格数据 规划中
图表功能 5个 规划中
分享功能 不支持 规划中
项目管理 - 支持 支持
租户管理 - 支持 支持
资源优化 - 不支持 规划中

核心功能

数据同步

离线数据同步

  • 源数据源

    • cassandra
    • drds
    • ftp
    • hbase
    • hdfs
    • mongodb
    • mysql
    • odps
    • oracle
    • oss
    • ots
    • postgresql
    • rdbms
    • sqlserver
    • stream
    • txtfile
  • 目标数据源

    • ads
    • cassandra
    • drds
    • ftp
    • hbase
    • hdfs
    • mongodb
    • mysql
    • ocs
    • odps
    • oss
    • ots
    • postgresql
    • rdbms
    • sqlserver
    • stream
    • txtfile

实时数据同步

数据开发

离线数据开发

  • 离线作业管理

    • 作业目录树管理

      • 树状展示
      • 作业解锁
      • 克隆
      • 移动
      • 删除
    • 数据开发IDE

      • 任务新建

        • HIVE SQL
        • 数据同步任务
        • Spark SQL
        • Shell
        • Python
      • 保存

      • 运行

      • 停止

      • 发布

      • 锁定/解锁

      • 定位

      • 智能�IDE

    • 作业配置

      • 基本配置
      • 调度配置
      • 运行参数
      • 版本管理
  • 资源文件管理

    • 新建目录
    • 上传资源
    • 重命名
    • 移动
    • 删除
  • 函数开发

    • 新建目录
    • 新建函数
  • 表管理

    • 引用
    • 列信息
    • 分区信息
    • 数据预览

实时数据开发

数据运维

运行Dashboard

离线任务

  • 周期任务

    • 检索
    • 补数据
    • 冻结
    • 解冻
    • 查看实例
    • 告警设置
    • 责任人转让
    • 编辑任务
  • 手动任务

离线实例

  • 周期实例
  • 补数据实例
  • 手实例

数据治理

数据地图

  • 数据表检索
  • 数据表管理

数据质量

  • 规则配置
  • 监控查询

数据服务

服务组配置

接口配置

  • 新增接口

    • 支持模式

      • 脚本模式
      • 向导模式
    • 配置流程

      • 配置接口基本信息
      • 接口参数配置
      • 接口测试
  • 接口管理

项目管理

基本配置

成员配置

基线配置

公共模块

项目管理

子账号管理

  • 新建
  • 删除
  • 重置密码

数据源管理

  • 新建
  • 修改
  • 批量同步
  • 删除

数据可视化

各功能开源时间节点

待补充

TODO

  • 资产盘点工具集成;
  • 工作流调度能力待加强;
  • 实时数仓能力增强:支持全链路打通和监控;
  • 数据质量能力增强:增加事前诊断;
  • 数据血缘能力增强:字段级别血缘管理;
  • BI可视化集成;

贡献者

待补充