千数平台(qData) 是一款一站式开源数据中台,覆盖中台基础建设、数据治理、数据开发、监控告警、数据服务与数据可视化等核心能力,致力于高效赋能数据前台,为各类业务系统提供统一、高效、安全的数据支撑服务。
🔥🔥🔥可视化拖拽式大数据集成平台、大数据平台、大数据,包含数据流、数据源、数据对齐、查询模板、完善的监控等。像画流程图一样且无代码方式同步、清洗数据。
🔥🔥DatalinkX异构数据源之间的数据同步系统,支持海量数据的增量或全量同步,同时支持HTTP、Oracle、MySQL、ES等数据源之间的数据流转,支持中间transform算子如SQL算子、大模型算子,底层依赖Flink、Seatunnel引擎,提供流转任务管理、任务级联配置、任务日志采集等功能🔥🔥
bboss-datatran 由 bboss 开源的数据采集&流批一体化工具,提供数据采集、清洗转换处理以及流批一体化计算功能; 同时也是一个高性能Elasticsearch orm 客户端,100%兼容es各个版本 ,兼容spring boot1.x,2.x,3.x;jobflow 通用数据交换、AI以及业务办理工作流编排引擎
罗盘是一个大数据任务诊断平台,旨在提升用户排查问题效率,降低用户异常任务成本。
其主要功能特性如下:
非侵入式,即时诊断,无需修改已有的调度平台,即可体验诊断效果。
支持多种主流调度平台,例如DolphinScheduler、Airflow或自研等。
支持多版本Spark、Hadoop 2.x和3.x 任务日志诊断和解析。
支持工作流层异常诊断,识别各种失败和基线耗时异常问题。
CloudEon 将基于 Kubernetes 的资源安装部署开源大数据组件,实现开源大数据平台的容器化运行,您可减少对于底层资源的运维关注
Fire框架是中通大数据自主研发并开源的大数据框架,专为Spark和Flink任务开发设计,可显著降低70%以上的代码量。该框架创新性地采用基于注解的方式进行Spark和Flink任务开发,并集成了实时血缘追踪、根因诊断、动态调优以及参数热调整等多项平台化功能。Fire框架已被数十家公司采用,累计收获了近千个Star,并拥有超过200人的社区,其中包括来自美团、阿里巴巴、作业帮等知名企业的成员。
DataBand(数据帮),快速采集清洗,任务管理,实时流和批处理数据分析,数据可视化展现,快速数据模板开发,ETL工具集、数据科学等。是轻量级的一站式的大数据平台。
LarkMidTable 是一站式开源的数据中台,实现中台的基础建设,数据治理,数据开发,监控告警,数据服务,数据的可视化,实现高效赋能数据前台并提供数据服务的产品。