偶数科技发布实时湖仓数据平台Skylab 5.3版本

2023-07-17 12:47:28     来源:

近日, 偶数发布了最新的实时湖仓数据平台 Skylab 5.3 版本。Skylab包含七大产品,分别为云原生分布式数据库 OushuDB、数据分析与应用平台 Kepler、数据资产管理平台 Orbit、自动化机器学习平台 LittleBoy、数据工厂 Wasp、数据开发与调度平台 Flow、系统管理软件Lava,在本次的新版本升级中以上全线产品都进行了更新。

在已经具备完整生态组件的基础上,Skylab 本次升级进一步提升了生态扩展能力,在数据的开放存储格式、应用分析的多数据源接入等方面都做了优化,比如新增对 Hudi 开放存储格式的原生支持,以及接入更多数据库类型作为数据分析和应用的数据源。

接下来让我们一起了解下 Skylab 5.3 各组件的更新情况。

云原生分布式数据库 OushuDB 5.2 更新

继上一个版本可以原生使用 Hive 存储在 HDFS 的数据,OushuDB 5.2 实现了原生支持 Hudi 存储格式,提供了更多开放的数据格式,实现了“一数多擎”,即多个引擎共享同一份数据,也为客户在落地湖仓一体提供了更多可选方案。

存算分离的数据库架构必然需要在计算节点做数据缓存,OushuDB 5.2 的 Magma 表实现了计算节点数据缓存,极大提升查询速度。

OushuDB 的客户端 Worksheet 在本次升级中对性能、功能和交互体验都做了优化。功能方面,Worksheet 支持同时展示多条 SQL 查询结果,支持在创建对象时选择表空间、表压缩及压缩比;支持数十万表的查询与展示,客户端性能进一步提升;Worksheet 在导入导出数据及脚本、SQL 语法提示、历史版本搜索、报错方式等方面都进行了交互优化。

OushuDB 5.2 还完善了数据库审计功能,此外还支持自动统计信息收集,用户可以不再通过 Analyze 来发数据统计信息。

数据工厂 Wasp 5.3 更新

新版本的 Wasp 在产品易用性上进行了大幅提升,用户可以仅配置一次任务就将整个库的数十万张表进行同步,极大的提升效率,同时,Wasp 还支持可视化数据清洗与流计算的配置,提升了产品易用性。

除了已经支持的Oracle、MySQL、DB2、PostgreSQL等数据源,还新增支持 Sybase、KingBase等数据源。CDC 支持无主键源表同步场景,规避了数据同步可能面临的数据冲突和重复问题。

数据资产管理平台 Orbit 2.2 更新

Orbit 新增主数据管理模块。主数据管理模块是一种关键的企业管理工具,通过主数据模型和主数据服务,集中管理和维护企业中的主数据,提高数据一致性、准确性和可用性,帮助组织整合不同的业务流程和系统,各个部门和系统可以基于相同的数据进行工作,从而提高业务流程的协同效率。

此外,相较上一个版本,Orbit在元数据采集、数据资产发布及撤销、元数据删除等方面做了进一步优化,大幅提升处理性能和操作体验。

数据资产目录和元数据目录“主页”展示可视化的统计信息

数据分析与应用平台 Kepler 4.0 更新

新版本 Kepler 在多数据源接入、血缘详情展示和报表开发几个方面做了大幅优化。

支持 MySQL 和 OushuDB 等多种数据源,为用户提供了更多的接入方式,并根据不同数据源对指标、标签、报表、数据可视化、数据工厂等功能进行优化。血缘节点增加指标、事实、维度、数据库表等详情展示,让用户迅速了解血缘信息。

报表开发方面,新增单元格批量设置、字段生成表头、表级节点拖入。

数据可视化模块添加水球图、数据文字云类型图表。

自动化机器学习平台 LittleBoy 5.0 更新

新版本 LittleBoy 在现有的丰富算子的基础上,形成了特殊算子的定制能力,如对数据字段进行加密算子和解密算子,这也意味着 LittleBoy 对不同行业和场景的生态扩展能力逐步增强。

数据开发与调度平台 Flow 5.3 更新

提供批次相关功能,支持追批、自定义批次标签。用户可以通过批次来管理任务的周期执行(如以天、周为周期),更好的应对业务分批执行需求的支持,为作业调度的开发提供便利。

系统管理软件 Lava 5.3 更新

Lava 提供了升级框架,用户可以通过升级脚本一键升级 Wasp、Flow、Worksheet。新版本增加了 OushuDB 监控页面,展示集群拓扑结构、执行中的SQL、会话和锁信息等。

偶数 Skylab 是一个拥有海量数据存储、计算、分析、应用和 AI 能力的实时湖仓数据平台,提供完整的数据管理生态闭环,帮助用户实现批流一体、实时数据处理、自动化机器学习、自助可视化分析和数据资产管理。依托 Skylab,用户可以轻松实现智慧营销、智能风控、智慧审计、智慧监管等数据应用场景。

 

标签:

猜你喜欢

加码校招 TCL持续加大新能源光伏赛道投入
《生成式人工智能服务管理暂行办法》出台,安恒信息:AI安全监管势在必行!
安恒信息:AI安全监管势在必行!
网信办公布生成式人工智能新规,北京4000万元算力券补贴将花落谁家?
实在智能RPA数字员工与浪潮信息AIStation完成适配认证
“真香神机”C11G Pro正式发布:电视换代首选Mini LED
天翼云电脑,解锁绿色安全高效新体验
第十届国际三维基因组学研讨会在杭州隆重召开
卖旧买新一站搞定,汽车之家能源空间站天天拍车联营店海口启航运行
“热爱全开音乐节”燃爆青岛 2023年百事校园最强音三强揭晓
AIGC营销产品Top5:降本之上,究竟如何增收?
创"芯"交互 - 极豪科技超薄电容指纹解决方案助力荣耀全新折叠旗舰Magic V2发布
钓鱼、观星提醒卡片上新,华为天气用气象服务让生活更贴心
2023世界人工智能大会大咖云集,杨强分享联邦学习前沿成果
“十面抗摔战士”荣耀X50今日开售,超硬核“千元机灭霸”正式出山
iOS系统的云手机哪个好用?iOS系统苹果云手机使用方法
特教老师孙壮红:陪伴特殊孩子“攻克”1000个汉字
技术创新提速数字化转型,华为云联创营企业快成长上海CTO班第一期成功举办
“技术x文化 驱动组织创新”,华为云联创营企业快成长北京CTO班成功开营
安超虚拟化平台软件助力企业升级IT架构 提供更敏捷、更高效的虚拟化服务
XR前路漫漫,始终绕不开这家公司
竹芒科技联合华为云:简化分析链路,华为云数据仓库以一抵N
Mini LED电视选购秘诀:选择TCL C11G Pro,画质体验“真香”
厦门泰亦恒电子科技有限公司参加 第四届中国石油石化健康、安全与环保(HSE)技术交流大会
Bioagen博奥真勉力维,多靶点双向调节,全面维护免疫系统健康!
十年昱见理想家,日立霸屏高铁开启寻找老朋友模式!
全球首款CS520H码垛协作机器人亮相,艾利特CS系列再引潮流
洞悉消费者多元化需求,羊小咩打造新消费数字化服务平台
怎么评价艺画开天《灵笼 2》PV先行片段的制作水平?
冰饮品牌如何抓住夏季增长机会?「抖in百味赏·夏日冰饮季」有新招