收获时节,偶数科技发布实时湖仓Skylab 5.4版本

2023-10-20 09:10:52     来源:

2023年的金秋十月,不仅有着举国欢庆双节的热闹,同时也是偶数及其行业客户收获产品迭代成果的时节。10月13日, 偶数科技发布了最新的实时湖仓数据平台Skylab 5.4版本。其中,云原生分布式数据库OushuDB、数据分析与应用平台Kepler、数据资产管理平台Orbit、数据工厂Wasp、数据开发与调度平台Flow、系统管理软件Lava,在本次的新版本升级中都进行了迭代更新。

接下来让我们一起了解下Skylab 5.4各组件的更新情况。

云原生分布式数据库OushuDB 5.3更新

OushuDB 5.3支持Native ORC格式在线增量备份恢复。相较于全量备份恢复,增量备份恢复减少了备份和恢复时间,提供更快的数据恢复速度。同时,相对于传统的离线备份(需要停止数据库服务),在线备份减少了停机时间。这对于需要高可用性和7*24运行的业务至关重要。行业客户对数据平台的安全性愈发看中,在线增量备份恢复变得越来越必要,它在保障数据安全的同时,降低平台维护成本,减少业务干扰,提高系统可用性。

支持历史SQL监控功能。历史SQL监控可以跟踪和分析数据库中执行的SQL查询和事务的性能。通过监控历史查询的执行计划、响应时间和资源消耗等指标,DBA可以识别潜在的性能瓶颈,从而采取适当的优化措施,提高数据库性能。

新版本的默认权限功能可以为指定的用户和schema设置新建对象(表、视图、函数、序列)的默认权限。因此,指定用户或者在指定schema创建对象时,会自动添加权限信息,而无需再手动授权。尤其是进行大范围、多对象的权限管理时,默认权限这一功能有效降低用户权限管理的时间成本和操作代价。

OushuDB 5.3实现分区列DISTINCT性能优化,这意味着在执行DISTINCT查询时,不再需要扫描子表全部的数据,大幅减少数据扫描的数量,提高查询性能,实现毫秒级返回复杂查询结果。

Hive External Catalog新增对Description的支持。同时,在过往版本对Hive表只读的基础上,支持同时访问Hive中多个不同Database,实现多表关联计算,为用户提供更便捷的查询方式。

OushuDB的客户端工作簿Worksheet在本次升级中对性能、功能和交互体验都做了进一步优化。例如,查询结果列可拖拽、导出查询结果带表头、热键/别名、资源队列的切换等。

数据分析与应用平台Kepler 4.1更新

从4.0版本到4.1版本,Kepler报表开发、指标开发、可视化、平台服务等核心模块都进行了更新。

报表开发模块新增整体样式、撤销/重做、隐藏行/列、冻结滚动、参数跳转功能,提高了报表设计的灵活性和效率,让用户可以创建更吸引人的报表。

数据可视化模块新增多种图表类型和地图配置属性。通过增加了数据呈现的多样性,帮助用户更清晰地分析数据。

平台服务模块新增实时指标服务和数据服务详情页升级,提供了实时数据分析的能力,帮助用户更及时地做出业务决策。

指标开发模块新增SQL指标占位符、字段列表编辑、关联关系、空值过滤、自定义度量等功能,简化指标开发过程,加快数据分析流程,提高数据质量。

此外,Kepler增加了权限控制和血缘图节点数据下载功能,提供了更好的安全性和数据追溯功能。支持复杂限定条件操作符in/not in,提升了数据查询的灵活性,更容易筛选目标数据。

数据工厂Wasp 5.4更新

Wasp 5.4从容错、易用性角度做了更新和优化。

Kafka、文件类数据源支持忽略大小写,可以确保字段匹配和比对时不受大小写的影响,从而提高数据一致性避免了大小写差异导致的匹配错误;支持跳过脏数据,排除格式错误、无效或不完整的数据防止脏数据对后续处理和分析造成干扰,保持数据质量。

支持数据同步对象的重新映射,在数据源或者目标表结构有变化的情况下,允许将重新修改源与目标表的字段映射,降低运维复杂度。

此外,Wasp 5.4还支持任务、文件夹的移动;优化了指标监控;支持显示源表的主键信息。总体而言,新版 Wasp 的健壮性进一步提高,其新功能和易用性将帮助用户有效降低运维成本。

数据资产管理平台Orbit 2.3更新

首先,新版本Orbit着力提升了自动化元数据采集和血缘采集的稳定性和容错能力。用户在进行元数据和血缘分析时,将更少遇到中断和故障,更容易跟踪数据的流向和关系,有助于数据决策的准确性。

其次,Orbit在前一版主数据管理模块的基础上,优化了主数据模块里数据服务接口的配置页面,以提高用户操作体验。更流畅和直观的界面,为用户提供了更便捷的操作方式。比如在配置多表关联查询时,用户能够更轻松地创建和管理多表关联,提高了数据检索和分析的效率。

此外,新版Orbit进行了安全性升级,保障数据的机密性和完整性,以及防范潜在的数据风险和威胁。

数据开发与调度平台Flow 5.4更新

Flow 5.4进一步丰富了控制面板的功能,新增定时日历、任务占比、作业历史统计图等功能,帮助用户更方便地了解Flow的使用情况。此外还新增了作业的移动和复制、任务历史等功能。

系统管理软件Lava 5.4更新

新版Lava增强了HA(High Availability)功能,确保系统在面临硬件故障、软件故障或其他不可预测事件时仍能保持运行。

Lava的监控运维部分,增加了对OushuDB备份恢复、脚本迁移工具、SQL监控、自定义指标监控等功能。添加产品专员微信了解和体验产品:oushukeji

偶数Skylab是一个拥有海量数据存储、计算、分析、应用和 AI 能力的实时湖仓数据平台,提供完整的数据管理生态闭环,帮助用户实现批流一体、实时数据处理、自动化机器学习、自助可视化分析和数据资产管理。依托Skylab,用户可以轻松实现智慧营销、智能风控、智慧审计、智慧监管等数据应用场景。

标签:

猜你喜欢

大朋VR再次获评“中国VR50强企业”、大朋E4荣获VR/AR年度创新奖
万家乐:38年以用户为中心,引领热水器行业发展
连续三次位居中国政务云领导者,华为云持续领先
存储又有黑科技,华为推出存算分离助力数字经济
如何满足中小企业办公网络需求?贝锐蒲公英提供一站式方案
智算中心怎么建?青云科技将关键放在了 AI算力调度
格之格专注用户体验,打造差异化服务生态圈
青藤之恋发布1024程序员节调查:互联网人脱单率高于平均水平45%
复合维生素哪个牌子好?营养全面、科学配方是关键
数智融合 点亮未来 | 华为亮相2023世界VR产业大会
“双十一”购物狂欢节终于来了!“若返”值得入手
打造优质内容生态,丹拿之声与中国唱片集团达成版权合作
硬核!一文看尽中国移动云电脑创新进展
世界级著名科学家林方真教授加盟小i集团
激荡数字经济新动能|网易(平顶山)联合创新中心 正式开园
爱聊APP 2023第三季度“净网”行动公示 加强策略优化 打造安全婚恋社交环境
赋能千行百业,点亮行业未来
突破语音技术难题,网易云商论文入选国际语音会议ASRU
秋意浓,枫叶红,墨迹天气枫叶预报带你走进最佳赏枫地
淘天集团发布大模型应用十大挑战命题 加大AI领域技术投入
赛乐瑞Cellerator京东双十一钜惠即将火热开启,高奢抗衰礼盒恒新岁月
“永生野心船票“出炉?时光派TIMEPIE时光方舟,长寿极客们永享黑科技
双十一预售启幕,若返畅络因NNK和元气因NPC成为抗衰人士热门之选
睿科美新品爆火背后:ECM院线级迭代抗衰明星大局已定!
安徽怀远三中校长谈引进“河马爱学”:要让更多的孩子考上大学
抖音携手中国煤矿文工团助力优质传统文化演出创收,一年带来2000场演艺演出直播
以新锐之势不断进步!英特尔锐炫驱动及XeSS第一时间支持《永劫无间》新版本
基调听云与日志易达成战略合作,共创可观测性行业新篇章!
在华为云空间沙龙,我找到了Mate60系列影像指南
法大大生态战略2.0全新升级,一份应需而变的答卷