当前位置:

首页 > 系统应用 > 袋鼠云思枢:数驹DTengine,助力企业构建高效的流批一体数据湖计算平台

袋鼠云思枢:数驹DTengine,助力企业构建高效的流批一体数据湖计算平台

7月28日,袋鼠云2022产品发布会以“数智进化,现在即未来”为主题,于线上盛大开幕。发布会上,袋鼠云宣布集团全新升级,从“数字化基础设施供应商”转型为“全链路数字化技术与服务提供商”。袋鼠云产研负责人思枢,还对外正式发布了全新的四大产品体系,包括数据智能分析与洞察平台“数雁EasyDigit”、低

本文目录

    7月28日,袋鼠云2022产品发布会以“数智进化,现在即未来”为主题,于线上盛大开幕。发布会上,袋鼠云宣布集团全新升级,从“数字化基础设施供应商”转型为“全链路数字化技术与服务提供商”。袋鼠云产研负责人思枢,还对外正式发布了全新的四大产品体系,包括数据智能分析与洞察平台“数雁EasyDigit”、低代码数字孪生平台EasyV、一站式大数据开发与治理平台“数栈DTinsight”以及极速湖仓引擎“数驹DTengine”。

    他表示,“当前,数字化转型已然成为几乎所有企业的必选项,越来越多的企业将数据视为核心资产,加快数字化转型的战略部署。行业的变革、客户的需求不断督促着我们向前,袋鼠云产品研发迭代升级的脚步从未停止。

    回顾过去,袋鼠云秉承让数据创造价值的使命,在大数据领域的多个方面实现突破;在未来,袋鼠云要深耕行业,实现业务与数据的双向驱动,进一步夯实企业数字化转型的数据基座,最大化帮助企业释放数据价值。”

    思枢重点向大家分享了全新四大产品体系中的坚实底座——袋鼠云自主研发的极速湖仓引擎「数驹DTengine」。

    以下为思枢演讲全文:

    大家好,我是袋鼠云产研负责人——思枢。非常感谢大家参与袋鼠云2022产品发布会,也很荣幸能够有机会在这里向大家介绍袋鼠云焕新升级后的系列产品。

    首先想问大家一个问题,这也是很多数字化企业面临的问题:数据革命时代来临时,如何加快数据价值化呈现?

    在这个过程中,会碰到4个难题:首先是部署难题,怎样简单快速地部署一套大数据组件呢?其次是数据源接入难题,如何对接多源、多种异构的数据源?这些海量的结构化、半结构化和非结构化数据又该如何存储呢?然后是数据处理效率难题,面对如此海量的数据,怎样降低数据开发处理的门槛,提高数据分析的效率呢?最后是数据安全难题,数据透出时如何做到精细化权限管控呢?

    有理由相信,许多数字化企业都迫切需要一套系统来解决上述问题,而数驹也正是由此而生。

    数驹是什么?

    下面首先请大家先重点看一下数驹的产品架构图:

    数驹主要包括两个平台产品:一是大数据基础平台——EasyMR,负责Hadoop、Hive、Spark、Flink、Kafka、Hbase等大数据组件的自动化集群部署、监控、迁移、升级等功能。

    EasyMR除了能监管Hadoop生态体系组件,也可以根据EasyMR提供的Schema规范自动编排,快速集成客户侧自定义的开发应用。

    所以使用EasyMR部署一套Hadoop组件,即使是零技术基础的小白,也可以通过可视化的界面进行一步步的引导操作,半个小时就能完成部署。

    这里也说下EasyMR的开源版ChengYing已经在Github上开源,大家有兴趣可以下载试用。

    Github:https://github.com/DTStack/chengying;

    Gitee:https://gitee.com/dtstack_dev_0/chengying

    二是数据湖平台——DataLake,在存储层通过流批一体数据同步框架ChunJun,将结构化、半结构化和非结构化数据统一高效入湖,入湖后对数据文件做统一的规范管理和高效索引,极大的提高查询效率。

    在元数据层做统一的Catalog管理,Schema的自动推导,分区的动态生成和表结构演进。并且DataLake在计算层可以支持Flink、Spark、Trino等多种引擎做跨数据存储的联邦查询。

    让业务响应更加及时,让企业运转更加高效,数驹诞生的目的就是让企业产生的所有数据,都能够被采集、被存储、被计算,赋予数据全新价值。

    数驹好在哪?

    除了数据高效入湖、联邦查询外,数驹还有其他几大领先产品特性和技术内核,接下来进行简单分享,帮助大家更好的理解数驹。

    产品特性

    · 数据入湖:集成流批一体框架ChunJun一键生成湖表信息

    · 联邦查询:内置多种数据连接器高效索引,跨源联合分析查询

    · 自主可控,安全保障:360°数据访问安全体系,细粒度的数据权限划分

    · 极致便捷:一站式服务,开箱即用可视化操作

    · 流批一体:统一存储逻辑,统一SQL语言,支持流批一体化分析

    · 兼容并蓄,优化提升:对Spark、Flink、Trino等计算组件深度优化加速计算

    袋鼠云一直以来都希望帮助企业充分发挥数字化能力,打造数字经济时代助力企业智能化“蝶变”的利器。基于此目标,我们为数驹打造的流批一体主要应用场景,一套代码实现多种业务场景,高效分析。

    企业平台在支撑上层多种业务应用的过程中,依赖多种计算任务,包含离线和实时,二者独立运行,业务逻辑相同,但因数据延迟、代码语言差异等导致最终结果存在差异,需要额外的人力进行两套计算引擎的维护,造成大量的成本损耗。

    基于数驹平台的数据存储管理能力,可以同时支持上层计算引擎批和流的计算能力,帮助企业构建流批一体的数仓平台,实现一套架构同时满足流批业务操作,降低学习、使用、维护成本,提高开发效率。

    数驹将如何?

    数驹作为袋鼠云今年推出的全新产品,近期有四大规划:

    未来规划

    ·湖表管理优化:周期性的清理过期数据、快照,合并压缩小文件提升读取表的性能

    ·索引加速:通过bloom index、data skipping index、zorder index等一系列索引构建,提升数据湖查询性能,做到毫秒级响应

    · 智能优化:相同特征的查询请求可以直接通过查询缓存和湖表数据变更快速返回结果,做到智能加速

    · 智能运维:对事件、监控等运维对象深入透视,通过规则、算法等决策服务及时发布异常警告、自动进行运维决策

    作为袋鼠云全新产品矩阵的排头兵,数驹将不断进化,继续在追求更极致的查询效率,更快捷的部署运维的道路上砥砺前行,坚持为企业数字化转型保驾护航。

    袋鼠云开源框架钉钉技术交流群(30537511),欢迎对大数据开源项目有兴趣的同学加入交流最新技术信息,开源项目库地址:https://github.com/DTStack

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    系统应用 数字孪生
    相关文章 更多
    五一视界(6651.HK)与沙特水务局(SWA)正式签署谅解备忘录
    五一视界(6651.HK)与沙特水务局(SWA)正式签署谅解备忘录

    近日,中沙两国在科技与数字化领域的合作持续升温,沙特水务数字化转型也由此迈入新阶段。在首届沙特水务周(Saudi Water Week)活动现场——这场由沙特环境、水与农业部(MEWA)主办,以“共建全球水资源可持续发展新格局,以创新科技护航国家水安全”为核心主旨的行业盛会上,五一视界(51WORL

    全景观察:人机共生时代,造型艺术教育向何处去?
    全景观察:人机共生时代,造型艺术教育向何处去?

    2026年广州美术学院举办“造型艺术与科技媒介”国际研讨会,聚焦人机共生时代艺术教育变革。与会专家提出守住具身感知、审美判断、价值立场三个根本,分享全球院校转型实践,探讨数字策展、低科技创作等路径,强调在技术与艺术的矛盾共生中重构教育生态。

    如何用Java开发数字孪生?ThingJS三维可视化
    如何用Java开发数字孪生?ThingJS三维可视化

    要开发Java数字孪生并结合ThingJS三维可视化,核心步骤如下:1.数据采集与处理:使用Java通过MQTT、HTTP等协议连接传感器设备,进行数据清洗、转换,并存储至数据库;2.三维模型构建与集成:在ThingJS中导入OBJ、FBX等格式模型,优化后绑定Java处理的数据并设计交互;3.数据同步与实时更新:通过WebSocket实现Java后端与ThingJS前端的实时通信,结合定时任务从数据库获取数据推送前端;4.框架选择:根据需求选用SpringBoot构建API、Netty处理高并发通信或结

    制造业工业连接的关键用例
    制造业工业连接的关键用例

    近年来,越来越多的人开始讨论智能工厂和工业4.0等可能性和潜力,但如今通过利用工业连通性就可以实现这些宏伟愿景和战略的诸多好处。制造业的工业连通性使各种应用能够提高效率、提高生产质量、实现实时监控和控制并促进智能决策过程。近年来,智能制造工厂和工业4.0等技术被广泛讨论,然而利用工业连通性来打破制造业常见的孤岛,这些宏伟愿景和战略的诸多好处如今已经可以实现。在实践中,通过工业连接提供标准化数据访问的几个常用用例,已经对全球制造业产生了重大影响。其中一些可能的关键用例包括:实时数据监控和分析在制造商通常使用

    2024年AEC/O行业五大发展趋势
    2024年AEC/O行业五大发展趋势

    AEC/O(Architecture,Engineering&Construction/Operation)是指是建筑行业中提供建筑设计、工程设计、施工及运营的综合服务。2024年,AEC/O行业在技术进步中面临着不断变化的挑战。今年预计将整合先进技术,预示着设计、建造和运营的范式转变。为了应对这些变化,行业正在重新定义工作流程,调整优先级,增强合作,以适应快速变化世界的需求。AEC/O行业以下五大趋势将成为2024年的关键主题,推荐其走向更加一体化、响应迅速和可持续的未来:一体化供应链、智能工厂

    突破:医药行业数字孪生的最新发展
    突破:医药行业数字孪生的最新发展

    用于患者管理的数字孪生:通过整合个人的虚拟副本,数字孪生可用于预防性医疗保健。这被称为人类数字孪生,融合了遗传、生活方式和环境因素等因素。其范围从代表整个人体到特定的器官。这些数据是从可穿戴传感器、生活方式信息和临床机构收集的。人类数字孪生还允许创建大量患者的数字复制品,从而能够测试不同的药物,以确定对每位患者最有效的治疗方法。项目如“SIMULIA活体心脏”利用数字孪生技术,通过计算机模拟来研究人体和药物之间的相互作用。这种技术使医生能够深入了解心脏复杂的结构,检测与缺血性心脏病(IHD)等疾病相关的事

    2024 CES沦陷,全被机器人控制
    2024 CES沦陷,全被机器人控制

    机器之能报道编辑:佳琪2024年国际消费电子展(CES)这一科技界的风向标活动刚刚落幕。作为全球备受瞩目的科技盛会,CES吸引了来自150多个国家和地区的4000多家尖端科技企业。各家品牌纷纷秀出了最先进的技术和产品。英伟达的AIPC布局、英特尔最新的第14代处理器、发布3天即售罄3万台的RabbitR1......今年的CES见证了亿点点新变革的发生。超过13万名参会者亲临现场,体验了一把「黑科技照进现实」的震撼。在CES的展厅里,机器人总是最引人注目的焦点,其中有几款别具创新性和前瞻性的机器人特别值得

    关于数字孪生的制造业应用,我们需要了解的一切
    关于数字孪生的制造业应用,我们需要了解的一切

    在智能制造领域,AI驱动的数字孪生已经成为一个关键技术。数字孪生是现实世界系统的数字模型或副本,通过使用来自传感器和物联网(IoT)设备的数据来提供数字化表示,从而实时模拟物理对象或系统但在实际应用中,人们对于数字孪生的理解往往参差不齐。下面是一些常见的理解误区:在设计阶段建立用于执行仿真的数字模型(对象的3D模型)并不属于数字孪生。在设计阶段,以模拟方式探索各类设计选项很有价值,但数字模型代表的是理想化状态,而非真实的物理系统状态。通过逆向工程过程建立的模型(也被称为「数字影子」)同样不属于数字孪生,因

    上海市杨浦区与华为签约,将在城市数字孪生生态等方面展开合作
    上海市杨浦区与华为签约,将在城市数字孪生生态等方面展开合作

    据华为中国政企业务官方公众号消息,上海市杨浦区政府与华为技术有限公司于12月13日在深圳华为总部签署了深化战略合作框架协议根据协议,双方将围绕城市灵境场景创新中心、数字孪生创新联合体、城市数字孪生生态、城市数字孪生应用场景等方面开展深入全面的合作。胡厚崑,华为轮值董事长,表示杨浦区拥有富集的科创资源,是上海创新浓度最高的区域之一。双方将合作打造一个创新的培育赋能体系,由创新联合体、产业生态和应用场景构成上海市杨浦区委书记薛侃表示,杨浦与华为在转型、创新、发展方面的共同经历,促成了这次共同的行动与合作,希望

    初创公司利用AI为配音演员开发“数字孪生”,用自己声音生成内容
    初创公司利用AI为配音演员开发“数字孪生”,用自己声音生成内容

    IT之家10月15日消息,据彭博社14日报道,一名配音演员CiccyJones创办了AI初创公司Morpheme,旨在利用AI“重塑”从动画片到游戏的配音、拟音方式。需要重新写作的内容是:图片来源Pexels她之前曾经参与过《星空》《博德之门》等一系列重要作品的配音工作。有一次,她需要为一个宇航员在太空中醒来并面临呼吸困难的场景进行配音。她坦言:“在持续了10分钟后,我差点晕倒了。”据介绍,若她的项目能够得到科技投资者的青睐,未来这些复杂的配音工作只需要外包给自己的“数字孪生”——由AI驱动,利用演员本人

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。