您现在的位置:返回首页
业内首次融合数据仓库与数据湖 阿里云推出下一代大平台“湖仓一体”
9月18日,2020云栖大会上,阿里云正式推出大数据平台的下一代架构——湖仓一体,打通数据仓库和数据湖两套体系,让数据和计算在湖与仓之间自由流动,从而构建一个完整的有机的大数据技术生态体系。为企业提供兼具数据湖的灵活性和数据仓库的成长性的新一代大数据平台,降低企业构建大数据平台的整体成本。
大数据技术从本世纪初发展至今演进出了数据仓库和数据湖两种趋势,前者通常指云厂商提供的基于大数据技术的一体化服务,后者通常是由一系列云产品或开源组件共同构成的大数据解决方案。
当企业处在初创阶段,灵活性就非常重要,数据湖的架构更适用。当企业逐渐成熟,成长性成为最关键因素,数据仓库的架构就再适合不过了。那么,数据仓库和数据湖是否只能是一道单选题?能否有一种方案同时兼顾数据湖的灵活性和云数据仓库的成长性?
阿里巴巴集团副总裁、阿里云计算平台负责人贾扬清表示,MaxCompute湖仓一体方案打破了数据湖与数据仓库割裂的体系,在架构上将数据湖的灵活性、生态丰富与数据仓库的企业级能力进行融合,从而构建数据湖和数据仓库融合的湖仓一体的全新计算平台。MaxCompute湖仓一体方案不仅可广泛用于支持超大规模的机器学习和深度学习,还能帮助企业高效提升自身大数据能力,实现敏捷运营,降本增效。
据悉,MaxCompute在原有的数据仓库架构上,融合了存储计算一体化数据仓库和云上存储计算分离的数据湖,最终实现了湖仓一体化的整体架构。在该架构中,尽管底层多套存储系统并存,但通过统一的存储访问层和统一的元数据管理,向上层引擎提供一体的封装接口,用户可以Join数据仓库和数据湖中的两张表,同时整体架构还具备统一的数据安全、管理和治理等******能力。
在技术融合过程中,MaxCompute不仅实现了快速接入、统一数据/元数据管理、统一开发体验、自动数仓四个关键技术点,更持续提升了核心性能,在2020 TPCx-BigBench中,MaxCompute基于英特尔至强可扩展处理器在100TB规模保持性能不变的情况下,成本较去年下降了40%;30TB规模下,性能提升50%以上,成本下降了30%以上。
微博是湖仓一体的尝鲜者。此前微博拥有Hadoop数据湖和阿里云大数据及AI两套异构的大数据平台,且两套平台在集群层面完全割裂,数据和计算无法自由流动。为了解决这些难题,微博基于阿里云构建了湖仓一体化的AI计算******,摆脱了繁重的数据搬迁,使得微博的数据工程师和算法工程师轻松无缝的借助阿里巴巴成熟的超大规模算力和算法赋能业务提效。同时,将MaxCompute云数据仓库(结构化数据)与数据湖(非结构化数据)构成闭环,极大提升了AI类作业效率,产生巨大的业务价值。
阿里云自研云数据仓库MaxCompute历经近10年技术沉淀,不仅稳定支撑阿里巴巴集团的数据存储和数据计算业务,更是云上客户大数据平台的重要组成部分。此次湖仓一体发布,为企业提供了一种更灵活更高效更经济的数据平台解决方案,既适用于全新构建大数据平台的企业,也适合已有大数据平台的企业进行架构升级,切实以技术加速了企业的数字化重构。
据了解,本次云栖大会上,贾扬清还首次发布阿里云云原生数据湖体系,基于对象存储OSS、数据湖构建Data Lake Formation和云原生开源大数据产品E-MapReduce的强强组合,提供存储与计算分离架构下,涵盖湖存储、湖加速、湖管理和湖计算的企业级数据湖解决方案。以及宣布MaxCompute和Hologres产品融合升级,提供离线、实时、分析、服务一体的数据仓库。
更多相关资讯
推荐内容
MORE- (03-04) 奥克利不满NBA联盟调解 仍未和尼克
- (01-13) 作品档案之番号RKI-351 可愛いすぎ
- (09-26) 几十位明星主演打败好莱坞大片这部
- (04-15) 马刺官方Instagram发布队史对阵步
- (12-30) 正确使用标点符号之问号、顿号、引
- (01-28) 快船将不续签达柳斯-莫里斯
- (06-10) 六省十市群众艺术展演在临沂成功举
- (09-22) 骑行趋热买辆称心车不易
- (10-16) 有哪些靠谱的二手交易平台?95分闲
- (07-02) 股市正做“M头”还是筑“W底”?
- (07-14) 北京不为职工开公积金账户罚5万 具
- (06-27) 艺视21届志愿填报指导丨考进梦想象
- (04-30) 骑士祸不单行:勒夫伤情不乐观 史
- (08-22) 一文带你了解重汽豪沃TX车型怎么样
- (08-26) 又来利好了_贵州茅台
- (08-02) 山东:禁止组团赴中高风险地区旅游
- (01-21) 宁波算山码头吞吐量破6亿吨刷新纪
- (07-10) “毋以小益而不修毋以小损而不防”
- (11-17) 愈快乐愈堕落qvod可以这样解读吗?
- (07-28) 爷爷端菜式抱娃 具体怎么回事?
- (01-31) 作品档案之番号MGS视频 韩国美女
- (08-23) 快来看看这些地方的脱贫经是怎么念
- (08-20) 中菌特色肥智能化升级开先河
- (07-14) 拉姆斯菲尔德其人其事
- (08-08) 最新上海市电动车上牌******一览
- (11-22) 扶貧快車上的“潤滑劑”
- (01-14) 洛城德比战 快船队雷迪克确认复出
- (02-16) 篮球盛宴腾讯视频TV端直击NBA全明
- (07-13) 女孩餐厅吃饭疑遭男伴暗中下药 人
- (11-27) 香港上市公司嘉利国际荣获2020杰出
- (06-15) 屈原故里端午习俗“活”起来
- (08-19) 12级台风海高斯登陆珠海 台风最新
- (11-17) 丹阳假日网校这是不是真相?
- (02-16) NBA15年后再现扣篮之神 拉文定律
- (11-04) 关于小皇叔侧耳听风背后的逻辑是什
- (05-04) NBA周四303推荐:勇士 VS 快船
- (04-07) 说说顽固性痰咳的气道高反应
- (01-18) 备好药物应对感冒流感与疫情散发
- (05-18) 几千元的代餐食品几万元的减重手术
- (07-04) 超350头大象近期突然集体神秘死亡