栏目导航

当前的位置: 六合开奖结果 > 六合采免费 >

阿里云数据库再获学术顶会认可一文全览VLDB最新
发布时间:2019-09-11

  于当地时间8月26日-8月30日在洛杉矶圆满落幕。在本届大会上,阿里云数据库产品团队浓墨登场,不仅有多篇论文入选Research Track和Industrial Track,为了进一步加深产学研学术交流,阿里云还在大会期间举办了“阿里之夜”交流晚宴。

  8月29日晚,超200名论文作者、行业专家、来自MIT、CMU等高校的学术界资深教授、学者和产业界人士共赴“阿里之夜——Alibaba Night Networking Event“,活动空前爆满。在轻松氛围中,参会者共同探讨全球数据库生态,并就阿里云目前在数据库和大数据方面的最新技术进展进行交流与研讨,开启了一场智慧碰撞的盛宴。

  在VLDB大会上,阿里巴巴集团副总裁、阿里云数据库事业部总裁、达摩院数据库首席科学家李飞飞进行题为《Cloud Native Database System at Alibaba: Opportunities and Challenges》的主题演讲。李飞飞分享了云原生数据库在阿里发展的心路历程,并表示:“云原生数据库天然拥有云计算的弹性能力,不仅具备开源数据库的易用、开放特点,而且拥有传统数据库的管理和处理性能等优势“。

  他还详细介绍了阿里云自研数据库的两款明星产品:OLTP数据库——POLARDB基于共享存储的Scale-up 架构和基于分片的scale-out分布式架构,以及OLAP数据库——AnalyticDB的MPP架构、极具特色的全索引和行列混存结构,以及在海量数据场景下极致性能。

  VLDB大会全称International Conference on Very Large Data Bases,是数据库及相关领域研究者、供应商、参与者、应用开发者所广泛关注的主要国际学术会议,也是公认的数据库领域三大顶级会议(SIGMOD、VLDB、ICDE)之一,反映了当前数据库研究的前沿方向、工业界的最新技术以及各国的研发水平。在发表论文难度和受关注程度上,与SIGMOD可谓并驾齐驱。

  作为阿里巴巴IT基础设施的重要组成部分,阿里云数据库在工程实践和技术创新上一直走在领域前列,相关研究成果已多次入选国际数据库顶级会议(SIGMOD、VLDB、ICDE等)。本次VLDB大会,阿里云数据库共有3篇论文被收录,下面小编将对入选的论文佳作进行汇总赏析,萃取精华之精华,以飨读者。

  基于数据驱动和机器学习算法的数据库参数优化是近年来数据库智能优化的一个热点方向,但也面临着很大的技术挑战。要解决的问题是在大规模数据库场景下,如何对百万级别运行不同业务的数据库实例完成自动配置,同时权衡性能和成本,在满足SLA的前提下资源成本最低,该技术对于CSP(Cloud Service Provider)有重要价值。

  学术界近一两年在该方向有一些研究(比如CMU的OtterTune),但该算法依赖于一些人工先验经验且在大规模场景下不具备可扩展性。据了解, 其他云厂商Azure SQL Database以及AWS该方向都有投入,目前尚未看到相关论文或产品发布。

  从18年初开始,阿里云开始数据库智能参数优化的探索,从问题定义,关键算法设计,算法评估及改进,到最终端到端自动化流程落地,多个团队通力合作完成了技术突破且实现了大规模落地。

  这项工作不仅在数据库智能参数优化理论方面提出了创新想法,而且目前已经在阿里集团~10000实例上实现了规模化落地,累计节省~12%内存资源,是目前业界唯一一家真正实现数据库智能参数优化大规模落地的公司。

  经过算法探索和端到端自动Buffer Pool优化流程建设,FY2019集团内全网最终优化 ~10000 个实例,二四六免费资料大全将整体内存使用量从 217T内存缩减到 190T内存,节省 12.44%内存资源(27TB)。

  前沿 VLDB 2019论文解读:阿里巴巴大规模数据库智能参数优化的创新与实践:

  已有的分析型数据库(以下简称OLAP)诸如Impala、Pinot、Druid等,总结了OLAP系统在设计的过程中应该解决的问题:低延迟、数据新鲜度、多样性、低成本、高扩展性、高可靠性。和这些已有的OLAP系统相比,AnalyticDB承载着更大的规模:2000+台物理机器、10PB+规模数据、百万张数据表以及万亿条数据行。

  论文讲述了AnalyticDB如何在设计与实现上,不仅解决了已有OLAP系统的问题,还攻克了以下三大业界难题:

  1) 随着用户分析需求的急剧增加,用户的查询变得复杂且多样化:这些查询涵盖点查询、全表扫描、多表关联等,还会包含对任意列组合的筛选条件。如何在这种复杂分析场景下依然保证大部分甚至所有查询的低延迟,是一个非常大的挑战;

  2) 如何在保证低延迟查询的情况下,仍然能处理每秒千万级别的写吞吐。传统的设计理念在同一条链路上同时处理读写请求,这会造成读写性能的互相严重影响。

  3) 复杂分析场景下,会对行存、列存、关系型存储、复杂数据类型(JSON、vector、text)都有着强烈需求。如何设计一个对这些存储格式都很友好的存储层,也是一个业界难题。

  前沿 VLDB论文解读:阿里云超大规模实时分析型数据库AnalyticDB:


白小姐彩图| 香港最快开奖现场直播| 香港抓码王| www.20994.com| xg499.com| 大红鹰聊天室| 百万心水论坛| www.448388.com| www.94116v.com| 本港台开奖现场报码室| 醉红颜心水论坛| www.786789.com|