您好,欢迎来到三六零分类信息网!老站,搜索引擎当天收录,欢迎发信息
免费发信息
三六零分类信息网 > 阿里分类信息网,免费分类信息发布

写在阿里云宣布启动AliSQL开源项目之后

2022/11/28 1:39:27发布77次查看
昨天,阿里云在召开的2016 云栖大会·北京峰会上,宣布启动了 alisql 开源项目,将这个经过多年精心打造的、支撑了阿里巴巴和阿里云内部多项重大业务平台的数据库平台公开回馈给开源社区。
在此举措赢得一片赞誉之外,我们也和阿里云数据库团队的多位专家进行了一场面对面的访谈,深入聊了聊阿里云在数据库方面的一些研究和探索,以及在开源背后所折射出来的一些发展和思考。
莅临现场的专家有:
丁奇,阿里云关系数据库服务内核开发和运维团队负责人,活跃的 mysql 社区贡献者。专注于数据存储系统、mysql 源码研究和改进、mysql 性能优化和功能改进。
子嘉,阿里云缓存数据库负责人,负责 redis 和 memcahce 的开发团队。redis 中文社区的核心发起人。
叶翔,阿里云 mongodb 数据库技术负责人,江浙地区 mongodb 用户会主席。
萧少聪,阿里云数据库产品专家,postgresql 中国社区主席。
(本文整理自现场采访稿,有删节和文字修改。)
问:2016年大家都说是大数据年,也有很多的服务商提供大数据的产品服务。结合大数据和人工智能这样一个打包性的服务,请问阿里这边在结构数据库和大数据,以及人工智能方面是如何推进的呢?产品的战略是什么样的?
答:现在我们在整个 apsaradb 这个大框架的下面推进这个方向,作为一个分析型数据库,现在已经在公测 greenplum 了;后面我们还有小数仓这样的项目,它的目标是希望用户用 oltp 的形式把数据写入数据库以后,不再需要导出到另外一个系统里面,可以直接在里面进行计算,数据的流转在内部实现的。在我们的小数仓的这种思路里,数据就不再流转了,数据放进去只需要一份。当你是需要事务性的操作,直接使用原来数据接口;当你需要做分析的话,还可以做跨数据类型的分析,比如说你可以把一些数据放在 postgresql 里面;而最终还有“数加”这个平台,它把跨数据模型的数据放到一起做计算,这个项目我们也在推进当中。再以后是我们以前叫 oltp+ap,现在叫 htap 的一个平台,是我们现在正在做的一个大的方向。
问:您觉得这个未来是一个重点吗?
答:对,这个未来一定是重点!因为现在数据量越来越大,以前我们觉得说放点数据进去,回头把它导出来,放到别的地方去计算也行。但实际上随着现在数据量越来越大,导出的时间会越来越久。而从另外一个方向,从应用的角度,大家都希望有实时的分析能力,这两个就矛盾了。如果我们一直沿着导出、导入的思路,一个是成本高,另外一个是时间根本满足不了业务需求。所以后面的 htap 方向一定是一个趋势的,而且一定能做出来。按目前我们团队现在的实力配备,现在大家在做这个方向,而且这个项目已经在积极推进了。
问:我想问一下,数据库给客户提供哪些服务?数据库服务是不是只有备份服务?
答:数据库我们给用户看的感觉只是在使用这个数据库,甚至于只有一个连接,并不知道数据库在哪里,这个连接后面包含大量的服务。比如说我们有简单的一主一辅的高可用架构,数据高可靠的定期备份,可以由恢复到任意一个时间点。这些在用户正常使用的时候,他是关注不到的,但是当误删了库的时候,就开始来找我们的时候,才会知道,原来你点个按纽,就可以恢复到那个时候。像这些功能其实对于正常的用户,平时使用不知道,但是你要支持这些功能,就需要一些潜在的服务。还有用户说我数据有没有被脱库过,或者说真的已经有一条数据被误删了,我想找出到底是谁在什么时候做的等等这样功能,这些其实都是潜在的服务,当它需要的时候就冒出来了。所以数据库本身我们可以认为说,我们希望它做到像本地服务一样,但实际上它本身隐含的功能是远超于我自建一个库的。
问:我想问一下业务架构问题,咱们和存储这边部门,分工是什么?数据库和存储的关系是什么?
我们数据库和存储之间的关系,在比较早之前,我们就是把存储当存储,数据库自己做数据库的事,确实存在一些浪费。也许存储已经做双份了,数据库为了安全又做双份,因为我当成单点在做。现在我们开始慢慢做融合,刚才提到过我们在做这种让数据库与操作系统、文件系统,甚至于跟底层的硬件之间全部做打通。现在我们可以在考虑的事情是,有一部分数据我们可以依赖于存储给我们提供高可靠,如果确定了这部分的产品可以高可靠,我数据库这层就可以以减少成本为目的,又保证了相同的可靠性。但是有一些数据并不是你提供一个高可靠我就要使用它,因为我们的数据库还要考虑到数据库的性能、数据库对客户提供的事务原子性、事务可见性功能等等。比如说我们现在在做的一套方案,应该是明年会推出来的共享存储方案。数据本身是共享存储的,但是日志不是,这样既能够充分发挥数据底层文件存储提供给我们的高性能,以及三个节点写入的高可靠的数据方案,同时我们的数据库的日志又是单独备份的,又能充分发挥数据库本地日志这样提供的高性能。
问:从过去两年历程来看,阿里云的数据库技术和产品的增速方面是很大的,在 2016 年,阿里云在数据库的产品和技术方面,还会有哪些提升。
答:我们也一直在想,去年已经 100%,今年还是 100%,今年出的跟去年有什么不一样,其实我们如果再往前看两三年,又不一样。第一年的时候大家一直在救火;第二年开始大火不用救,但是坐在那还是很慌,但是那年已经没什么事了;到了去年已经彻底没事,坐在那肯定没有问题,所有研发人员在那抢购东西。(笑~)所以我今年跟我们的团队里负责双十一稳定性的同事说,我们今年要做到什么?我们今年要做到不需要去值班了。我们要怎么做?我们是要把整个和交易相关的集群当作一个客户来对待,这个集群我们要有一个健康指标。原来我们是以每一个实例去诊断健康分数,今年我们要给健康指标。我今年先打一个分,现在就打肯定不是一百分,肯定会有一些比如说空间不够,或者是慢查询等等,我们会对它整体做出打分,算出集群的健康分数。我们用一个月的时间加机器,通过业务优化。等到下个月初再来一次,我们的目的是什么?如果十一月初的最后一次分数打分,已经达到我们的目标,比如 95分、96分。这样的话,到了那天我们是真的可以不上去值班了。我们双十一值班在七楼只有一个人需要值班,我们可以跟全体说不用上去了,我们就在下面,有事再上去,最好不上去,希望今年和去年不一样。
问:具体来说从哪几个层面做技术部署?
答:一是关于 buffer 预留,这是传统的;还有高峰期的业务预估,还有对每个业务的健康度的打分,比如说双十一大家都知道很多预案,会把预案自动化。还有甚至于都不要预案了,其实很多业务,比如聚石塔交易模型在这几年的护航里面我们都是比较清楚了。等于是说我们把它能够出现的异常都事先给出一些自动化的预案,提前开起来。以这种分数的机制,打分的机制去逐步的提高健康度,直到双十一之前我们不需要再去干预。
问:刚才我在想,咱们数据库边上紧挨着一个 e-mapreduce,即你所谓的融合。除了存储和数据库,数据分析里边也有一个融合,能讲讲这方面吗?另外可以通过举例帮我讲一下,在数据分析和数据库应用这块,有什么比较典型的应用场景吧。
答:刚才您看到的 emr 服务,实际上是属于我们 apsaradb 一部分,但是从团队来讲我们是一个整体的。涉及到具体的案例,今年的时候我这边在做的 mongodb 和 spark 也是属于 emr 的一部分,这两个是有很多的比较成熟的案例,尤其是现在在美国那边是蛮火的,在中国这边比较典型的案例是东方航空。他们利用了一个 spark 和 mongodb 相结合的这种服务,来替代原来的 oracle 架构。
问:替代 oracle 架构的是关键业务吧?
答:是关键业务,我们每天的定单的查询,当然这只是在东方航空一个实践的案例。
问:咱们数据库从今年开始基本上做商用服务,我们整个的大概进展到什么程度?
答:如果这样算应该已经做了五六年了,并不是从去年开始做。阿里云的数据库对外我们就是提供给我们的客户使用,能够看到的话就是说以前大部分都是一些互联网端的用户会开始使用阿里云的服务,其实就是商家。其实我进阿里云时间不长,最近一年,也会看到有一些传统的企业或者行业,慢慢的愿意去把数据放到上面来。可能有很多人都在把数据放在云上觉得不安全,说句实话,哪怕你自己建 idc,你的安全风险都是相同的。今天的话,他们要避免的就是他们建 idc 的费用太高,他们真正把数据放到云上面来说,他们 it 的管理会更好。现在双十一都自动化,运维的人员更轻松,传...
阿里分类信息网,免费分类信息发布

VIP推荐

免费发布信息,免费发布B2B信息网站平台 - 三六零分类信息网 沪ICP备09012988号-2
企业名录