从淘汰Oracle数据库的事情说起
作者:四火的唠叨 发布时间:[ 2016/8/24 11:23:14 ] 推荐标签:数据库 Oracle
公司搞淘汰Oracle数据库的事情已经搞了好久了,这个事情其实和国内淘宝系搞的去IOE(IBM、Oracle和EMC)是类似的,基本上也是迫不得已,Oracle的维护成本太高,而公司内部基于Oracle数据库的数据仓库,也是问题频出;另一个原因则是scalability。我相信这两个原因许多人都非常清楚。而这个淘汰,也不是简简单单换一个关系数据库,比如把Oracle换成MySQL,或者换到云上(RDS)。而是有明确阶段性地演进,比如替换到DynamoDB这样的NoSQL数据库上面去;或者更彻底地,像我们接触到的某个产品,数据本身换到更廉价的存储S3上去,元数据才存在DynamoDB里,而原本SQL执行的运算的部分用Hadoop或者Spark来完成,这件数据源统一和演进的事情由一个做infrastructure的团队来完成。
Oracle数据库要淘汰,而且还看到了NoSQL数据库作为其中的一个替代方案,那是不是说SQL要慢慢淡出历史舞台了?
不!
因此不仅回答是“不”,还要补充一句——“恰恰相反”,和关系数据库本身不同,SQL不但不会淡出,还要扮演更重要的角色。SQL和编程语言一样,代表的其实是认识世界和描述世界的一种思维方式。比如下面这样的两个例子。
第一个,我们组日常都会接触的产品,计算成本和利润的逻辑,使用Scala写的,跑在Spark上面,而随着业务逻辑愈来愈复杂,许多Data Analyst介入来处理各种各样的问题,他们相较于工程师来说,代码的能力显然不是长处。但是他们对SQL很熟悉,对数据很敏感,把数据抽象成一系列二维表简直是手到擒来。所以我们开始尝试把那些核心运算逻辑重写成Spark SQL。
第二个,前面提到的那个infrastructure团队,对客户要提供一层JDBC的封装,让内部的技术能力,也通过SQL的形式暴露出来。因为有了类似Hive这样的工具,在这种情况下应用层的部分可以尽可能地保持稳定,原本的Oracle下的sql有改动和转换,但依然是SQL,只不过执行的不再是数据库引擎,而是MapReduce任务了。我觉得这件事情很有意思,也很有挑战性。困难很多,比如索引的问题,运算透明性(包括调试)的问题(SQL有执行计划之类的工具可以让我们对其执行机制了解清楚,但是换成MapReduce job以后显然问题困难得多了)等等。但是带来的收益是显而易见的,比如说,整个运算资源是弹性的——重要的急迫的任务优先级高,分配资源多,参与运算的instance多,从而缩短得出结果的时间。
去Oracle是否意味着关系型数据库不成功?
当然不是——
关系型数据库不但在过去的几十年内很成功,而且成功到被乱用滥用了。冯大辉以前说过一个被滥用的例子,阿里旺旺在用户量那么高的情况下,居然还用Oracle数据库在做存储。而我身边也有这样的例子,在我换组前,我原来的组,把持着整个Amazon内部大的Oracle数据库,一大堆分区,动不动成天几千万行的数据读写。其实不但是数据库这一层跟不上节奏了,还有工作流引擎也是,老的工作流引擎要淘汰,老团队不维护了,但是因为当时我们组在这个老东西上面的job太多,没法切换,成为钉子户,被迫揽下了维护这个老工作流引擎的任务,直到它退休,成为全公司使用它,并且是这一方面淘汰老技术慢的……
其实整体看来,Amazon这样的互联网公司淘汰老旧的技术的速度已经算很快了(尤其是和传统软件公司比起来),有时候会遇到引进新技术和造轮子过度的问题(比如好多组都有自己搞的一套听起来高大上的数据存储系统,还有是工作流系统,也是遍地开花),但是总的思路还是挺激进的:随时准备拆了轮子重造。问题小解决,问题大重写。且不说这做法利弊各占多少,每次搞宣传招人的时候,造新轮子和大轮子这一点,确实是吸引人啊。
再一个例子,记得刚工作那会儿,去北京联通开局,负载分担是F5,服务器挂在单板上,存储用的是磁盘阵列,数据库双机用的是IBM小型机(和美国车一样,“保修期”内屁事儿没有,“保修期”一过开始噼里啪啦乱出问题,然后赚修车费)。在当时这几个玩意儿听听是不差钱的主儿才能购置装配的东西,看看互联网公司谁敢这么搞?无论是云存储还是云计算,用的都是成本很低的硬件,有的功能直接替代由软件完成,但是这恰恰解释了和关系型数据库的发展到辉煌,再到演退相同的现象,这些硬件也是在一定时期内代表了特定的技术流行,如今也慢慢被单设备成本低,但是规模更大的集群代替。
好,从这个问题继续展开,再谈谈“人”和“技能”。
罗胖(罗振宇)的罗辑思维里面,讲到了社会化分工带来的社会进步,也讲到了手工艺人。简单劳动,甚至不简单,但是容易被模拟的劳动,还是不可逆转地慢慢地被机器和软件所替代。于是一大帮程序员都在喊技术至上,要做技术,这也是手工艺人谋生的基础。但是同样是技术,可不尽相同,有的也有逐渐被淘汰的趋势,比如说:
Java总是在风口浪尖说要被淘汰,而我们也看到随着各路编程语言大张旗鼓地发展繁荣,饱受诟病的Java占有率确实下降了。但是JVM呢,却欣欣向荣,其原因在于,JVM是个平台,而Java只是一门编程语言。编程语言的可替代性在于,随着机器性能的提升,开发一门更现代更符合问题解决思维的语言的成本,要比做成一个更现代化的稳定的虚拟机平台,要低得多。这也是为什么流行的JVM上的语言有那么多,作者往往是个人;但是熟知的JVM只来自那么几家公司。再有一个,则是编程语言本身的缺陷,更难以被“绕过”。
再比如说,一些曾经热炒的职位,比如DBA,对于很多人来说,这样的职业已经很难再风光下去。单纯靠维护赚钱,这本来是一件无法长久的生计。因为“维护”这一件事情,要么因为简单而能被机器和软件替代掉,要么因为复杂而被革命掉。工具,永远只是媒介,是可以被绕过的,不是根本和核心的问题。数据库和很多其他的技术一样,从软件和工程的本源独立出来,壮大到现在,慢慢再回归本源。再比如,以往小公司都要招折腾硬件的工程师,刚工作的时候和很多同事一样,都折腾过单板和机架,但是现在呢,可以把存储资源和计算资源挂到云上。因此这样的人才需求会慢慢减少,而门槛却不见得降低,终只剩下少数几家能够提供云服务的大户。
因此,以后再遇到那些卖弄自己技术的人,那些虚张声势的人,我们其实可以思考一下,生成自己的判断,他所显摆的技术,到底是解决核心问题的技术,不容易被革命和替代的,还是只是另一种鲁迅笔下迂腐而无聊的“‘茴’字的三种写法”呢?
相关推荐
更新发布
功能测试和接口测试的区别
2023/3/23 14:23:39如何写好测试用例文档
2023/3/22 16:17:39常用的选择回归测试的方式有哪些?
2022/6/14 16:14:27测试流程中需要重点把关几个过程?
2021/10/18 15:37:44性能测试的七种方法
2021/9/17 15:19:29全链路压测优化思路
2021/9/14 15:42:25性能测试流程浅谈
2021/5/28 17:25:47常见的APP性能测试指标
2021/5/8 17:01:11