admin 管理员组

文章数量: 887021


2024年1月14日发(作者:dubbo的理解)

知名IT互联网公司都在使用哪些数据库(附全球最强数据库大盘点)

大数据已经成为国家战略,而大数据首先所面临的问题就是大数据的存储问题,这就绕不开数据库,因为数据库就是用来存储数据的应用软件。任何数据库,都有其优缺点, 无论是传统关系型数据库还是NoSQL数据库又或者NewSQL数据库。因此,到底选择哪个数据库,对企业而言这个决策过程都非常复杂。

就数据库实际应用水平而言,互联网公司显然走在了前列,它们都在使用哪些数据库?分别对应哪些业务场景,为什么会是这样选择?了解的人却并不多。阿里巴巴/蚂蚁金服阿里巴巴/蚂蚁金服主要使用两种关系数据库:OceanBase和MySQL。数据规模:MySQL单台机器TB级,OceanBase单个集群从几个TB到几百个TB皆有。MySQL:蚂蚁金服部分非核心业务和阿里巴巴大部分系统,类似于其他互联网公司。去哪儿采访对象:周彦伟,去哪儿网数据库总监,负责数据库平台的管理和维护工作。工作范围包括MySQL,Redis,HBase平台的架构设计,性能调优,日常运维以及自动化运维平台设计。周彦伟:去哪儿使用MySQL支撑公司大部分OLTP业务,有上千台规模。同时针对热点数据以及对访问延时特别敏感的

业务,去哪儿大规模的使用Redis做缓存。对于数据量非常大,又不不利于分库分表的数据,去哪儿选择性的使用HBase。腾讯采访对象:王懂道,腾讯社交网络运营部平台技术运营中心,负责腾讯社交网络海量存储集群的运维和优化,服务对象包括QQ空间,相册,微云,QQ音乐等。腾讯社交网络主要使用深度定制MySQL数据库+自研NoSQL,规模万台以上服务器,千万级qps。2011年实现了以MySQL为基础的CDB关系型存储集群,这是目前腾讯社交网络最常用的关系数据库集群,存储如QQ秀的用户物品列表,黄钻用户数据等对事务依赖的服务。CDB提供对前端透明的主备切换,一键扩容,快速回档能力。

随着互联网高速发展,尤其是社交应用的爆发式增长,传统的关系数据库存在扩展能力薄弱,性能满足不了业务需求的问题,2011年腾讯又自研了CMEM这种纯内存高性能NoSQL存储集群,现在如空间的赞计数,每秒高达数百万的访问量,就使用这种存储。百度外卖百度外卖目前线上主要使用Mysql、redis等数据库。MySQL 数据数百TB级,redis 数据几TB级。Mysql主要用在订单、支付、结算等业务场景。这些业务:1)对于数据库的稳定性要求高,需要数据持久化存储2)存储空间的需求也比较大, 数据量在几十TB、几百TB级别3)对于事务有强烈需求,需要保证事务的ACID特性 4)读写量大,需要数据库性能优良,可

扩展性好,能集群化提供服务。对于上面这些需求,Mysql都可以很好的满足,因此选择Mysql作为存储。Redis主要用在缓存、计数的业务场景。这些业务有的对于读取QPS非常高,可以达到每秒几万QPS,有的更新非常频繁,对于数据类型支持的要求比较丰富,因此选择redis作为存储。魅族目前魅族OLTP场景主要使用的是MySQL,缓存服务使用的是Redis。数据库实例近1000,数据大小100T+, redis实例1000+MySQL使用覆盖应用中心,游戏中心,用户中心,云服务等主要业务,之所以选择MySQL,主要是开源,无linsen 费用,而且扩展性好,如云服务,随着用户数的不断增加,数据量也不断的增加,最开始只有几台DB服务器,数据量的不断增加,即使采用商业数据库产品也无法很好的支撑数据的快快速增长,而MySQL扩展性好的优势就体现出来了,利用复制架构能快速的对单台服务器容量进行拆分,到目前为止仅云服务就已经从最开始的几组服务器增加到好几十组DB服务器。而且从最开始的不断拆分模式演变为只要增加机器即可满足数据量的快速增长。同时MySQL slave复制能很好的扩展读性能,跨机房冗灾,比如三大中心业务需要灾各个机房进行读扩展,利用slave复制就能很好的满足要求,基于复制做跨机房的冗灾也是一个不错的选择。

附:全球最强数据库大盘点DB-Engines 2017-01数据库前

20名列表

DB-Engines这个排名在业界引用得非常多,权威性也很高,总体来说比较客观,它不像很多咨询机构采用市场调查,或者某个数据库厂商发布的数据,而是通过以下6个方面的统计数据来综合评估各个数据库产品得分并给出综合排名: 1) 数据库相关网站数量(当前通过google、bing、yandex搜索引擎统计) 2) 公众关注度(通过Google trends计算) 3) 技术讨论活跃度(通过Stack

Overflow、DBA Stack Exchange问答及用户统计) 4) 招聘职位(通过Indeed、Simply Hired统计) 5) 专业档案(通过LinkedIn、Upwork统计) 6) 社交网络信息(通过Twitter统计) DB-Engines这个方法我认为比较科学,我个人也比较喜欢用这种方式来快速分析事物活跃情况与趋势。当然,这个排名只是反应全球流行程度,不能反应出产品营收情况,也不代表国内流行度排名。 下图上各数据库产品的竞争关系及客户流向示意图:

各数据库产品的竞争关系及客户流向示意图

从排名来看Oracle、MySQL、SQL Server三大数据库产品是绝对遥遥领先,呈三足鼎立局面。PostgreSQL、MongoDB比较稳的站在前五,得分也不相上下,两家一直在争夺老四的位置。DB2曾经是数据库的领导者,但近几年发展乏力,在持续下滑,特别是互联网行业及中小企业

IT里基本没有DB2的身影,在金融等领域也受到非常大的挑战,估计明年老六的位置也危险。MongoDB、Redis、Elasticsearch、Neo4j在自己的领域取得了领导地位。总体来说,去年MySQL、SQLServer、PostgreSQL、MongoDB、Redis、 Elasticsearch 都是市场大赢家,在自家的地盘都发展得非常不错。而Oracle、DB2、Access、Sybase几家都比较悲催,活跃度在不停下滑。

CIO之友以最涨姿势的角度,九浅一深地感知企业信息化的喜怒哀乐


本文标签: 数据库 数据 业务 使用 产品