针对 mysql 大规模数据库的性能和伸缩性的优化 -买球官网平台

2顶
1踩

在需要支持移动/平板电脑应用及普通桌面浏览器访问的时代,网站的普及率和有效性很大程度上取决于其可用性和性能。一个访问缓慢的网站会使得访问者或潜在的客户流失,并导致商业的失败。一个访问速度相当快的网站将会决定访客是否会使用网站提供的产品或服务。

拥有大规模数据库的网站始终需要适当的关注、配置、优化、调整和维护,以确保网站的快速加载。这篇文章将讨论如何优化有海量数据的 mysql 数据库。

选择 innodb 作为存储引擎

大型产品的数据库对于可靠性和并发性的要求较高,innodb 作为默认的 mysql 存储引擎,相对于 myisam 来说是个更佳的选择。

优化数据库结构

  • 组织数据库的 schema、表和字段以降低 i/o 的开销,将相关项保存在一起,并提前规划,以便随着数据量的增长,性能可以保持较高的水平。
  • 设计数据表应尽量使其占用的空间最小化,表的主键应尽可能短。
  • 对于 innodb 表,主键所在的列在每个辅助索引条目中都是可复制的,因此如果有很多辅助索引,那么一个短的主键可以节省大量空间。
  • 仅创建你需要改进查询性能的索引。索引有助于检索,但是会增加插入和更新操作的执行时间。
innodb 的 change buffering 特性

innodb 提供了 change buffering 的配置,可减少维护辅助索引所需的磁盘 i/o。大规模的数据库可能会遇到大量的表操作和大量的 i/o,以保证辅助索引保持最新。当相关页面不在缓冲池里面时,innodb 的 change buffer 将会更改缓存到辅助索引条目,从而避免因不能立即从磁盘读取页面而导致耗时的 i/o 操作。当页面被加载到缓冲池时,缓冲的更改将被合并,更新的页面之后会刷新到磁盘。这样做可提高性能,适用于 mysql 5.5 及更高版本。

innodb 页面压缩

innodb 支持对表进行页面级的压缩。当写入数据页的时候,会有特定的压缩算法对其进行压缩。压缩后的数据会写入磁盘,其打孔机制会释放页面末尾的空块。如果压缩失败,数据会按原样写入。表和索引都会被压缩,因为索引通常是数据库总大小中占比很大的一部分,压缩可以显著节约内存,i/o 或处理时间,这样就达到了提高性能和伸缩性的目的。它还可以减少内存和磁盘之间传输的数据量。mysql 5.1 及更高版本支持该功能。

注意,页面压缩并不能支持共享表空间中的表。共享表空间包括系统表空间、临时表空间和常规表空间。

使用批量数据导入

在主键上使用已排序的数据源进行批量数据的导入可加快数据插入的过程。否则,可能需要在其他行之间插入行以维护排序,这会导致磁盘 i/o 变高,进而影响性能,增加页的拆分。关闭自动提交的模式也是有好处的,因为它会为每个插入执行日志刷新到磁盘。在批量插入期间临时转移唯一键和外键检查也可显著降低磁盘 i/o。对于新建的表,最好的做法是在批量导入后创建外键/唯一键约束。

sql 语句优化

为了提升查询的速度,可以为 where 字句中使用的列添加索引。此外,不要将主键索引用于太多或太长的列,因为这些列值在辅助索引进行复制的时候会增加读取所需要的 i/o 资源并占用缓存。

如果索引包含了不必要的数据,通过 i/o 读取这些数据并进行缓存就会减弱服务器的性能和伸缩性。也不要为不必要的列使用唯一键索引,因为它会禁用 change buffering。应该使用常规索引代替。

减少和隔离需要耗费大量时间的函数调用。

尽可能的减少查询中的全表扫描次数。

调整缓存区域的大小和属性,比如 innodb 缓冲池,mysql 查询缓存等,这样会通过从内存而非从硬盘获取数据而让重复的查询变得更快。

优化存储结构

对于大型的表,或者包含大量重复文本或数值数据的表,应该考虑使用 compressed(压缩的) 行格式。这样只需要较少的 i/o 就可以把数据取到缓冲池,或执行全表扫描。

一旦你的数据达到稳定的大小,或者增长的表增加了几十或几百兆字节,就应该考虑使用 optimize table 语句重新组织表并压缩浪费的空间。对重新组织后的表进行全表扫描所需要的 i/o 会更少。

优化 innodb 磁盘 i/o

增加 innodb 缓冲池大小可以让查询从缓冲池访问而不是通过磁盘 i/o 访问。通过调整系统变量 innodb_flush_method 来调整清除缓冲的指标使其达到最佳水平。

使用其它存储设备配置 raid。

mysql 的内存分配

在为 mysql 分配足够的内存之前,请考虑不同领域对 mysql 的内存需求。

要考虑的关键领域是:并发连接 —— 对于大量并发连接,排序和临时表将需要大量内存。在撰写本文时,对于处理 3000 并发连接的数据库,16gb 到 32gb的 ram 是足够的。

内存碎片可以消耗大约 10% 或更多的内存。像 innodb_buffer_pool_size、key_buffer_size、query_cache_size 等缓存和缓冲区要消耗大约 80% 的已分配内存。

日常维护

定期检查慢的查询日志并优化查询机制以有效使用缓存来减少磁盘 i/o。优化它们,以扫描最少的行数,而不是进行全表扫描。

其他可以帮助 dba 检查和分析性能的日志包括:错误日志、常规查询日志、二进制日志、ddl日志(元数据日志)。

定期刷新缓存和缓冲区以降低碎片化。使用 optimize table 语句重新组织表并压缩任何可能被浪费的空间。

英文原文:



来自:
2
1
评论 共 1 条 请登录后发表评论
1 楼 2017-07-27 09:49
说了些屁啊

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 在需要⽀持移动/平板电脑应⽤及普通桌⾯浏览器访问的时代,⽹站的普及率和有效性很⼤ 程度上取决于其可⽤性和性能。⼀个访问缓慢的⽹站会使得访问者或潜在的客户流失,并导

  • arraycopy void arraycopy(object src, int srcpos, object dest, int destpos, int length); 将src数组里从索引为srcpos的元素开始, 复制到数组dest里的索引为destpos的位置, 复制的元素个数为length个. 举例 int[] arr = {1,2,3,4,5} system.arrayc...

  • 1.arraycopy底层代码: 2.arraycopy的使用 第一个参数:源数组 第二个参数:在源数组中,被复制的数字开始复制的下标 第三个参数:目标数组 第四个参数:从目标数组中,从第几个下标开始放入复制的数据 第五个参数:从源数组中,一共拿几个数值放到目标数组中 system.arraycopy(result, 0, str, 0, 0); 3.使用案例 package openlab; import java.util.arrays; /** * arrayco...

  • 解决图层的精确定位问题在网页制作中使用图层,我们常会遇到这样的问题:图片分辨率一旦变化、窗口最大化之后,图层就错位了。而使用菜单插入层的时候,这个层就会与它的上级元素相对定位,一旦移动它,它就会马上变成绝对定位。这个问题虽小,但在实际应用过程中还是会给网页设计者带来一些麻烦。其实,造成图层错位的核心是父层与子层的问题。只要使父层相对于某点定位,而子层相对于父层定位,就可以达到层的相对定位这个目

  • gba硬件规格(第一部分cpu,内存) 原来想一口气把声音,输入控制,中断,dma的例程都写出来,我的例程都是编译通过的。现在看来应该先把gba的硬件规格先写出来。 gba硬件规格(第一部分cpu,内存) gba系统由以下部分组成: cpu -16.78mhz arm/tdmi 内存-根据应用的情况,有8-11个内存分区,有的是只读的,有的是可写的,详细见后。 输入输出-系统提供了图形,声音,dm

  • 源程序 http://cgdn.net/gba/tutor/sprite.zip现在我们来看看精灵的显示。gba使用0x06010000 到 0x06017ffe 的32k空间来存放精灵图块,然后从0x07000000开始的1024bytes的空间用来控制精灵的属性,也就是oam(object attribute memory),最多支持128个精灵,每个精灵占8bytes的oam。精灵的8byt

  • 在需要支持移动/平板电脑应用及普通桌面浏览器访问的...拥有大规模数据库的网站始终需要适当的关注、配置、优化、调整和维护,以确保网站的快速加载。这篇文章将讨论如何优化有海量数据的 mysql 数据库。选择 inno...

  • 目录背景阿里云数据库 mysql版阿里云数据库 sql server版阿里云数据库 postgresql版阿里云数据库 ppas版接下来,我们将对云数据库rds与自建传统数据库进行简单的性能对比:1.服务可用性:2.数据可靠性:3.系统安全性...

  • 很多人对数据库是什么不是很清楚,那么数据库到底是什么呢?传统数据库是依照某种数据模型组织起来并存放二级存储器中的数据集合。...基于飞天分布式系统和全ssd盘高性能存储,支持mysql、sql server、postgresql和

  • 在之前文章中,探讨过到底为什么要云原生,以及云原生的核心应该是【弹性伸缩】和【按需计费】。并且简单描述了下应用层做到【弹性伸缩】所需要解决的问题。 所以本文主要是继续探讨一下,弹性伸缩如何应用在数据库...

  • game boy advanced(gba)是日本任天堂公司于2001年推出的一款32位掌上游戏机.它着重于游戏机的便携式,并且以2d游戏为主(3d游戏依然不错).gba有十分高效硬件图像处理加速,gba基本上是现在全球公认的最佳的掌上游戏机. gba的硬件功能十分多.它的cpu是以risc为基础的32位arm cpu,主频是16.78mhz.屏幕最大支持240x160的16位真彩色显示.在图形处理方面gba还另外提供了硬件加速,支持硬件上的图形旋转,缩放,alpha混合,face in/out淡入淡出等. gba的软件开发主要是以c语言为主,程序设计简单而且十分自由,也正是这一点吸引了许多爱好者在gba上做东西(不一定是游戏).你完全可以把它做成pda,做成mp3播放器(它的声音处理方面能力也不错哦),做成随身电影播放齐,做成电子词典等,只要你有能力设计它的软件.

  • 片段:gba的vram总共96kb,在mode3-5中,vram跟计算机的显示内存一样.屏幕上一个点对应一个显示内存地址.

  • gba探索日记(-)mode0-2的bg与vram gba的vram总共96kb,在mode3-5中,vram跟计算机的显示内存一样.屏幕上一个点对应一个显示内存地址.可以看看下面两个函数,都是在mode4下的写点函数.void plotpixel(int x,int y, unsigned short int c){                m_videobuf

  • 下面我将一一讲解上篇的程序前三行:typedef unsigned char u8;typedef unsigned short u16;typedef unsigned long u32;定义gba程序自己的数据类型,因为这样我们就很容易知道每个数据在gba中占的字节数.#define reg_dispcnt *(u16*)0x04000000         // 显示

  • 1、mysql为什么分库分表 当一张表的数据达到几千万时,你查询一次所花的时间会变多,如果有联合查询的话,可能会死在那儿。分表的目的就在于此,减小数据库的负担,缩短查询时间。目前我们系统将近20亿数据每张表...

  • mysql数据库优化大全 (注:文档参考高性能mysql,sql手册,官方文档 [提前声明] 文章由作者:张耀峰 结合自己生产中的使用经验整理,最终形成简单易懂的文章 写作不易,转载请注明,谢谢! 大数据代码案例地址: ...

  • 前言微软工程师的一个工程师曾经对性能调优有一个非常形象的比喻:剥洋葱 。我也非常认可,让我们来一层一层拨开外面它神秘的面纱。六大因素下面祭出的是我们在给客户分析数据库性能问题最常用的图。...

  • 在线qq客服:1922638专业的sql server、mysql数据库同步软件一,开放?... windows平台的可靠性,安全性和可伸缩性非常有限。它没有像unix那样经过时间考验,尤其是在处理大型数据库时。 ?2.甲...

  • 随着企业it和互联网系统的发展,产生了越来越多的数据。数据量的积累带来了质的飞跃,使得数据应用从业务系统的一部分演变得愈发独立。物流、交通、新零售等越来越多的行业需要通过olap做到精细化运营,从而调控生产...

global site tag (gtag.js) - google analytics