聚合首页

10
5月
分布式事务的解决方案

分布式事务关注的是分布式场景下如何处理事务,是指事务的参与者、支持事务操作的服务器、存储等资源分别位于分布式系统的不同节点之上。简单来说,分布式事务就是一个业务操作,是由多个细分操作完成的,而这些细分操作又分布在不同的服务器上;事务,就是这些操作要么全部成功执行,要么全部不执行。

分类目录: Distributed, MySQL,
标签: distributed, 事务, 分布式, 解决方案,
19
4月
Clickhouse分布式表性能测试

这篇文档主要介绍了Clickhouse分布式表和单节点的性能测试步骤流程。

分类目录: Clickhouse,
标签: clickhouse, distributed, performance,
12
4月
Clickhouse数据分片测试

在Clickhouse只有 MergeTree 系列里的表可支持副本, MergeTree系列列明支持复制的表引擎由以下这些,他们都是MergeTree系列的子引擎。本文将基于分片和MergeTree 引擎的相关数据副本进行测试验证。

分类目录: Clickhouse,
标签: clickhouse, 数据分片, 测试,
07
4月
ClickHouse数据库集群(分片+复制)安装部署

Clickhouse支持分片和数据副本,分片提供了数据水平扩展的能力,副本则是保证数据在节点出现问题时继续提供服务,提供了一定程度的高可用能力。这次部署使用3台机器,每个机器上启动2个节点,3台机器搭建环形复制。

分类目录: Clickhouse,
标签: clickhouse, 数据仓库, 数据库,
28
1月
MySQL InnoDB内部限制

在此新春佳节之际,首先祝大家新春快乐,健康平安。也希望全国人民万众一心,早日战胜肺炎病毒。此文主要介绍innodb存储引擎的表、索引、表空间设计的一些约束和限制。

分类目录: MySQL,
标签: InnoDB, MySQL,
21
1月
使用PT-OSC变更数据丢失问题一例

作为混迹DBA生涯的一名IT民工,时不时的听说XX公司数据库被删了,XX公司核心数据被删导致公司倒闭等种种传言事件。然后就是吃瓜群众挖内幕消息,最终得到可靠消息:XX公司DBA因为误操作导致数据库被删,影响较大,XX被开除; XX公司IT员工因XX事件导致对公司强烈不满,一怒之下删光了数据库和代码,公司倒闭。

分类目录: MySQL,
标签: gh-ost, MySQL, pt-osc, 数据丢失, 数据库,
20
11月
MySQL Socket文件丢失事件排查

今天同事反馈,MySQL 3306的端口数据库的socket文件丢失了,丢失的原因是在MySQL运行的情况下由于启动其他数据库端口时,端口忘记调整导致3306端口再次执行了如下数据库启动命令。

分类目录: MySQL,
标签: MySQL, Socket,
03
11月
最全的MySQL 8.0新特性集合

There are over 250 new features in MySQL 8.0. The MySQL Manual is very good, but verbose. This is a list of new features in short bullet form. We have tried very hard to make sure each feature is only mentioned once.

分类目录: MySQL,
标签: MySQL8.0, 新特性,
02
11月
Antdeck任务调度和数据库归档平台架构设计

Antdeck是一套系统任务调度和数据库归档的系统平台,用于解决数据库管理任务统一调度管理和大表数据归档问题。目前已经接入了数据库归档模块,将数据库归档到TIDB,可以说目前的Antdeck系统就是一个基于任务调度模块的数据库归档系统。

分类目录: DevOPS, MySQL,
标签: Antdeck, 任务调度, 归档平台, 数据库归档,
01
9月
Centos7云服务器基础安全加固

周末由于一台运行个人网站的香港云主机被挂马,造成数据库被恶意删库,网站无法正常运行。更加让我无语的是对方竟然让我发送0.03BTC过去,才会把数据库备份发给我。但是作为一个DBA,数据库备份肯定是必须的。发现被黑客删库后,赶快从备份中将数据库恢复出来,网站代码也使用最新代码进行了替换,网站恢复正常。虽然网站恢复正常,但是购买的云主机安全问题确不得不让我警惕。在排查被黑原因之前,先对服务器安全做了一点基本的加固,防止再次被黑。

分类目录: Linux,
标签: Centos7, Linux, 安全, 服务器安全,
29
7月
3306π-平安好医生数据库服务化设计架构思路PPT

平安好医生数据库服务化设计架构思路分享PPT。

分类目录: DBA-Career,
标签: 3306π, 分享PPT, 数据库自动化,
30
12月
MySQL innodb_autoinc_lock_mode的分析

之前由于业务变更,我在使用pt的OSC工具在对一个线上不是很繁忙的数据库做变更时,发现每次都是产生了锁等待,后面排查发现是和OSC的bulk insert和autoinc lock有关,后面大家也对innodb_autoinc_lock_mode这个参数的锁的行为做过一些讨论。本篇文档就为大家介绍下MySQL的innodb_autoinc_lock_mode锁行为机制,以及不同设置下性能的分析。

分类目录: MySQL,
标签: innodb_autoinc_lock_mode, MySQL,
20
9月
顺丰数据库被误删事件后的思考

晚上看到朋友圈,一些朋友在分享顺丰数据库被删事件,大概就是顺丰内部邮件曝光出某个运维同事误操作导致数据库被删,影响顺丰某个线上业务大概590分钟不可用。目前我也不清楚这个运维小哥什么情况,也不知道这10个小时是否影响的是核心业务,也不知道为什么要十个小时才恢复起来。我就数据库被删除这件事件和大家聊聊我的想法。

分类目录: DBA-Career,
标签: 数据库, 误删, 顺丰,
12
9月
MySQL锁分析和监控

通常在MySQL的管理和监控中,Active Session(活动会话)是监控指标中的一个很重要的指标,通过活动会话监控,可以很清楚的了解到数据库当前是否有SQL堆积,是否处于非常繁忙的状态。那么除了活动会话之外,还有哪些指标是非常重要的呢,本文就来给大家介绍下MySQL里面另外几个重要指标,事务和锁信息,锁等待的监控。

分类目录: MySQL,
标签: MySQL, 监控, ,
03
9月
平安好医生数据库标准化和自动化模型搭建思路

自2016年加入我们平安好医生,在我们业务快速发展的同时,我们的数据库自动化平台也得到了快速的建设和发展 。两年多的时间里,我们DBATeam快速完成了数据库自动化、白屏化、闭环化、服务化的建设。DBA除了偶尔故障和特殊支持之外,基本不需要登录服务器去部署和操作数据。

分类目录: DevOPS,
标签: MySQL, 平台建设, 数据库自动化,
09
7月
MySQL物理备份 · Percona XtraBackup备份原理

Percona XtraBackup(简称PXB)是 Percona 公司开发的一个用于 MySQL 数据库物理热备的备份工具,支持 MySQl(Oracle)、Percona Server 和 MariaDB,并且全部开源,真可谓是业界良心。我们 RDS MySQL 的物理备份就是基于这个工具做的。

分类目录: MySQL,
标签: MySQL, Xtrabackup, 数据库备份,
12
6月
Oracle数据库中db_files参数和maxdatafiles参数

oracle中在创建表空间的时候经常会遇到数据文件超过就大数的限制,如何解决 这个问题呢?
这个问题受两个参数的限制一个是maxdatafiles,一个是db_files。

分类目录: Oracle,
标签: Oracle,
12
6月
平安好医生Donkey自动化执行平台介绍

Donkey 系统是平安健康 DBA 团队开发的数据库 SQL 审核和变更平台。提供线上 DML、DDL SQL 的语法和规范校验、 流程审批、自动上线等功能。系统分为 DML 自助执行和 DDL 自动上线两部分功能。下面分别通过 DML 自助执行和 DDL 自动上线两大章节为大家进行介绍。

分类目录: DevOPS,
标签: 自动化, 自动化执行平台,
02
6月
Hadoop-Hbase集群部署参考文档

本文档将为大家详细的介绍安装Hadoop、HBASE、ZK等组件的安装和整合过程。每个步骤均经过验证和测试,提供出来为大家提供安装部署参考之用。

分类目录: Hbase/Hadoop,
标签: HBASE,
28
5月
MySQL里如何避免Drop大表和分区引起IO问题

由于业务需求不断变化,可能在DB中存在超大表占用空间或影响性能;对这些表的处理操作,容易造成mysql性能急剧下降,IO性能占用严重等。先前有在生产库drop table造成服务不可用;rm 大文件造成io跑满,引发应用容灾;对大表的操作越轻柔越好。

分类目录: MySQL,
标签: MySQL,
27
5月
使用GPG加密MySQL数据库备份

要了解什么是GPG,就要先了解PGP。1991年,程序员Phil Zimmermann为了避开政府监视,开发了加密软件PGP。这个软件非常好用,迅速流传开来,成了许多程序员的必备工具。但是,它是商业软件,不能自由使用。所以,自由软件基金会决定,开发一个PGP的替代品,取名为GnuPG。这就是GPG的由来。

分类目录: MySQL,
标签: MySQL, 加密, 备份, 数据库,
22
5月
MySQL8.0优化Hint-查询语句中设置会话变量

从MySQL8.0.3开始,MySQL支持一种新的优化Hint,名字叫SET_VAR,这个特性支持用户在查询语句里修改MySQL数据库的一些会话变量,当然修改只是对当前查询会话生效,不会影响到其他会话。

分类目录: MySQL,
标签: MySQL, MySQL8.0,
21
5月
Oracle 11GR2 Dataguard部署完整文档

由于业务需要,需要部署一套Oracle DataGuard系统,并完成相关监控部署和备份等运维管理操作。本文将根据部署过程整理出了部署DataGuard的详细文档,供后续部署使用或者提供部署参考。本资料仅作为学习和部署参考使用。

分类目录: Oracle,
标签: DataGuard, Oracle, 数据库,
19
5月
Oracle 11g 手动创建库完整实施过程

Oracle数据库除了使用DBCA创建数据库的方式外,还可以使用命令手动创建数据库。本文为Oracle 11g手动创建数据库的完整过程,供大家参考使用。

分类目录: Oracle,
标签: Oracle, 创建数据库, 数据库,
19
5月
Oracle 11gR2-preinstall and clone home

当需要安装部署一套新的Oracle数据库服务器时,除了常规的安装方式外,我们可以使用Oracle home克隆的方式很快运行起一个数据库实例。这种方式是从已经部署好的Oracle服务器上将Oracle home拷贝过来,然后运行clone命令完成克隆,下面为大家做主要步骤的介绍。

分类目录: Oracle,
标签: Oracle, 数据库,
04
4月
1
未提交事务导致AUTO_INCREMENT修改失败问题

测试环境某个数据库的表由于数据处理,在插入数据时指定了很大的id,导致现在自增id值变得很大,现在需要将该表的id自增值重置。但是在执行过程中我们发现了一些问题。

分类目录: MySQL,
标签: AUTO_INCREMENT, MySQL, 事务,
29
3月
MySQL Innodb事务编程问题和处理

本文将通过实例为大家介绍MySQL Innodb事务编程问题和处理方法,很多开发人员非常喜欢在循环中进行事务提交,下面演示一个他们经常写的一个存储过程示例。

分类目录: MySQL,
标签: InnoDB, MySQL, 存储过程, 编程,
03
1月
MySQL服务器架构介绍

作为一个MySQL DBA,了解一下MySQL的整体架构是非常必要的,本文将以MySQL5.7为例结合企业版本为大家介绍MySQL数据库服务器架构。当然数据库架构里面的内容比较多,这里主要是对一些核心插件做一些介绍。

分类目录: MySQL,
标签: MySQL, 架构,
13
12月
MySQL线上数据库大表归档方法

作为一个企业或者DBA,我们通常会有这种想法,数据是一个公司的核心命脉,应该需要永久保存,很多时候DBA和开发沟通的时候,开发人员也会这么告诉我们,这份数据非常重要,数据需要永久保存。然而,如果将数据库的数据永久保存,那么迟早有一天,你会拥有一个非常大的数据库。

分类目录: MySQL,
标签: MySQL, 大表归档,
08
12月
1
程序员也要养生,给DBA和IT同行的一些建议

这篇文章和技术无关,但却是每个程序员都需要关注的问题。无它,主要是国内程序员加班文化盛行,这让程序员原本就不太健康的生活习惯更加不健康,所以转载国外程序员Zed A. Shaw写就的文章,希望能给大家带来健康。

分类目录: DBA-Career,
标签: DBA养生,
06
12月
1
MySQL 5.7 DDL Crashes问题分析

最近有几个执行DDL变更导致MySQL崩溃的情况。 在其中一个案例中,它是由于迅速连续的DROP多个数据库而引起的。 在此期间,我们升级到了MySQL 5.7,这个问题是mysql_upgrade在2.2Tb表上运行ALTER TABLE FORCE的结果,以便将其转换为新的微秒精度支持的数据格式。这个问题发生在中间表已经完全写入全部数据之后,当MySQL将中间表的现有表换出时发生的。

分类目录: MySQL,
标签: DDL Crashes, MySQL5.7,
11
8月
使用sysbench测试MySQL和IO性能

测试的种类非常多,测试的目的也非常多,我这里主要的目的就两个,测试MySQL的极限IO,对比不同版本MySQL,不同参数, 不同硬件,不同系统对MySQL的性能影响。

分类目录: MySQL, Performance,
标签: MySQL, sysbench, 性能, 测试,
10
8月
使用skype实现简单的电话告警​

有些公司也能考虑使用电话告警来上报一些核心故障给运维人员。但是没有找到合适的技术方案,或者价格比较昂贵。这里我们给大家介绍使用skype来实现电话告警的方式,有兴趣的同学可以进行尝试和使用。

分类目录: Monitor,
标签: skype, 电话告警,
12
7月
MySQL安装后需要立刻优化的参数(适用于5.1-5.6版本)

在本博客中,我们将和大家讨论下MySQL数据库安装后可以实现的十个MySQL性能调优设置。
通常情况下,当我们需要进行MySQL性能审计时,我们将审查MySQL配置并提出改进建议。在大多数情况下,我们只建议安装后更改一些核心的MySQL性能调优参数,即使有数百个选项可用,这篇文章的目的是给你列出一些最关键的参数设置,并告诉你如何去调整它们。

分类目录: MySQL,
标签: MySQL, 优化,
22
6月
MySQL Innodb事务编程问题和处理

很多开发人员非常喜欢在循环中进行事务提交,下面演示一个他们经常写的一个存储过程示例,如下所示

分类目录: MySQL,
标签: InnoDB, MySQL, 事务,
22
6月
MySQL5.6 ALTER TABLE 分析和测试

在MySQL5.5和之前版本,在运行的生产环境对大表(超过数百万纪录)执行Alter操作是一件很困难的事情。因为将重建表和锁表,影响用户者的使用。因此知道Alter操作何时结束对我们是非常重要的.甚至当执行Create index的时候.如果启用了 fast_index_creation,则不会重建表,但是仍然会锁表。

分类目录: MySQL,
标签: ALTER TABLE, MySQL5.6, 测试,
15
6月
使用Percona Xtrabackup 在线搭建Slave

以前mysql搭建新备库都是在现在业务较小的备库上停止同步或停止数据库,然后拷贝数据库到新备库,配置好新备库后,再开启同步或数据库。然而,这次没有空闲备库用来搭新备库。需要从一个业务繁忙的数据库中搭建一个新备库,对系统延时要求比较高,所以同步和数据库都不能停。所以我们用了percona的 xtrabackup备份工具。

分类目录: MySQL,
标签: Percona, Xtrabackup,
15
6月
Mysqldump参数大全(参数来源于mysql5.5.19源码)

本文为大家详细介绍Mysqldump的核心参数,给大家做下参考(参数来源于mysql5.5.19源码)。

分类目录: MySQL,
标签: MySQL, 参数,
14
6月
生产环境使用 pt-table-checksum 检查MySQL数据一致性

公司数据中心从托管机房迁移到阿里云,需要对mysql迁移(Replication)后的数据一致性进行校验,但又不能对生产环境使用造成影响,pt-table-checksum 成为了绝佳也是唯一的检查工具。

分类目录: MySQL,
标签: MySQL, pt-table-checksum, 数据一致性,