聚合首页

07
4月
ClickHouse数据库集群安装部署

Clickhouse支持分片和数据副本,分片提供了数据水平扩展的能力,副本则是保证数据在节点出现问题时继续提供服务,提供了一定程度的高可用能力。这次部署使用3台机器,每个机器上启动2个节点,3台机器搭建环形复制。

分类目录: Clickhouse数据库,
标签: clickhouse, 数据仓库, 数据库,
28
1月
MySQL InnoDB内部限制

在此新春佳节之际,首先祝大家新春快乐,健康平安。也希望全国人民万众一心,早日战胜肺炎病毒。此文主要介绍innodb存储引擎的表、索引、表空间设计的一些约束和限制。

分类目录: MySQL数据库,
标签: InnoDB, MySQL,
21
1月
使用PT-OSC变更数据丢失问题一例

作为混迹DBA生涯的一名IT民工,时不时的听说XX公司数据库被删了,XX公司核心数据被删导致公司倒闭等种种传言事件。然后就是吃瓜群众挖内幕消息,最终得到可靠消息:XX公司DBA因为误操作导致数据库被删,影响较大,XX被开除; XX公司IT员工因XX事件导致对公司强烈不满,一怒之下删光了数据库和代码,公司倒闭。

分类目录: MySQL数据库,
标签: gh-ost, MySQL, pt-osc, 数据丢失, 数据库,
20
11月
MySQL Socket文件丢失事件排查

今天同事反馈,MySQL 3306的端口数据库的socket文件丢失了,丢失的原因是在MySQL运行的情况下由于启动其他数据库端口时,端口忘记调整导致3306端口再次执行了如下数据库启动命令。

分类目录: MySQL数据库,
标签: MySQL, Socket,
03
11月
最全的MySQL 8.0新特性集合

There are over 250 new features in MySQL 8.0. The MySQL Manual is very good, but verbose. This is a list of new features in short bullet form. We have tried very hard to make sure each feature is only mentioned once.

分类目录: MySQL数据库,
标签: MySQL8.0, 新特性,
02
11月
Antdeck任务调度和数据库归档架构设计

Antdeck是平安好医生DBA团队开发的一套系统任务调度和数据库归档的系统平台,用于解决数据库管理任务统一调度管理和大表数据归档问题。目前已经接入了数据库归档模块,将数据库归档到TIDB,可以说目前的Antdeck系统就是一个基于任务调度模块的数据库归档系统。目前已接入了平安好医生所有数据库管理任务的自动化调度,以及新的数据库归档需求。

分类目录: MySQL数据库, 数据库平台开发,
标签: Antdeck, 任务调度, 归档平台, 数据库归档,
01
9月
Centos7云服务器基础安全加固

周末由于一台运行个人网站的香港云主机被挂马,造成数据库被恶意删库,网站无法正常运行。更加让我无语的是对方竟然让我发送0.03BTC过去,才会把数据库备份发给我。但是作为一个DBA,数据库备份肯定是必须的。发现被黑客删库后,赶快从备份中将数据库恢复出来,网站代码也使用最新代码进行了替换,网站恢复正常。虽然网站恢复正常,但是购买的云主机安全问题确不得不让我警惕。在排查被黑原因之前,先对服务器安全做了一点基本的加固,防止再次被黑。

分类目录: Linux服务器,
标签: Centos7, Linux, 安全, 服务器安全,
30
12月
MySQL innodb_autoinc_lock_mode的分析

之前由于业务变更,我在使用pt的OSC工具在对一个线上不是很繁忙的数据库做变更时,发现每次都是产生了锁等待,后面排查发现是和OSC的bulk insert和autoinc lock有关,后面大家也对innodb_autoinc_lock_mode这个参数的锁的行为做过一些讨论。本篇文档就为大家介绍下MySQL的innodb_autoinc_lock_mode锁行为机制,以及不同设置下性能的分析。

分类目录: MySQL数据库,
标签: innodb_autoinc_lock_mode, MySQL,
20
9月
顺丰数据库被误删事件后的思考

晚上看到朋友圈,一些朋友在分享顺丰数据库被删事件,大概就是顺丰内部邮件曝光出某个运维同事误操作导致数据库被删,影响顺丰某个线上业务大概590分钟不可用。目前我也不清楚这个运维小哥什么情况,也不知道这10个小时是否影响的是核心业务,也不知道为什么要十个小时才恢复起来。我就数据库被删除这件事件和大家聊聊我的想法。

分类目录: DBA职业生涯,
标签: 数据库, 误删, 顺丰,
12
9月
MySQL锁分析和监控

通常在MySQL的管理和监控中,Active Session(活动会话)是监控指标中的一个很重要的指标,通过活动会话监控,可以很清楚的了解到数据库当前是否有SQL堆积,是否处于非常繁忙的状态。那么除了活动会话之外,还有哪些指标是非常重要的呢,本文就来给大家介绍下MySQL里面另外几个重要指标,事务和锁信息,锁等待的监控。

分类目录: MySQL数据库,
标签: MySQL, 监控, ,
03
9月
平安好医生数据库标准化和自动化模型搭建思路

自2016年加入我们平安好医生,在我们业务快速发展的同时,我们的数据库自动化平台也得到了快速的建设和发展 。两年多的时间里,我们DBATeam快速完成了数据库自动化、白屏化、闭环化、服务化的建设。DBA除了偶尔故障和特殊支持之外,基本不需要登录服务器去部署和操作数据。

分类目录: 数据库平台开发,
标签: MySQL, 平台建设, 数据库自动化,
09
7月
MySQL物理备份 · Percona XtraBackup备份原理

Percona XtraBackup(简称PXB)是 Percona 公司开发的一个用于 MySQL 数据库物理热备的备份工具,支持 MySQl(Oracle)、Percona Server 和 MariaDB,并且全部开源,真可谓是业界良心。我们 RDS MySQL 的物理备份就是基于这个工具做的。

分类目录: MySQL数据库,
标签: MySQL, Xtrabackup, 数据库备份,
12
6月
Oracle数据库中db_files参数和maxdatafiles参数

oracle中在创建表空间的时候经常会遇到数据文件超过就大数的限制,如何解决 这个问题呢?
这个问题受两个参数的限制一个是maxdatafiles,一个是db_files。

分类目录: Oracle数据库,
标签: Oracle,
12
6月
平安好医生Donkey自动化执行平台介绍

Donkey 系统是平安健康 DBA 团队开发的数据库 SQL 审核和变更平台。提供线上 DML、DDL SQL 的语法和规范校验、 流程审批、自动上线等功能。系统分为 DML 自助执行和 DDL 自动上线两部分功能。下面分别通过 DML 自助执行和 DDL 自动上线两大章节为大家进行介绍。

分类目录: 数据库平台开发,
标签: 自动化, 自动化执行平台,
02
6月
Hadoop-Hbase集群部署参考文档

本文档将为大家详细的介绍安装Hadoop、HBASE、ZK等组件的安装和整合过程。每个步骤均经过验证和测试,提供出来为大家提供安装部署参考之用。

分类目录: Hbase/Hadoop,
标签: HBASE,
28
5月
MySQL里如何避免Drop大表和分区引起IO问题

由于业务需求不断变化,可能在DB中存在超大表占用空间或影响性能;对这些表的处理操作,容易造成mysql性能急剧下降,IO性能占用严重等。先前有在生产库drop table造成服务不可用;rm 大文件造成io跑满,引发应用容灾;对大表的操作越轻柔越好。

分类目录: MySQL数据库,
标签: MySQL,
27
5月
使用GPG加密MySQL数据库备份

要了解什么是GPG,就要先了解PGP。1991年,程序员Phil Zimmermann为了避开政府监视,开发了加密软件PGP。这个软件非常好用,迅速流传开来,成了许多程序员的必备工具。但是,它是商业软件,不能自由使用。所以,自由软件基金会决定,开发一个PGP的替代品,取名为GnuPG。这就是GPG的由来。

分类目录: MySQL数据库,
标签: MySQL, 加密, 备份, 数据库,
22
5月
MySQL8.0优化Hint-查询语句中设置会话变量

从MySQL8.0.3开始,MySQL支持一种新的优化Hint,名字叫SET_VAR,这个特性支持用户在查询语句里修改MySQL数据库的一些会话变量,当然修改只是对当前查询会话生效,不会影响到其他会话。

分类目录: MySQL数据库,
标签: MySQL, MySQL8.0,
21
5月
Oracle 11GR2 Dataguard部署完整文档

由于业务需要,需要部署一套Oracle DataGuard系统,并完成相关监控部署和备份等运维管理操作。本文将根据部署过程整理出了部署DataGuard的详细文档,供后续部署使用或者提供部署参考。本资料仅作为学习和部署参考使用。

分类目录: Oracle数据库,
标签: DataGuard, Oracle, 数据库,
19
5月
Oracle 11g 手动创建库完整实施过程

Oracle数据库除了使用DBCA创建数据库的方式外,还可以使用命令手动创建数据库。本文为Oracle 11g手动创建数据库的完整过程,供大家参考使用。

分类目录: Oracle数据库,
标签: Oracle, 创建数据库, 数据库,
19
5月
Oracle 11gR2-preinstall and clone home

当需要安装部署一套新的Oracle数据库服务器时,除了常规的安装方式外,我们可以使用Oracle home克隆的方式很快运行起一个数据库实例。这种方式是从已经部署好的Oracle服务器上将Oracle home拷贝过来,然后运行clone命令完成克隆,下面为大家做主要步骤的介绍。

分类目录: Oracle数据库,
标签: Oracle, 数据库,
04
4月
未提交事务导致AUTO_INCREMENT修改失败问题

测试环境某个数据库的表由于数据处理,在插入数据时指定了很大的id,导致现在自增id值变得很大,现在需要将该表的id自增值重置。但是在执行过程中我们发现了一些问题。

分类目录: MySQL数据库,
标签: AUTO_INCREMENT, MySQL, 事务,
29
3月
MySQL Innodb事务编程问题和处理

本文将通过实例为大家介绍MySQL Innodb事务编程问题和处理方法,很多开发人员非常喜欢在循环中进行事务提交,下面演示一个他们经常写的一个存储过程示例。

分类目录: MySQL数据库,
标签: InnoDB, MySQL, 存储过程, 编程,