カテゴリー: MySQL

MySQL SHOWによる解析とチューニング

2019年4月2日2019年5月29日 | by 優 | にコメントを残す

MySQLのチューニング調査依頼で時短で終わるようにバージョン CentOS7 MySQL5.6 DB, テーブルのDBエンジンの確認データベースの確認

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| exampledb       |
+--------------------+
4 rows in set (0.00 sec)

mysql> show databases;

+--------------------+

| Database |

+--------------------+

| information_schema |

| mysql |

| performance_schema |

| exampledb |

+--------------------+

4 rows in set (0.00 sec)

デフォルトのエンジンの確認

mysql> show engines;

+--------------------+---------+----------------------------------------------------------------+--------------+------+------------+
| Engine             | Support | Comment                                                        | Transactions | XA   | Savepoints |
+--------------------+---------+----------------------------------------------------------------+--------------+------+------------+
| FEDERATED          | NO      | Federated MySQL storage engine                                 | NULL         | NULL | NULL       |
| MRG_MYISAM         | YES     | Collection of identical MyISAM tables                          | NO           | NO   | NO         |
| MyISAM             | YES     | MyISAM storage engine                                          | NO           | NO   | NO         |
| BLACKHOLE          | YES     | /dev/null storage engine (anything you write to it disappears) | NO           | NO   | NO         |
| CSV                | YES     | CSV storage engine                                             | NO           | NO   | NO         |
| MEMORY             | YES     | Hash based, stored in memory, useful for temporary tables      | NO           | NO   | NO         |
| ARCHIVE            | YES     | Archive storage engine                                         | NO           | NO   | NO         |
| InnoDB             | DEFAULT | Supports transactions, row-level locking, and foreign keys     | YES          | YES  | YES        |
| PERFORMANCE_SCHEMA | YES     | Performance Schema                                             | NO           | NO   | NO         |
+--------------------+---------+----------------------------------------------------------------+--------------+------+------------+
9 rows in set (0.00 sec)

mysql> show engines;

+--------------------+---------+----------------------------------------------------------------+--------------+------+------------+

+--------------------+---------+----------------------------------------------------------------+--------------+------+------------+

| MRG_MYISAM | YES | Collection of identical MyISAM tables | NO | NO | NO |

| MyISAM | YES | MyISAM storage engine | NO | NO | NO |

| BLACKHOLE | YES | /dev/null storage engine (anything you write to it disappears) | NO | NO | NO |

| CSV | YES | CSV storage engine | NO | NO | NO |

| MEMORY | YES | Hash based, stored in memory, useful for temporary tables | NO | NO | NO |

| ARCHIVE | YES | Archive storage engine | NO | NO | NO |

| InnoDB | DEFAULT | Supports transactions, row-level locking, and foreign keys | YES | YES | YES |

| PERFORMANCE_SCHEMA | YES | Performance Schema | NO | NO | NO |

+--------------------+---------+----------------------------------------------------------------+--------------+------+------------+

9 rows in set (0.00 sec)

…

の続きを読む

MySQL, AWS

AWSでのMySQLデータ生存戦略

2018年11月28日2019年11月28日 | by 優 | にコメントを残す

MySQL on EC2 EFSをマウント mysqldumpのスナップショットを定期で取ってEFSに出力バイナリログを–result-file=で指定してEFSに出力合わせて、 Cronを5秒ずつ程度走らせてバイナリログをS3に同期してバックアップ CloudWatchにもログを出力 MySQL on RDS 5分毎にSnapshotが走っている仕様 …

の続きを読む

MySQL, RDB, チューニング

コンシューマ世界でのJOIN禁止、固定長ルールのまとめ私 JOIN禁止の世界は知らない(1テーブルに1億以上のレコードを扱ったことがない) 原則として正規化できるものは正規化してJOINを行い、正規化する必要のないものは正規化しないスタンス 1テーブルはどんなに大きくても20カラム限界がセオリー →正規化できるのではないか、テーブルをわける 1テーブルが大きく正規化されずに開発されたサービスの保 …

の続きを読む

MySQL, SQL, チューニング

SQL インデックスが効かない検索

2018年1月25日2019年9月8日 | by 優 | にコメントを残す

基本戦略テーブルを正規化する JOIN(INNER JOIN)を有効に活用する非正規化でテーブルを巨大にしないすべてのテーブルを正規化することは出来ない出来るテーブルのみ正規化する EXPLAINで計測する、INDEXが有効に動いているか確認するインデックスのデメリット SELECT性能がBtreeインデックスによって向上するが、UPDATEでINDEXが再生 …

の続きを読む

MySQL, SQL, トラブルシューティング

MySQL デッドロック対処

2017年12月4日2019年1月21日 | by 優 | にコメントを残す

MySQLのデッドロック対処おまけでギャップロック寄稿しました。今回はトランザクションでよくありがちなデッドロックのご紹介。たすきがけのデッドロックよくデッドロックはなんぞや？といった時に提示されるパターンです。

CREATE TABLE a_table(
	a_id       INT UNSIGNED PRIMARY KEY,
	point      INT UNSIGNED,
    value      VARCHAR(255)
)ENGINE=InnoDB DEFAULT CHARSET=utf8;

INSERT INTO a_table(a_id, point, value) VALUES
	(1, 100, "a");
	



CREATE TABLE b_table(
	b_id       INT UNSIGNED PRIMARY KEY,
	point      INT UNSIGNED,
    value      VARCHAR(255)
)ENGINE=InnoDB DEFAULT CHARSET=utf8;


INSERT INTO b_table(b_id, point, value) VALUES
	(1, 100, "a");

CREATE TABLE a_table(

a_id INT UNSIGNED PRIMARY KEY,

point INT UNSIGNED,

value VARCHAR(255)

)ENGINE=InnoDB DEFAULT CHARSET=utf8;

INSERT INTO a_table(a_id, point, value) VALUES

(1, 100, "a");

CREATE TABLE b_table(

b_id INT UNSIGNED PRIMARY KEY,

point INT UNSIGNED,

value VARCHAR(255)

)ENGINE=InnoDB DEFAULT CHARSET=utf8;

INSERT INTO b_table(b_id, point, value) VALUES

(1, 100, "a");

…

の続きを読む

MySQL, Linux

Percona XtraBackup ロールフォワード

2017年12月2日2017年12月3日 | by 優 | にコメントを残す

Percona XtraBackup mysqldumpリストア時間比較おまけでロールフォワード寄稿しました。どっちを使う？ XtraBackup レプリケーションが行われているシステム。 WEBサービス。1秒も止められないようなもの。1秒で利益や損失が発生するサービス。 XtraBackup, mysqldumpの併用しておく。 mysqldump 業務アプリ。深夜や早朝、お …

の続きを読む

MySQL, チューニング, Linux

MySQL 5.6 ファイルディスクリプタカーネルチューニング CentOS7

2017年10月26日2019年1月25日 | by 優 | にコメントを残す

MySQL5.6 ファイルディスクリプタチューニング CentOS7 [Warning] Buffered warning: Could not increase number of max_open_files to more than 1024 (request: 10140) [Warning] Buffered warning: Changed limits: max_con …

の続きを読む

MySQL

MySQL5.6.22以下注意 SET GLOBAL sql_log_bin

2017年10月25日 | by 優 | にコメントを残す

MySQLのレプリケーション環境を運用していると、バイナリログへの記録を一時的に止めるためにsql_log_bin=0を実行したことがあるだろう。これを「set GLOBAL sql_log_bin=0」と、グローバル変数への変更として実行すると大変なことになる、という指摘。TwitterのMySQLエンジニア、Jeremy Cole氏の提言。 MySQL 5.5.41、5.6.22 …

の続きを読む

MySQL, SQL

SQL 置換 REPLACE

2017年10月21日 | by 優 | にコメントを残す

値を置換します。

UPDATE テーブル名 SET カラム名 = REPLACE(カラム名, '値old', '値new');

1	UPDATE テーブル名 SET カラム名 = REPLACE(カラム名, '値old', '値new');

万単位のレコード置換は本当に気持ちが良いもの。このクエリ大好き。使う機会を震えて待ってます（*’∀’人）

の続きを読む

MySQL

MySQL レプリケーション監視スクリプト

2017年9月1日2017年10月4日 | by 優 | にコメントを残す

レプリケーション監視スクリプト replication_check.sh

#!/bin/sh

#PASSWORD="パスワードを入力"
EMAIL=hoge@example.net
DOMAIN=crient.com
CRIENT="もげ株式会社"

#eval  "`mysql -u root -p${PASSWORD} -e 'show slave status \G' | sed -ne 's/: \(.*\)/="\1"/p' `"
eval  "`mysql --defaults-extra-file=/root/.my.cnf -e 'show slave status \G' | sed -ne 's/: \(.*\)/="\1"/p' `"
if [ "$?${Slave_IO_Running}${Slave_SQL_Running}" != "0YesYes" ]; then
echo "show slave status\G" | mysql --defaults-extra-file=/root/.my.cnf | mail -s "レプリケーションエラー:${DOMAIN}:${CRIENT}:"`hostname` ${EMAIL}
exit 1
fi

#!/bin/sh

#PASSWORD="パスワードを入力"

EMAIL=hoge@example.net

DOMAIN=crient.com

CRIENT="もげ株式会社"

#eval "`mysql -u root -p${PASSWORD} -e 'show slave status \G' | sed -ne 's/: $.*$/="\1"/p' `"

eval "`mysql --defaults-extra-file=/root/.my.cnf -e 'show slave status \G' | sed -ne 's/: $.*$/="\1"/p' `"

if [ "$?${Slave_IO_Running}${Slave_SQL_Running}" != "0YesYes" ]; then

echo "show slave status\G" | mysql --defaults-extra-file=/root/.my.cnf | mail -s "レプリケーションエラー:${DOMAIN}:${CRIENT}:"`hostname` ${EMAIL}

exit 1

# vi /etc/crontab

#レプリケーションチェック
*/1 * * * * root sh /root/replication_check.sh

# vi /etc/crontab

#レプリケーションチェック

*/1 * * * * root sh /root/replication_check.sh

の続きを読む

MySQL

【Munin】 MySQL InnoDB free tablespace UNKNOWNs: Bytes free is unknown.

2017年9月1日2017年10月10日 | by 優 | にコメントを残す

Munin-notification for net::example.net

net :: example.net :: MySQL InnoDB free tablespace
	UNKNOWNs: Bytes free is unknown.

Munin-notification for net::example.net

net :: example.net :: MySQL InnoDB free tablespace

UNKNOWNs: Bytes free is unknown.

# /etc/my.cnf

自動拡張のサイズ
innodb_autoextend_increment     = 64      ##InnoDBテーブルスペースファイル 自動拡大テーブルスペースがいっぱいになった時の 自動増分サイズ

# /etc/my.cnf

自動拡張のサイズ

innodb_autoextend_increment = 64 ##InnoDBテーブルスペースファイル自動拡大テーブルスペースがいっぱいになった時の自動増分サイズ

mysql> show global variables like '%innodb_autoextend_increment%';

+-----------------------------+-------+
| Variable_name               | Value |
+-----------------------------+-------+
| innodb_autoextend_increment | 64    |
+-----------------------------+-------+
1 row in set (0.00 sec)

mysql> show global variables like '%innodb_autoextend_increment%';

+-----------------------------+-------+

| Variable_name | Value |

+-----------------------------+-------+

| innodb_autoextend_increment | 64 |

+-----------------------------+-------+

1 row in set (0.00 sec)

64になっている。また、1000は最大値 ※Valueの数字の後にMをつけてしまうと、1000になります； [cra …

の続きを読む

MySQL

MySQLダンプスクリプト

2017年9月1日2018年5月16日 | by 優 | にコメントを残す

ログイン用ファイル作成 ※rootパスワード設定時

# vi /root/.my.cnf

[mysqladmin]
host = localhost
user = root
password = DBpassword

[client]
user = root
password = DBpassword
host = localhost

# vi /root/.my.cnf

[mysqladmin]

host = localhost

user = root

password = DBpassword

[client]

user = root

password = DBpassword

host = localhost

# chmod 400 /root/.my.cnf

# mysql --defaults-extra-file=/root/.my.cnf

# chmod 400 /root/.my.cnf

# mysql --defaults-extra-file=/root/.my.cnf

全データまとめてdump

mysqlalldump. …

の続きを読む

優技録

カテゴリー: MySQL

MySQL SHOWによる解析とチューニング

AWSでのMySQLデータ生存戦略

コンシューマでJOIN禁止, 固定長DBまとめ

SQL インデックスが効かない検索

MySQL デッドロック対処

Percona XtraBackup ロールフォワード

MySQL 5.6 ファイルディスクリプタカーネルチューニング CentOS7

MySQL5.6.22以下注意 SET GLOBAL sql_log_bin

SQL 置換 REPLACE

MySQL レプリケーション監視スクリプト

【Munin】 MySQL InnoDB free tablespace UNKNOWNs: Bytes free is unknown.

MySQLダンプスクリプト