mysqldump到tar.gz


88

通常在用mysqldump命令转储MySQL数据库后,我立即tar / gzip生成的文件。我正在寻找一种在一个命令中执行此操作的方法:

所以从这个:

mysqldump dbname -u root -p > dbname.sql
tar czvf dbname.sql.tgz dbname.sql
rm dbname.sql

对于这样的事情:

mysqldump dbname -u root -p > some wizardry > dbname.sql.tgz

甚至更好(因为我通常将转储文件保存到另一台服务器):

mysqldump dbname -u root -p > send dbname.sql.tgz to user@host

我在debian上运行bash。

Answers:


102
mysqldump --opt <database> | gzip -c | ssh user@wherever 'cat > /tmp/yourfile.sql.gz'

您不能在这样的管道中使用tar,而且也不需要它,因为您仅输出单个文件。tar仅在您有多个文件时才有用。


6
你说得对,不需要焦油,但如果你这样做,你可以使用它在管道中,有mysqldump | tar cf - | gzip -c | ssh ... 'cat > file.tgz'
达伦·张伯伦

这真的有效吗?我很确定tar需要使用文件名列表。
詹姆斯

2
我将其更新为可在本地工作(不在远程ssh服务器上),噢,由于原始的发帖人和答录者,我使用基于日期的动态名称!mysqldump --opt <database> | gzip -c | cat > $(date +%Y-%m-%d-%H.%M.%S).sql.gz
electblake

4
@electblake:如果是本地猫,则无需使用“猫”。Justgzip -c > $(date +%Y-%m-%d-%H.%M.%S).sql.gz
James

只是为了好玩,您可以使用netcat管道代替ssh。如果ssh的加密开销是通过安全网络传输的(或者您不关心安全性),则可以节省ssh的加密开销。如今,您也可以考虑使用xz代替gzip
詹姆斯

45

如果您在本地运行此命令,请使用以下命令备份数据库并使用gzip将其压缩:

mysqldump -u userName -p (passwordPrompt) yourDatabaseName | gzip -c > output.gz 

(编辑:固定-c键)


2
是的,这是最简单的解决方案。我也用
罗曼·斯尼特科

2
应该是gzip -c吧?
pilsetnieks,2014年

很好...但是如何在此命令中重定向stderr?如果我追加2> / dev / null,它将不再起作用。并且2> / dev / null之前,管道也不起作用。
Nelson Teixeira 2015年

mysqldump -u用户名-p(passwordPrompt)yourDatabaseName 2> / var / log / dump-errors | gzip -v> output.gz
不确定

我使用类似mysqldump -u root -p databasename --routines | gzip -v> myfile.sql.gz ...我得到了无法下载的.gz文件的一部分
Sushivam,2016年

18

使用命名管道。

mkfifo mysql_pipe
gzip -9 -c < mysql_pipe > name_of_dump.gz &
mysqldump database > mysql_pipe 
rm mysql_pipe

我一直都在用它,很棒。

http://en.wikipedia.org/wiki/Named_pipe


6
詹姆斯在1行中做同样的事情。
乔恩·哈达德

15
..但是了解命名管道是值得的:-)
TomaszZieliński

mkfifo mysql_pipe; gzip -9 -c < mysql_pipe > name_of_dump.gz &; mysqldump database > mysql_pipe; rm mysql_pipe在那里,一行。当然,我会一直使用管道,并且每次都使用它。
d34dh0r53

15

我编写了一个快速脚本来删除远程mysql数据库。它使用mysql压缩,gzip和ssh压缩。以难以置信的速度吸引了多GB数据库。

    ssh -C user@host "mysqldump --opt --compress database <table> | gzip -9 -c" > outputfile.sql.gz

附带的好处是,它不需要源数据库服务器上的可用空间,因此可以在删除数据之前使用它来备份具有零可用磁盘空间的服务器上的数据库。

希望它能帮助到别人。


我创建了一个简单的shell脚本:#!/ bin / bash if [-z“ $ 1”]; 然后回显“用法:$ {0} [主机] [用户] [数据库] [outputFile]”如果[-z“ $ 2”],则退出HOST = $ 1 fi;然后回显“用法:$ {0} $ {1} [user] [database] [outputFile]”,如果[-z“ $ 3”],则退出else USER = $ 2 fi;然后回显“用法:$ {0} $ {1} $ {2} [database] [outputFile]”如果[-z“ $ 4”],则退出,否则DB = $ 3 fi;然后OUTFILE =“ $ {DB} .sql.gz”否则OUTFILE = $ 4 fi COMMAND =“ ssh -C $ {USER} @ $$ HOST} \” mysqldump --opt $ {DB} | gzip -9 -c \“> $ {OUTFILE}” ssh -C $ {USER} @ $ {HOST}“ mysqldump --opt $ {DB} | gzip -9 -c”> $ {OUT}
Tony Dillon

其中两种压缩方式没有用:mysqldump的选项压缩服务器进程中的数据,然后立即将其解压缩(如果mysqldump在数据库服务器本身上运行)。ssh的-C选项激活gzip压缩,这将浪费更多的CPU周期,因为此时数据已被压缩。
MattW。

5

使用pv和监控速率!

mysqldump prod_db -h dbslave | pv | gzip -c > prod_2012_08_20.dump.tgz

或者,如果您知道大小(3GB),请获取准确的估算值:

mysqldump prod_db -h dbslave | pv -s 3g | gzip -c > prod_2012_08_20.dump.tgz

4

尝试这个:

mysqldump --all-databases --password=dbpassword | gzip -c | ssh user@servername "cat >/tmp/filename_of_your_choice.gz"

请不要因为我对这些事情都不擅长,我只是将网络上的2个选项组合为一个。

用其他方法可能会更好,但这是一种对我有用的方法。

但是ssh.keys,如果要在脚本等中使用它,则确实需要安装并接受它crontab


1
欢迎使用ServerFault。在我看来,这完全合理。
小鸡

2

您可以像这样:

mysqldump --add-drop-table -h dbhost -u dbuser -p dbname (tablename tablename ... ) | gzip -c > wp.sql.gz

例如

mysqldump --add-drop-table -h localhost -u root -p wordpress | gzip -c > wp.sql.gz


1

我一直在下面的bash脚本上进行尝试,该脚本试图将我在使用mysql转储/还原时看到的所有好的建议汇总在一起。它针对远程操作。

只需重新配置vars并尝试一下。:)

功能包括:

  • 您可以传递要转储的表的列表(选择性转储)
  • 系统可能会提示您输入密码(MySQL / SSH)或在变量中设置密码
  • 网络传输被压缩
  • 您可以选择将压缩的转储保存到远程服务器
  • 您可以即时将转储重新导入到远程服务器(本地/远程服务器上没有临时文件)
  • 您对正在发生的事情有视觉反馈(感谢echo和pv)
  • 您可以在转储过程之前和之后设置mysql变量

需要改进的地方:

  • 您需要传递表列表(无法转储所有表)
  • 源和目标的MySQL密码相同
  • 您需要手动授予特权(看起来像MySQL不允许远程执行)
  • 您需要安装sshpass
  • 一些innodb巨大的压缩表转储缓慢(可能是mysqldump的错误)

我在这里分享此脚本,希望社区可以对其进行改进。 (最好使用nano或其他为代码着色的编辑器查看)

- - - - - - - - - - - - - - - - - 剪这里 - - - - - - - - -------------------

#!/bin/bash
#set -x

#REQUIRED VARS
SOURCE_USER=root   #MySQL user
SOURCE_HOST=localhost
SOURCE_PASSWORD=yourmysqlpass  #optional
SOURCE_DBNAME=yourdbname
TARGET_HOST=192.168.1.2
TARGET_DBNAME=yourdbname
TARGET_SSHUSER=root
TARGET_SSHPASSWORD=yoursshpass  #optional
TABLES='table1 table2 table3 table4'
TARGET_DIR="/data/dumpfiles"
EXEC_ACTION_TEXT[0]='Reimport TABLES directly into remote MySQL database'
EXEC_ACTION_TEXT[1]='Backup gzipped data to TARGED_DIR on remote TARGET_HOST'
EXEC_ACTION=0

#print config
echo "---------------------------------"
echo " SOURCE_USER:    $SOURCE_USER (MySQL)"
if [ "SOURCE_PASSWORD" != "" ]; then
echo " SOURCE_PASSWORD:<present>        "; else
echo " SOURCE_PASSWORD:<to be asked>    "
fi
echo " SOURCE_HOST:    $SOURCE_HOST     "
echo " SOURCE_DBNAME:  $SOURCE_DBNAME   "
echo " TARGET_HOST:    $TARGET_HOST     "
echo " TARGET_DBNAME:  $TARGET_DBNAME   "
echo " TARGET_SSHUSER: $TARGET_SSHUSER  "
if [ "TARGET_SSHPASSWORD" != "" ]; then
echo " TARGET_SSHPASS: <present>     "; else
echo " TARGET_SSHPASS: <to be asked>    "
fi
echo " TABLES:         $TABLES          "
echo " EXEC_ACTION:    $EXEC_ACTION - ${EXEC_ACTION_TEXT[$EXEC_ACTION]}"
echo " TARGET_DIR:     $TARGET_DIR (only for action 1)"
echo "---------------------------------"
echo "PRESS <ENTER> to continue...";  read;  echo

#read the mysql password from command-line (SOURCE and TARGET uses the same password)
if [ "$SOURCE_PASSWORD" == "" ]; then
     echo -n "Type $SOURCE_USER password for MySQL servers: "; read -s SOURCE_PASSWORD; echo
fi
echo "Creating database $TARGET_DBNAME on $TARGET_HOST if not exists ... "
mysql \
--user=$SOURCE_USER \
--password=$SOURCE_PASSWORD \
--host=$TARGET_HOST \
--execute "create database if not exists $TARGET_DBNAME;"

echo '--------------------------------------------------------------------------------------'
echo "**** ATTENTION ****: execute this command on mysql server at  $TARGET_HOST :"
echo "GRANT ALL PRIVILEGES ON $TARGET_DBNAME.* TO '$SOURCE_USER'@'%' IDENTIFIED BY 'yourpass';"
echo '--------------------------------------------------------------------------------------'
echo "PRESS <ENTER> to continue...";  read;  echo

#read the password from command-line
if [ "$TARGET_SSHPASSWORD" == "" ]; then
     echo -n "Type the password for remote SSH Server (TARGET) ['$TARGET_SSHUSER'@'$TARGET_HOST']: "; read -s TARGET_SSHPASSWORD; echo
fi

for thistable in $TABLES
do
     case "$EXEC_ACTION" in
         0)
         thisaction="gunzip | mysql --user=$SOURCE_USER --password=$SOURCE_PASSWORD -D $TARGET_DBNAME"
         endmessage='remote reimporting has finished'
         ;;
         1)
         thisaction="cat > $TARGET_DIR/`date +%Y.%m.%d`-"$thistable".gz"
         endmessage="$thisaction has finished"
         ;;
         *)   echo "EXEC_ACTION=$EXEC_ACTION not supported" && exit 1
     esac

     echo "---------------------------------------------------------------------"
     echo "-- table $thistable"
     echo "---------------------------------------------------------------------"
     (
       echo -n "-- setting variables... " > /dev/stderr  #talk to user via stderr
       echo "SET AUTOCOMMIT=0; SET UNIQUE_CHECKS=0; SET FOREIGN_KEY_CHECKS=0;"
       echo -n "starting mysqldump... " > /dev/stderr
       mysqldump --opt --user=$SOURCE_USER --password=$SOURCE_PASSWORD --host=$SOURCE_HOST $SOURCE_DBNAME $thistable
       echo -n "done mysqldump, reseting variables... " > /dev/stderr
       echo "SET FOREIGN_KEY_CHECKS=1; SET UNIQUE_CHECKS=1; SET AUTOCOMMIT=1;"
       echo -n "commiting... " > /dev/stderr
       echo "COMMIT;"
       echo "done!" > /dev/stderr
     ) | \
     gzip -c -2 | \
     pv | \
     sshpass -p $TARGET_SSHPASSWORD ssh $TARGET_SSHUSER'@'$TARGET_HOST $thisaction
     echo $endmessage ' with exit status '$?
done

0

您也可以将密码存储在配置文件中,并使用以下选项--defaults-extra-file:

mysqldump --defaults-extra-file=mysqldump.cnf DataBaseName | gzip -c > DBOutputName.sql.gz

配置文件如下所示:

[mysqldump]
host = localhost
user = username
password = "password"
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.