Linux系统同步盘命令,linux同步文件系统命令

linux下如何实现增量备份？

服务器需求：

网站建设哪家好，找创新互联！专注于网页设计、网站建设、微信开发、小程序设计、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了宕昌免费建站欢迎大家使用！

需要备份文件的服务器（服务器端）：192.168.10.2 （RHEL 5）

接收备份文件的服务器（客户端）：192.168.10.3 （RHEL 5）

实现功能：

通过rsync工具对turbomail邮件服务器的accounts目录和conf目录进行增量备份。

accounts目录：用于存储用户相关信息的目录

conf目录：用户配置文件存放目录

前提条件：

先将turbomail邮件系统安装好（服务器端与客户端操作一样）

安装过程如下：

1、挂载光驱：mount /dev/cdrom

2、将turbomail的安装包拷贝到跟目录下/

#cd /dev/cdrom

#cp turbomail_linux_x86_xxx.tgz

3、解压turbomail安装包

tar –zxvf turbomail_linux_x86_xxx.tgz

4、启动turbomail

#cd /turbomail

#./starttm.sh

#cd /turbomail/web/bin/

#./startup.sh 5、修改启动脚本/etc/rc.d/rc.local

使邮件服务器开机自动启动加入以下几行：#/turbomail/starttm.sh

#/turbomail/web/bin/startup.sh #/turbomail/safestart.sh

rsync的配置如下：

1.服务器端rsync的配置：使用系统自带的rsync工具，插入系统启动光盘，通过rpm安装rsync工具。

若采用采用源码包安装，上传安装包到服务器1）tar –zxvf rsyncrsync-2.6.9.tar.gz #解压2）cd rsyncrsync-2.6.9 3）./configure #默认配置，生成编译环境

4）make #编译

5）make install #安装完成，任何步骤有疑问输入echo $?查返回值，0表示成功，其他都为失败rsync 版本

2.4.6(可以从获得最新版本)

1）编辑/etc/rsyncd.conf文件，rsync的主要配置文件：

#[globale]

strict modes= yes

#check passwd file

port= 873 #rsync工具默认使用的端口

#default port

logfile= /var/log/rsyncd.log #日志文件存放路径pidfile= /var/run/rsyncd.pid #记录rsync运行时的进程ID

max connections= 4 #同上最大的链接数

#[modules] #同步模块的配置

[rsync]

uid= root #该选项指定当该模块传输文件时守护进程应该具有的uid

gid= root #该选项指定当该模块传输文件时守护进程应该具有的gid

ignore errors #忽略一些无关的错误信息

#要备份的目录

path= /turbomail/accounts #需要同步的目录

read only= no #是否设置以只读的方式运行

host allow= 192.168.10.3 #同步数据的客户端ip如有多个客户端，以“，”隔开即可

auth users= zhouhw #同步用的用户名

secrets file= /etc/rsyncd.scrt #同步的密码认证文件

[test]

uid= root #该选项指定当该模块传输文件时守护进程应该具有的uid

gid= root #该选项指定当该模块传输文件时守护进程应该具有的gid

ignore errors #忽略一些无关的错误信息

#要备份的目录

path= /turbomail/conf #需要同步的目录

read only= no #是否设置以只读的方式运行

host allow= 192.168.10.3 #同步数据的客户端ip如有多个客户端，以“，”隔开即可

auth users= zhouhw #同步用的用户名

secrets file= /etc/rsyncd.scrt #同步的密码认证文件2）编辑/etc/rsyncd.scrt文件，密码认证文件

zhouhw：123456

该更权限为600：chmod 600 /etc/rsyncd.scrt 3) 运行rsync --daemon,并在/etc/rc.d/rc.local加入此语句,开机自动启动。

备注：rsync默认端口873，若安装了iptables，如需改动启动时启动rsync –port 873,请在iptables 中开放该端口，语句如下：

iptables -I INPUT -p tcp --dport 873 -j ACCEPT

4）编辑/etc/xinetd.d/rsync

rsync服务的监听由xinet来统一分配:

service rsync

{

disable = no #将此项改为no

socket_typ

e = stream

wait = no

user = root

server = /usr/bin/rsync

server_args = --daemon

log_on_failure += USERID

}

重启xinetd以启动rsync服务

service xinetd restart

5)查看rsync事故正常运行

输入命令：netstat -ant|grep :873若有显示以下一条语句，则说明rsync服务已经正常启动了。

tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 2.客户端的配置：使用系统自带的rsync工具，插入系统启动光盘，通过rpm安装rsync工具。

1）编辑/etc/rsyncd.scrt文件，密码认证文件

zhouhw：123456

该更权限为600：chmod 600 /etc/rsyncd.scrt 2）编辑脚本vi /root/scrpit/rsync.sh并加入开机自动启动。

#!/bin/sh /usr/bin/rsync -vazu --progress --delete

zhouhw@192.168.10.2::rsync /turbomail --password-file=/etc/rsyncd.scrt

zhouhw@192.168.10.2::test /turbomail

--password-file=/etc/rsyncd.scrt修改权限：chmod u+x

/root/scrpit/rsync.sh执行./rsync.sh 同步数据。

3）编辑/etc/crontab文件，定义为每小时30分钟执行一次数据同步。

vi /etc/crontab

# run-parts

01 * * * * root run-parts /etc/cron.hourly 02 4 * * * root

run-parts /etc/cron.daily 22 4 * * 0 root run-parts /etc/cron.weekly 42 4

1 * * root run-parts /etc/cron.monthly 30 * * * * root

/root/scrpit/rsync.sh客户端的配置到此就可以了，服务器与客户端的数据也会在每小时的第30分钟执行一次。

客户端同步命令详解：

v, --verbose 详细模式输出-q, --quiet 精简输出模式-c, --checksum

打开校验开关，强制对文件传输进行校验-a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD

-r, --recursive 对子目录以递归模式处理-R, --relative 使用相对路径信息-b, --backup

创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。

--backup-dir 将备份文件(如~filename)存放在在目录下。

-suffix=SUFFIX定义备份文件前缀

-u, --update 仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件。(不覆盖更新的文件) -l, --links 保留软链结-L, --copy-links 想对待常规文件一样处理软链结

--copy-unsafe-links仅仅拷贝指向SRC路径目录树以外的链结

--safe-links忽略指向SRC路径目录树以外的链结

-H, --hard-links 保留硬链结-p, --perms 保持文件权限-o, --owner 保持文件属主信息-g,

--group 保持文件属组信息-D, --devices 保持设备文件信息-t, --times 保持文件时间信息-S, --sparse

对稀疏文件进行特殊处理以节省DST的空间-n, --dry-run现实哪些文件将被传输-W, --whole-file

拷贝文件，不进行增量检测-x, --one-file-system 不要跨越文件系统边界-B, --block-size=SIZE

检验算法使用的块尺寸，默认是700字节-e, --rsh=COMMAND 指定替代rsh的shell程序

--rsync-path=PATH指定远程服务器上的rsync命令所在路径信息

-C, --cvs-exclude 使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件--existing 仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件

--delete删除那些DST中SRC没有的文件

--delete-excluded同样删除接收端那些被该选项指定排除的文件

--delete-after传输结束以后再删除

--ignore-errors及时出现IO错误也进行删除

--max-delete=NUM最多删除NUM个文件

--partial 保留那些因故没有完全传输的文件，以是加快随后的再次传输--force 强制删除目录，即使不为空

--numeric-ids不将数字的用户和组ID匹配为用户名和组名

--timeout=TIME IP超时时间，单位为秒-I, --ignore-times

不跳过那些有同样的时间和长度的文件--size-only

当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口，默认为0

-T --temp-dir=DIR在DIR中创建临时文件

--compare-dest=DIR同样比较DIR中的文件来决定是否需要备份

-P等同于--partial

--progress显示备份过程

-z, --compress 对备份的文件在传输时进行压缩处理

--exclude=PATTERN指定排除不需要传输的文件模式

--include=PATTERN指定不排除而需要传输的文件模式

--exclude-from=FILE排除F

ILE中指定模式的文件

--include-from=FILE不排除FILE指定模式匹配的文件

--version打印版本信息

--address绑定到特定的地址

--config=FILE 指定其他的配置文件，不使用默认的rsyncd.conf文件

--port=PORT指定其他的rsync服务端口

--blocking-io对远程shell使用阻塞IO

-stats给出某些文件的传输状态

--progress在传输时现实传输过程

--log-format=formAT指定日志文件格式

--password-file=FILE从FILE中得到密码

--bwlimit=KBPS 限制I/O带宽，KBytes per second -h, --help 显示帮助信息

Linux系统DD恢复镜像的用法

DD(1) General Commands Manual DD(1)

NAME

dd - 转换和拷贝文件

摘要

dd [--help] [--version] [if=file] [of=file] [ibs=bytes] [obs=bytes]

[bs=bytes] [cbs=bytes] [skip=blocks] [seek=blocks] [count=blocks]

[conv={ascii, ebcdic, ibm, block, unblock, lcase, ucase, swab, noerror,

notrunc, sync}]

描述

当进行非强制的转换的时候，使用指定的输入和输出块大小拷贝文件

（默认是从标准输入到标准输出。）

它每次从输入读取指定大小的一个块（默认是512字节）。 如果使用 bs=bytes

选项，并且没有转换，除了指定 sync, noerror, 或 notrunc 之外，

那么dd将把全部读到的数据（可以比请求读的少） 写到独立的输出块去。

这个输出块的长度和读到的数据 完全一样，除非指定使用 sync（同步）

转换，那样的话，数据结尾处将追加NUL字符（或空格，见下）。

其他情况下，输入的时候每次读一个块，然后处理，并将

输出结果收集起来，最后写到指定大小的数据块中去。最

终的输出块可能会比指定的大小短一些。

数字值选项（以字节或块为单位）后面可以跟一个乘数：

k=1024，b=512，w=2，c=1（w和c是GNU扩展语法。最好别 使用w，因为在system

V中，它表示2，在4.2 BSD中，它

表示4）。两个或更多的数值表达式可以通过“x”乘起来。 GEU fileutils

4.0并且允许在数据块大小的叙述中使用

下列乘法后缀（用bs=，cbs=，obs=）：M=1048576，G=1073741824，

同理可得T，P，E，Z，Y。D后缀表示数值是以 十进制表示的：kD=1000

MD=1000000 GD=1000000000等等。

（注意，在ls、df、du命令中，M等标记的大小是由环境

变量确定的，而在DD中，它的值是固定的。）

选项

if=file

从 file 中读而不是标准输入。

of=file

写到 file 里去而不是标准输出。除非指定 conv=notrunc ，否则， dd

将把 file 截为O字节（或由 seek= 选项指定的大小）

ibs=bytes

一次读 bytes 字节。默认是512。

obs=bytes

一次写 bytes 字节。默认是512。

bs=bytes

一次读和写 bytes 字节。这将覆盖 ibs 和 obs 设定的值（并且，设定

bs 不等于同时将 ibs 和 obs 设为同一个值，至少在 只使用 sync,

noerror 或 notrunc

转换时是这样的。因为bs规定，每个输入块都应作为单独

的数据块拷贝到输出，而不把较短的块组合到一起）。

cbs=bytes

为 block 转换和 unblock 转换指定转换块的大小。

skip=blocks

在拷贝之前，跳过输入文件的前 blocks 块，每块大小为 ibs-byte

字节。

seek=blocks

在拷贝之前，跳过输出文件的前 blocks 块，每块大小为 obs-byte

字节。

count=blocks

只拷贝输入文件的前 blocks 块（每块的大小为 ibs-byte

字节），而不是全部内容，直到文件末尾。

conv=转换"[,"转换"]..."

将文件按 转换 参数指定的方式转换（在“,”两边没有空格）。

转换方式包括：

ascii 将EBCDIC转换成ascii。

ebcdic 将ascii转换成ebcdic。

ibm 将ascii转换成alternative ebcdic。

block 每一行输入，无论长短，输出都是 cbs

字节，并且其中的“换行”（NEWLINE，即c中的'0）用

空格替换。如有必要，行尾会填充空格。

unblock

用“换行”替换每个输入块（ cbs 字节大小）末尾的空格。

lcase 将大写字母转换成小写。

ucase 将小写字母转换成大写。

swab 交换每对输入字节。如果读入的字节数是奇数，最后

一个字节只是简单的复制到输出（因为没有能跟它交换的

字节了）（POSIX 1003.26，PASC翻译1003.2 3号和4号）。

noerror

发生读错误时，继续进行。

notrunc

不截断输出文件。

sync 用0填充到每个输入块的末尾，使其大小为 ibs 字节。

GNU标准选项

--help 将用法信息打印到标准输出，并成功退出。

--version

将版本信息打印到标准输出，并成功退出。

-- 结束选项列表。

环境变量

LANG, LC_ALL, LC_CTYPE和LC_MESSAGES具有其通常含义。

遵循标准

POSIX 1003.2

举例

磁带机通常不能接受任意大小的数据块，当最后一个数据片

段不能充满整个块时， dd 将出现I/O错误。用'dd if=myfile of=/dev/mytape

conv=sync' 就可以使全部内容存到磁带上。当然，这样做，把文件从磁

带上读回时回产生一个稍大些的文件，因为其尾部填充了一 些NUL（空字符）。

以上是man手册的资料

dd就是分区的拷贝操作,一个分区或者说硬盘上某些扇区的某些块(指定位置)都可以被视为一个磁带,dd就是把固定的块上保存的二进制内容做拷贝操作.

linux 异地备份（ftp）

创建脚本/root/script/backup.sh

# 该脚本应用于10多台普通的Linux应用服务器，多年来从未出过差错。

# 数据库备份较为特殊，这里不包含数据库备份。

# 因为脚本中含有FTP密码，所以FTP仅给予写权限较为安全，FTP中的老备份的定期删除任务由FTP服务器完成。

# 备份加入到自动任务中，每周六23:00执行，并写入日志，如下：

# 追加下面语句到/etc/crontab中

# 0 23 * * 6 root /root/script/backup.sh /root/script/backup.log 21

#有注释版：

#!/bin/bash

#=====================================================

#author zhaoyn

#date 2010/12/31

#=====================================================

#参数设定

basedir=/opt/backup #备份存放的目录

days=15 #备份在本地保留天数

bakfiles="/root/script /etc" #需要备份的目录或文件，请不要使用快捷方式或通配符

ftpip=XXX.XXX.XXX.XXX #异地备份的FTP地址

ftpuser='username' #异地备份的FTP用户名

ftppw='password' #异地备份的FTP密码

echo =====================================================

date

cd $basedir

#删除备份目录中15天以前备份文件，不包含子目录

find -maxdepth 1 -name "*.tgz" -mtime +"$days" -exec rm -f {} \;

for bakfile in $bakfiles

do

file=`basename $bakfile`

#压缩打包需要备份的目录，包括权限，文件命名包含当前时间

tar -czpf "$file"_$(date +%Y%m%d-%H%M).tgz $bakfile

#大文件打包前后，缓解磁盘压力，降低I/O错误概率

sleep 10s ;sync;sync

done

#通过FTP上传当天备份的文件到异地

ftp -v -n -i $ftpip END

user $ftpuser $ftppw

bin

mput *$(date +%Y%m%d)*.tgz

bye

END

#无注释版：

#!/bin/bash

#=====================================================

#author zhaoyn

#date 2010/12/31

#=====================================================

basedir=/opt/backup

days=15

bakfiles="/root/script /etc"

ftpip=XXX.XXX.XXX.XXX

ftpuser='username'

ftppw='password'

echo =====================================================

date

cd $basedir

find -maxdepth 1 -name "*.tgz" -mtime +"$days" -exec rm -f {} \;

for bakfile in $bakfiles

do

file=`basename $bakfile`

tar -czpf "$file"_$(date +%Y%m%d-%H%M).tgz $bakfile

sleep 10s ;sync;sync

done

ftp -v -n -i $ftpip END

user $ftpuser $ftppw

bin

mput *$(date +%Y%m%d)*.tgz

bye

END

Mysql的备份，如果凌晨可以停止几分钟，那么强烈建议对Mysql执行物理备份，脚本如下

#!/bin/bash

#History

#=====================================================

#When Who What

#2010/3/24 Zhaoyn Create

#

#=====================================================

basedir=/opt/backup

updir=$basedir/updir

timenow=$(date +%Y%m%d-%H%M)

# 删除mysql十四天前的数据，注意，这里仅删除了mysql的tgz文件。

rm -f `find $basedir -name "mysql*.tgz" -mtime +14`

# 由于数据库在有连接的情况下，直接对数据文件打包是可能出问题的，所以这里我们在打包前要停用数据库，这样直接对数据文件打包，恢复时只需解压数据文件到新环境相应的目录即可，默认是/var/lib/mysql

# 如果白天也要进行数据库备份，请使用mysqldump命令，进行在线备份。恢复也挺方便的。

/etc/rc.d/init.d/mysqld stop

sleep 5s ;sync;sync

tar -czpf $basedir/mysql.$timenow.tgz /var/lib/mysql

/etc/rc.d/init.d/mysqld start

#=====================================================

附件中的脚本文件是有DOS换行符（CR/LF）的，复制文件中的内容到SSH客户端没有问题，如果直接拷贝文件到Linux系统中，可先运行下面的命令：

mv *.txt *sh

dos2unix *.sh