2013-07-15

備份 Ubuntu Linux 系統並自動上傳備份檔到另一台 server

備份的基本觀念參考自 Ubuntu 社群文件 BackupYourSystem/TAR

我對 linux 管理以及 shell script 都不是很熟,所以有什麼錯誤觀念請多指教。

TL; DR


#!/bin/bash

export timestamp=$(date +"%Y%m%d%H%M%S")
tar -cvpzf /tmp/backups/backup_$timestamp.tar.gz --exclude='/tmp/*' --exclude='/more_to_ignore/*' --one-file-system /
su - username /bin/bash -c "scp /tmp/backups/backup_$timestamp.tar.gz username@another.server.com:/home/username/backups/backup_$timestamp.tar.gz"

基本想法


  1. 用 tar 指令把大部分東西都打包起來
  2. 用 scp 指令上傳到另一台 server
  3. 以上步驟寫成 shell script 並用 crontab 自動執行


動手


用 tar 指令把大部分東西都打包起來


參考上述文件,打包的指令如下

tar -cvpzf /tmp/backup.tar.gz --exclude='/tmp/backup.tar.gz' --exclude='/more/path/to/exclude/*' --one-file-system /

有幾個注意事項:

  1. 打包的目的檔案一定要被exclude掉,不然會有問題
  2. 雖然大部分 options 都可以變換順序,但f不行。不過你也可以明確的寫成 tar -cvpz -f ...
  3. 好像這樣解釋的蠻不清不楚的,想知道 -cvpzf--one-file-system 參數在幹嘛、哪些目錄適合 exclude 掉等資訊可以到上述文件看。


問題:權限不足 Permission denied


出現大量的以下訊息

tar: /some/files: Cannot open: Permission denied

我的解法是 sudo su - 成 root 帳號,用 root 身分來打包。

打包過程中出現 file changed as we read it 的訊息


tar: /var/lib/mysql/ibdata1: file changed as we read it

以這個為關鍵字去找,沒找到什麼資料,我猜這可能只是 warning,而非 error,所以打包結果還是ok的。

用 scp 指令上傳到另一台 server


沒用過 scp 的話先想辦法成功傳送一個檔案,可參考這篇教學

這個步驟我是用一般身分做的,假設帳號是 username,目標server是 another.server.com,把剛才的 /tmp/backup.tar.gz 傳到遠端 server:

scp /tmp/backup.tar.gz username@another.server.com:/home/username/backups/backup.tar.gz

此時他應該會問你在 another.server.com 的密碼,但我們接下來要用 crontab 自動執行啊!被詢問密碼檔下來就不能自動化了,所以請參考 兩行指令搞定 Linux SSH登入免密碼,想再深入了解一點的話可以看 josephj:SSH 免密碼登入

以上步驟寫成 shell script 並用 crontab 自動執行


接下來要合體了

1. 開一個 system_backup.sh 檔案,然後把把上兩步驟的丟進去


第一行記得寫這個:

#!/bin/bash

2. 用 username 身分執行 scp


因為剛才是用 username 帳號設定免密碼登入的,所以欲享免密碼、還是得用 username 帳號。我不確定用 root 設定登入到遠端免密碼會不會有什麼後遺症,但我已經做到這步了,就沒想那麼多了。

換身分的方法是 su - username 指令,所以我把那行變成:

su - username /bin/bash -c 'scp 指令...'

3. 避免檔名重複問題,加上 timestamp


取得現在時間,並 format 成 20130715235959 這樣的格式:

export timestamp=$(date +"%Y%m%d%H%M%S")

把取得的時間字串變成檔名的一部分

backup_$timestamp.tar.gz

最後修改名稱、路徑等,得到完成的 shell script 檔:

#!/bin/bash

export timestamp=$(date +"%Y%m%d%H%M%S")
tar -cvpzf /tmp/backups/backup_$timestamp.tar.gz --exclude='/tmp/*' --exclude='/more_to_ignore/*' --one-file-system /
su - username /bin/bash -c "scp /tmp/backups/backup_$timestamp.tar.gz username@another.server.com:/home/username/backups/backup_$timestamp.tar.gz"

用單引號 ' 會讓變數出不來,所以要用雙引號 " 號喔!

4. 設定 crontab


sudo crontab -e

第一次設定 crontab 的時候會問你要用哪個編輯器,它應該會顯示數字選項,就打數字告訴他你要用哪個。

10 16 * * * /bin/bash -c '/root/system_backup.sh'

關於 crontab 的設定請參考 鳥哥-crontab

需注意的是我的 server 的時區是UTC,而我希望他在 12:10AM UTC+8 的時後備份,所以要 24-8 = 16點。

追加


自動刪除老舊備份檔


檔名符合 backup_*.tar.gz 者,刪到只剩 2 個:(我採用的方法)

find /tmp/backups/ -name "backup_*.tar.gz" | sort | head -n -2 | xargs -I % rm -f %

刪除建立時間久於 7 天者:

find /tmp/backups/ -mtime 7 -exec rm -f {} \;

以上挑一種寫成 bash script,然後放到 crontab,我是一個星期清一次。

匯出進度輸出到 log 檔


改寫crontab:

10 20 * * * /bin/bash -c '/root/system_backup.sh >> /root/backup_process.log 2>&1'

結尾的 2>&1 很重要,不寫的話,可能訊息會沒印到檔案裡。原理可參考 Unix 重新導向跟 2>&1

另外也要修改 tar 的參數,拿掉 -v ,例如:

tar -cpzf /tmp/backups/backup_$timestamp.tar.gz …

因為 -v 會吐出詳細的壓縮過程,但是要寫到 log 裡面的訊息只要 warning 跟 error 就好了。

其他安全考量


前輩要求定期刪除的 script 跟 cron 要放在一般權限的帳戶裡,以免被攻破後只要改一小行就可以 rm -rf /,那就升天了。

為了達到這件事情,要把 owner 指定給接受的使用者 username,並放在該 user 可以存取刪除的資料夾。

No comments:

Post a Comment