使用BorgBackup、Rclone和Wasabi云存储推出自己的家庭备份

几年来,我用 CrashPlan 来备份我家的电脑,包括属于我妻子和兄弟姐妹的电脑。CrashPlan 本质上是“永远在线”,不需要为它操心就可以做的规律性的备份,这真是太棒了。此外,能使用时间点恢复的能力多次派上用场。因为我通常是家庭的 IT 人员,所以我对其用户界面非常容易使用感到高兴,家人可以在没有我帮助的情况下恢复他们的数据。mjA码友部落

最近 CrashPlan 宣布,它正在放弃其消费者订阅,专注于其企业客户。我想,这是有道理的,因为它不能从像我这样的人赚到很多钱,而我们的家庭计划在其系统上使用了大量的存储空间。mjA码友部落

我决定,我需要一个合适的替代功能,包括:mjA码友部落

跨平台支持 Linux 和 MacmjA码友部落

自动化(所以没有必要记得点击“备份”)mjA码友部落

时间点恢复(可以关闭),所以如果你不小心删除了一个文件,但直到后来才注意到,它仍然可以恢复mjA码友部落

低成本mjA码友部落

备份有多份存储,这样数据存在于多个地方(即,不仅仅是备份到本地 USB 驱动器上)mjA码友部落

加密以防备份文件落入坏人手中mjA码友部落

我四处搜寻,问我的朋友有关类似于 CrashPlan 的服务。我对其中一个 Arq 非常满意,但没有 Linux 支持意味着对我没用。Carbonite 与 CrashPlan 类似,但会很昂贵,因为我有多台机器需要备份。Backblaze 以优惠的价格(每月 5 美金)提供无限备份,但其备份客户端不支持 Linux。BackupPC 是一个强有力的竞争者,但在我想起它之前,我已经开始测试我的解决方案了。我看到的其它选项都不符合我要的一切。这意味着我必须找出一种方法来复制 CrashPlan 为我和我的家人提供的服务。mjA码友部落

我知道在 Linux 系统上备份文件有很多好的选择。事实上,我一直在使用 rdiff-backup 至少 10 年了,通常用于本地保存远程文件系统的快照。我希望能够找到可以去除备份数据中重复部分的工具,因为我知道有些(如音乐库和照片)会存储在多台计算机上。mjA码友部落

我认为我所做的工作非常接近实现我的目标。mjA码友部落

 mjA码友部落

我的备份解决方案mjA码友部落

使用BorgBackup、Rclone和Wasabi云存储推出自己的家庭备份mjA码友部落

mjA码友部落

最终,我的目标落在 BorgBackup(https://www.borgbackup.org/)、Rclone(https://rclone.org/) 和 Wasabi 云存储(https://wasabi.com/)的组合上,我的决定让我感到无比快乐。Borg 符合我所有的标准,并有一个非常健康的用户和贡献者社区。它提供重复数据删除和压缩功能,并且在 PC、Mac 和 Linux 上运行良好。我使用 Rclone 将来自 Borg 主机的备份仓库同步到 Wasabi 上的 S3 兼容存储。任何与 S3 兼容的存储都可以工作,但是我选择了 Wasabi,因为它的价格好,而且它的性能超过了亚马逊的 S3。使用此设置,我可以从本地 Borg 主机或从 Wasabi 恢复文件。mjA码友部落

在我的机器上安装 Borg 只要 sudo apt install borgbackup。我的备份主机是一台连接有 1.5TB USB 驱动器的 Linux 机器。如果你没有可用的机器,那么备份主机可以像 Raspberry Pi 一样轻巧。只要确保所有的客户端机器都可以通过 SSH 访问这个服务器,那么你就能用了。mjA码友部落

在备份主机上,使用以下命令初始化新的备份仓库:mjA码友部落

$ borg init /mnt/backup/repo1mjA码友部落

根据你要备份的内容,你可能会选择在每台计算机上创建多个仓库,或者为所有计算机创建一个大型仓库。由于 Borg 有重复数据删除功能,如果在多台计算机上有相同的数据,那么从所有这些计算机向同一个仓库发送备份可能是有意义的。mjA码友部落

在 Linux 上安装 Borg 非常简单。在 Mac OS X 上,我需要首先安装 XCode 和 Homebrew。我遵循 how-to 来安装命令行工具,然后使用 pip3 install borgbackup。mjA码友部落

 mjA码友部落

备份mjA码友部落

每台机器都有一个 backup.sh 脚本(见下文),由 cron 任务定期启动。它每天只做一个备份集,但在同一天尝试几次也没有什么不好的。笔记本电脑每隔两个小时就会尝试备份一次,因为不能保证它们在某个特定的时间开启,但很可能在其中一个时间开启。这可以通过编写一个始终运行的守护进程来改进,并在笔记本电脑唤醒时触发备份尝试。但现在,我对它的运作方式感到满意。mjA码友部落

我可以跳过 cron 任务,并为每个用户提供一个相对简单的方法来使用 BorgWeb 来触发备份,但是我真的不希望任何人必须记得备份。我倾向于忘记点击那个备份按钮,直到我急需修复(这时太迟了!)。mjA码友部落

我使用的备份脚本来自 Borg 的快速入门文档(https://borgbackup.readthedocs.io/en/stable/quickstart.html),另外我在顶部添加了一些检查,看 Borg 是否已经在运行,如果之前的备份运行仍在进行这个脚本就会退出。这个脚本会创建一个新的备份集,并用主机名和当前日期来标记它。然后用简单的保留计划来整理旧的备份集。mjA码友部落

这是我的 backup.sh 脚本:mjA码友部落

#!/bin/shmjA码友部落

[email protected]:/mnt/backup/repo1mjA码友部落

#Bail if borg is already running, maybe previous run didn't finishmjA码友部落

if pidof -x borg >/dev/null; thenmjA码友部落

echo "Backup already running"mjA码友部落

exitmjA码友部落

fimjA码友部落

# Setting this, so you won't be asked for your repository passphrase:mjA码友部落

export BORG_PASSPHRASE='thisisnotreallymypassphrase'mjA码友部落

# or this to ask an external program to supply the passphrase:mjA码友部落

export BORG_PASSCOMMAND='pass show backup'mjA码友部落

# Backup all of /home and /var/www except a fewmjA码友部落

# excluded directoriesmjA码友部落

borg create -v --stats /mjA码友部落

$REPOSITORY::'{hostname}-{now:%Y-%m-%d}' /mjA码友部落

/home/doc /mjA码友部落

--exclude '/home/doc/.cache' /mjA码友部落

--exclude '/home/doc/.minikube' /mjA码友部落

--exclude '/home/doc/Downloads' /mjA码友部落

--exclude '/home/doc/Videos' /mjA码友部落

--exclude '/home/doc/Music' /mjA码友部落

# Use the `prune` subcommand to maintain 7 daily, 4 weekly and 6 monthlymjA码友部落

# archives of THIS machine. The '{hostname}-' prefix is very important tomjA码友部落

# limit prune's operation to this machine's archives and not apply tomjA码友部落

# other machine's archives also.mjA码友部落

borg prune -v --list $REPOSITORY --prefix '{hostname}-' /mjA码友部落

--keep-daily=7 --keep-weekly=4 --keep-monthly=6mjA码友部落

备份的输出如下所示:mjA码友部落

使用BorgBackup、Rclone和Wasabi云存储推出自己的家庭备份mjA码友部落

mjA码友部落

我在将所有的机器备份到主机上后,我遵循安装预编译的 Rclone 二进制文件指导(https://rclone.org/install/),并将其设置为访问我的 Wasabi 帐户。mjA码友部落

此脚本每天晚上运行以将任何更改同步到备份集:mjA码友部落

#!/bin/bashmjA码友部落

set -emjA码友部落

repos=( repo1 repo2 repo3 )mjA码友部落

#Bail if rclone is already running, maybe previous run didn't finishmjA码友部落

if pidof -x rclone >/dev/null; thenmjA码友部落

echo "Process already running"mjA码友部落

exitmjA码友部落

fimjA码友部落

for i in "${repos[@]}"mjA码友部落

domjA码友部落

#Lets see how much space is used by directory to back upmjA码友部落

#if directory is gone, or has gotten small, we will exitmjA码友部落

space=`du -s /mnt/backup/$i|awk '{print $1}'`mjA码友部落

if (( $space < 34500000 )); thenmjA码友部落

echo "EXITING - not enough space used in $i"mjA码友部落

exitmjA码友部落

fimjA码友部落

/usr/bin/rclone -v sync /mnt/backup/$i wasabi:$i >> /home/borg/wasabi-sync.log 2>&1mjA码友部落

donemjA码友部落

第一次用 Rclone 同步备份集到 Wasabi 花了好几天,但是我大约有 400GB 的新数据,而且我的出站连接速度不是很快。但是每日的增量是非常小的,能在几分钟内完成。mjA码友部落

 mjA码友部落

恢复文件mjA码友部落

恢复文件并不像 CrashPlan 那样容易,但是相对简单。最快的方法是从存储在 Borg 备份服务器上的备份中恢复。以下是一些用于恢复的示例命令:mjA码友部落

#List which backup sets are in the repomjA码友部落

$ borg list [email protected]:/mnt/backup/repo1mjA码友部落

Remote: Authenticated with partial success.mjA码友部落

Enter passphrase for key ssh://[email protected]/mnt/backup/repo1: mjA码友部落

x250-2017-09-17  Sun, 2017-09-17 03:09:02mjA码友部落

#List contents of a backup setmjA码友部落

$ borg list [email protected]:/mnt/backup/repo1::x250-2017-09-17 | lessmjA码友部落

#Restore one file from the repomjA码友部落

$ borg extract [email protected]:/mnt/backup/repo1::x250-2017-09-17 home/doc/somefile.jpgmjA码友部落

#Restore a whole directorymjA码友部落

$ borg extract [email protected]:/mnt/backup/repo1::x250-2017-09-17 home/docmjA码友部落

如果本地的 Borg 服务器或拥有所有备份仓库的 USB 驱动器发生问题,我也可以直接从 Wasabi 直接恢复。如果机器安装了 Rclone,使用 rclone mount,我可以将远程存储仓库挂载到本地文件系统:mjA码友部落

#Mount the S3 store and run in the backgroundmjA码友部落

$ rclone mount wasabi:repo1 /mnt/repo1 &mjA码友部落

#List archive contentsmjA码友部落

$ borg list /mnt/repo1mjA码友部落

#Extract a filemjA码友部落

$ borg extract /mnt/repo1::x250-2017-09-17 home/doc/somefile.jpgmjA码友部落

 mjA码友部落

它工作得怎样mjA码友部落

现在我已经使用了这个备份方法几个星期了,我可以说我真的很高兴。设置所有这些并使其运行当然比安装 CrashPlan 要复杂得多,但这就是使用你自己的解决方案和使用服务之间的区别。我将不得不密切关注以确保备份继续运行,数据与 Wasabi 正确同步。mjA码友部落

但是,总的来说,以一个非常合理的价格替换 CrashPlan 以提供相似的备份覆盖率,结果比我预期的要容易一些。如果你看到有待改进的空间,请告诉我。mjA码友部落