如何实现无磁带备份？

turquois

有没有公司完全不用磁带备份？如何保持这些数据在磁盘上5年以上？（要保留每年12个备份）
目前想到的就是把这些数据存到可以本身snapshot和deduplication的storage上，但是细节很模糊，希望知道有没有人已经这么做了，是如何处理的。

sanrunning

Avamar:
EMC Avamar Data Store - The easiest and fastest way to deploy the Avamar solution. The Avamar Data Store combines EMC-certified hardware and Avamar backup and recovery software in a fully integrated, scalable, pre-packaged solution. It eliminates the complexity of working with multiple vendors for hardware, software, and support. As a turnkey solution, the Avamar Data Store significantly reduces on-site setup time, while providing a single point of contact for purchasing, deployment, and service.

http://australia.emc.com/backup- ... avamar.htm#!details

rayki

snapshot的话。用snapvault吧。但是也取决于你的数据量。 不行就考虑用VTL.

turquois

原帖由 sanrunning 于 2012-4-24 11:49 发表
Avamar:
EMC Avamar Data Store - The easiest and fastest way to deploy the Avamar solution. The Avamar Data Store combines EMC-certified hardware and Avamar backup and recovery software in a fully inte ...

多谢回复，不过我不是在找software solution，而是在考虑大量的磁盘备份如何长时间的存储。所有的数据都是有磁盘备份，但是磁盘备份只保留2周到3个月。如果把这些备份再转存到另外的磁盘上，如何压缩到能够保存5年以上？这样做是否安全？

turquois

原帖由 rayki 于 2012-4-24 11:53 发表
snapshot的话。用snapvault吧。但是也取决于你的数据量。 不行就考虑用VTL.

都算上每次备份有18TB左右。不过如何snapvault磁盘备份？已经在用snapshot做SAN备份，但是那些单个的server怎么办呢？
VTL是什么？

sanrunning

Virtual tape lib, it's faster in random read from the tape and it's cheap too.

But  I guess you seek what's the best way to compress the data on tape and where to store those tapes?

turquois

Virtual tape lib..... Thanks. Have been using this tech for years, though it has a different name.
I just started looking at snapvault, up to now, still nothing comparable with the goal...... keep looking......
It's easy to keep months snapshots for recover purpose, but I won't call it reliable and it's hardly to fit into a long term retention solution.
I have heard that some companies do not use Tapes at all now, and I'm curious about how they retain the data for over 5 years, and how quick/big the backup disks grow.

[ 本帖最后由 turquois 于 2012-4-24 13:51 编辑 ]

turquois

Looks like snapvault can do this job.
Does anyone use SnapVault now?

飞飞鱼

只要你用了任何一款主流备份软件，这个都是非常容易做到的，当然你如果要求这个备份必须要offsite保存就是另外一回事情了。

turquois

备份到磁盘是很容易做到。我的问题是要保留大量的secondary copies 在磁盘，如何能够减少磁盘用量？安全性如何？性价比又如何？
如果用snapvault，原始数据（dedupped data)已经有15TB，在这个基础上的增长率会有多少？
希望有现实的例子可供参考。

richsea

你这种需求应该用重复数据删除功能，但是这个一般都是备份软件或者存储硬件实现的，所以，基本上不增家软硬件相实现你的需求，只有一个办法。
。。。。。。。。。。。。。。。。。。。。
。。。。。。。。。。。。。。。。。。。
。。。。。。。。。。。。。。。。。。
自己写程序，呵呵

飞飞鱼

原帖由 turquois 于 2012-4-24 16:50 发表
备份到磁盘是很容易做到。我的问题是要保留大量的secondary copies 在磁盘，如何能够减少磁盘用量？安全性如何？性价比又如何？
如果用snapvault，原始数据（dedupped data)已经有15TB，在这个基础上的增长率会有多少？
希望有现实的例子可供参考。

不大明白你的意思。

如果是要省钱，当然是用磁带备份，几个copy都可以，然后offsite异地保存，这是最普通经济的做法。

你说的secondary cpies是指两个一摸一样的备份，还是指数据的两个版本？

数据写到硬盘上，就是普通的LVM写啊，还怎样减少磁盘用量？

安全性，你指的是物理安全，还是数据安全，这个展开写几页报告都很正常。

性价比？你的baseline是什么？具体要求是什么？

turquois

用磁带，要考虑offsite cost、tape library maintenance。
secondary copy = tape copy。希望能够保存这些数据在磁盘上至少5年以上（60+ copies)。primary copy 只保存1到2个月，但是是daily。
数据写到硬盘上是os level，有的SAN本身支持deduplication，比如NetApp，可以将这些数据进一步压缩——但是我不知道压缩率会是多少。
安全性是指数据安全性。用磁盘保存的话，至少会有一个映像，可以暂时忽略物理安全。这样的话，又多了个问题，要考虑data storage的维护和更新换代。如果整个storage都换掉的，这些数据如何转存?
不是我想这么折腾，是新来的头儿要新气象。

turquois

原帖由 richsea 于 2012-4-25 12:59 发表
你这种需求应该用重复数据删除功能，但是这个一般都是备份软件或者存储硬件实现的，所以，基本上不增家软硬件相实现你的需求，只有一个办法。
。。。。。。。。。。。。。。。。。。。。
。。。。。。。。。。。。。。。。。。。
。。。。。。。。。。。。。。。。。。
自己写程序，呵呵

幸运的是，程序是不用我写了，很多软件和硬件都支持deduplication，也一直在用。我现在是在做research，想找到合适的技术来实现。
硬件是要增加，只是希望能预测每年的消耗。

飞飞鱼

原帖由 turquois 于 2012-4-26 09:31 发表
用磁带，要考虑offsite cost、tape library maintenance。
secondary copy = tape copy。希望能够保存这些数据在磁盘上至少5年以上（60+ copies)。primary copy 只保存1到2个月，但是是daily。
数据写到硬盘上是os level，有 ...

我不大清楚你们公司的规模，新来的头的背景和你的具体职责，只能泛泛的谈下。
通常来讲，你现在问的事情应该是Solution Architect或者Storage Architect考虑的。

数据保存5年以上在金融公司是很普通的要求，业内有很多很多非常非常成熟的解决。

你说的这些是应该由专业的备份软件来实现的，不可能也不可以用个人写的小程序或者自由软件，除非你们IT部门和审计部门的人愿意压上自己的职业生涯签字背书。

你问的其实是两个问题，第一是逻辑上如何实现你所需要的备份；第二是物理上后台支持的硬件。
你得分开来考虑，不然会绕进去。对于逻辑上的备份而言，并不在乎后台支持的是磁盘还是磁带，都可以虚拟的，无法是成本和速度的区别。

你说的“用磁带，要考虑offsite cost、tape library maintenance”，
用硬盘就不用考虑这些了吗？一样的，而且硬盘的故障率高的多。磁带是毫无疑问的廉价解决方法。

你说的“secondary copy = tape copy。希望能够保存这些数据在磁盘上至少5年以上（60+ copies)。primary copy 只保存1到2个月，但是是daily。”
应该是两个不同的概念，有相应的不同词，保存五年以上的是Archive，恢复的时候叫Retrieve;每天进行的是Backup，恢复的时候叫Restore。
通常的做法是按照Business和审计的要求，而不是IT头拍脑袋的要求，在规定的时间里按一定的频率做一个保存5年的Archive，比如说一周一次，一个月一次什么的。
同时每天有一个daily的备份，并设置保存几个版本，多久过期。你不可能保存所有的版本。

金融公司出于审计的考虑通常有更高的要求，比如说每个月做一次Archive，然后同时每个月Archive一次数据库和Applicative的Activity Log，分开保存。如果有需要上法庭，要求恢复某一天的数据，则先Retrieve最接近的前一个月的Archive，然后再根据其后Archive的Activity Log，恢复到指定日期，时间的版本。

所以专业的公司，专业的软件，专业的解决是不可代替的。随便凑一个来用是没问题，但如果出事，就中大奖了。

我的建议是你和你的头坐下来好好开一个会，明确SOR，Statement of Requirement，明确这确实是你们Business的要求，写下记录要求你们头和Business确认。

然后按照确定的SOR，找Solution Architect或者Storage Architect直接介入，写出SOW，Statement of Work，做出High Level的解决方案，算出硬件成本，软件成本，实施成本，维护成本，经过财务部门确认后交给你们的头确认，他通过了再找Business确认。

等所有的都通过了，你们再开始项目，找PM和具体实施的人，做完之后BAU handover。

当然你们也可以把整个部分外包给专业的公司做，或者部分的外包。不要误会，我不是做广告，你们这单我们公司不会接的，呵呵。

turquois

原帖由 飞飞鱼 于 2012-4-26 11:24 发表


我不大清楚你们公司的规模，新来的头的背景和你的具体职责，只能泛泛的谈下。
通常来讲，你现在问的事情应该是Solution Architect或者Storage Architect考虑的。

数据保存5年以上在金融公司是很普通的要求，业内有很多很 ...

这个。。。。。。我从没有说要自己写程序啊？
我的职责是backup and storage。
现在用的是NetApp+Commvault。Commvault已经用了n年了，也是我最熟悉的。NetApp开始用不久，所以对很多feature不了解。
Design一直是我们自己做的，当然要consult所有vendors。
仔细看了看snapvault，觉得应该可以实现我们想要做的事。
另外，我不是在找软件的解决方案。
还有。。。。。。。不好意思，您是哪个公司？

[ 本帖最后由 turquois 于 2012-4-26 12:47 编辑 ]

rayki

snapvault+VTL吧。。  不想用带库的话。

turquois

原帖由 rayki 于 2012-4-26 12:52 发表
snapvault+VTL吧。。  不想用带库的话。

VTL一样会用很多的空间吧？
我想用SnapVault来存储每月的备份，再用SnapMirror在DR site建一个镜像。
你是不是在用snapvault？OSSV操作起来如何？
多谢。

rayki

snapvault的好处是在于你可以使用比较便宜的盘比如scsi，速度慢也不怕。　以前用过ｓｎａｐｖａｕｌｔ。现在倒是没有。　其实都很相似。类似的你情况。　　每个月的备份ｓｎａｐｍｉｒｒｏｒ到了ＤＲ，DR后面就可以挂ｔａｐｅ　或者VTL。Ｎｅｔａｐｐ，也有ｖｔｌ。。　你可以咨询一下。虚拟带库就代替传统的ｔａｐｅ了。。无论如何空间还是要的。加上的ｄｅｄｕｐ．　最多ｃｏｍｐｒｅｓｓ　一下。。好像也没有节省太多。

turquois

原帖由 rayki 于 2012-4-26 16:04 发表
snapvault的好处是在于你可以使用比较便宜的盘比如scsi，速度慢也不怕。　以前用过ｓｎａｐｖａｕｌｔ。现在倒是没有。　其实都很相似。类似的你情况。　　每个月的备份ｓｎａｐｍｉｒｒｏｒ到了ＤＲ，DR后面就可以挂ｔａｐｅ　或者VTL。Ｎｅｔａｐｐ，也有ｖｔｌ。。　你可以咨询一下。虚拟带库 ...

绝对不会用FC的。：） SATA现在很便宜，所以才会有这种考虑。
非常感谢。

gnorud

NETAPP + DATADOMAIN Serve your purpose