一个数据库server的问题

dlcat

仔细读了下LZ的需求，我负责任的说，根本不用考虑读写问题。
如果是局域网内网，也根本不用考虑网速等。
现有的设备已经是大炮打蚊子了。

还是多考虑数据库安全问题吧，尤其是备份问题，raid5其实不靠谱，我遇到过两次服务器同时坏了两块硬盘的情况。

未名湖

原帖由 dlcat 于 2012-2-8 15:30 发表
我上一个维护的系统是一个同时长期2000人在线的视频多媒体学习服务器，测试到过万人左右同时在线，再大的极限没测试过，后台数据库记录客户所有的操作动作。

前台是f5分流，后台双视频服务器，只有一个光纤盘柜，几乎无任何读写 ...

大牛，怎样测试万人同时在线啊，是真的有万人同时访问吗？我也在做这方面的测试

dlcat

原帖由 未名湖 于 2012-2-8 15:33 发表


大牛，怎样测试万人同时在线啊，是真的有万人同时访问吗？我也在做这方面的测试

是的，哈哈哈哈哈，我们做公务员培训，面向30来万公务员和事业编，做这个测试，人只多不少啊。

JuJu

关于cache, 我的感觉是不能把cache当救命稻草, 最多的cache也不能解决spindle planning没弄好的问题,首先spindle一定要算对, 设计够才行.

cache 对 peak 时smooth write burst 比较有用, 但是就象前面说的, 如果spindle没弄够, 那么照样是不行的.

JuJu

400GB 如果没有别的系统在共用, 只有你的在用那个SAN, 那很多了.

月亮

原帖由 JuJu 于 2012-2-8 15:41 发表
400GB 如果没有别的系统在共用, 只有你的在用那个SAN, 那很多了.

一共700G的fast cache，说400G给Database server用，300G给file server用，在同一个SAN上面可以做到分开？这个我不太懂，server team的人这样告诉我，我就这样相信。

RAID 10肯定做不到，只能RAID 5或者6，我也觉得不安全，万一同时两块硬盘坏了咋办，又被告知做SAN的时候已经有mirror了，100T的硬盘买来实际能使用的是50T，这也是经理不肯做RAID 10的原因，因为买100T就只能用25T了，如果这样是不是用RAID 5就可以了，因为实际已经相当于在RAID 1基础上再RAID 5了？

月亮

原帖由 dlcat 于 2012-2-8 15:30 发表
我上一个维护的系统是一个同时长期2000人在线的视频多媒体学习服务器，测试到过万人左右同时在线，再大的极限没测试过，后台数据库记录客户所有的操作动作。

前台是f5分流，后台双视频服务器，只有一个光纤盘柜，几乎无任何读写 ...

每天备份肯定有的，每隔几分钟还有transaction log备份，只要硬盘不坏，数据基本丢不了

stevenbian

原帖由 未名湖 于 2012-2-8 15:33 发表


大牛，怎样测试万人同时在线啊，是真的有万人同时访问吗？我也在做这方面的测试

loadrunner压力测试

黑山老妖

原帖由 未名湖 于 8/2/2012 15:33 发表


大牛，怎样测试万人同时在线啊，是真的有万人同时访问吗？我也在做这方面的测试

用script。

老衲

SAN不太懂，但是四个SERVER转一个这个设计思路好像不对头，从数据安全High availability考虑，为什么不用Failover Cluster

未名湖

昨天仔细看了看整个帖子，可能经验少看不懂啊，我说一下我一个客户的配置，
我是这么做的，一个NAS 2T，然后两个2u 的hp server，server上装vmware，然后两个server上共用这个NAS。在Vmware 层面我分了6，7个data storage。然后vmware下面装了6，7个win server。
也就是说，6，7个winserver装在了两台有vm esxi的hp上。然后公用一个nas。
另外，我有单独的一台机子，连接tape storage 做备份。

ls说的四个server转一个，是不是指的四个server用一个san啊。
另外，我发现一件事，我这么操作有个非常好的地方是，如果某个hp down了，另外一台hp直接读取nas里的vmware数据，然后可以启动win server ，维护很方便

未名湖

原帖由 黑山老妖 于 2012-2-9 10:44 发表


用script。

不会啊，及让我写个自动关机，和重启某个程序的 批处理文件你，我还是可以的

JuJu

原帖由 月亮 于 2012-2-9 08:34 发表


一共700G的fast cache，说400G给Database server用，300G给file server用，在同一个SAN上面可以做到分开？这个我不太懂，server team的人这样告诉我，我就这样相信。

RAID 10肯定做不到，只能RAID 5或者6，我也觉得不安全，万一同时 ...

不知道他们告诉你的mirror是什么意思, 你问问他们是到底是哪种mirror? 应该没有在RAID 1基础上再RAID 5这回事的. 不会是remote mirror吧? 如果真的是local 的mirror,那不是已经行了吗? 干吗还需要再RAID 5呢?

RAID 5 用的人也还是很多的, 你的STORAGE里肯定会有hotspare的, 一个硬盘坏了hotspare马上会kick in, 没有那么坏运气两个硬盘同时坏的, 要当心的是很大的那种SATA disk, rebuild 的时间很长, 如果在rebuild 的时候又坏一块就倒霉了, 不过database 一般很少人会用那种SATA disk 的.

那个storage 里面除了 fast cache, 应该还有一般的DRAM cache, 他们有告诉你有多少吗?  

有的storage 可以指定多少cache 哪些host 用(叫cache partitioning). 有的不能, 只能在LUN 上面configure 要不要 enable read cache, write cache, fast cache. 他们这么告诉你, 那大概你们那个storage是可以指定的?

dlcat

如果san做了镜像，很安全了。
硬件环境不遇到极端情况，不必考虑了。

三分硬件，七分管理。

看你们的配置，类似高速公路跑几辆车，这点小数据量，不用考虑塞车问题，想塞，也得数据量够啊。

dlcat

想问下什么数据能有这么大的数据量，一天2~3G，很好奇。

月亮

原帖由 老衲 于 2012-2-9 11:23 发表
SAN不太懂，但是四个SERVER转一个这个设计思路好像不对头，从数据安全High availability考虑，为什么不用Failover Cluster

failover肯定是要用的，以前的4个server都是2 nodes clustered，新的做成3 nodes

[ 本帖最后由 月亮 于 2012-2-9 12:41 编辑 ]

月亮

原帖由 月亮 于 2012-2-9 12:31 发表


failover肯定是要用的，以前的4个server也都是2 nodes clustered，现在放到一个3 nodes clustered上

stevenbian

原帖由 未名湖 于 2012-2-9 11:32 发表


不会啊，及让我写个自动关机，和重启某个程序的 批处理文件你，我还是可以的

可以录的，不用写。

未名湖

原帖由 stevenbian 于 2012-2-9 12:59 发表


可以录的，不用写。

怎么个录法，教教我啊，我愚笨啊

月亮

原帖由 JuJu 于 2012-2-9 11:40 发表



不知道他们告诉你的mirror是什么意思, 你问问他们是到底是哪种mirror? 应该没有在RAID 1基础上再RAID 5这回事的. 不会是remote mirror吧? 如果真的是local 的mirror,那不是已经行了吗? 干吗还需要再RAID 5呢?

RA ...

所谓的mirror是更底层的事情了，好像是在做SAN的时候就mirror了，也就是100T的硬盘，实际能看见能操作，比如做RAID的只有50T，具体是啥技术我也不清楚，等经理回来了问问。

除了fast cache之外，应该还有SAS, SATA。

月亮

原帖由 dlcat 于 2012-2-9 11:49 发表
想问下什么数据能有这么大的数据量，一天2~3G，很好奇。

比如我们有很多部门是做各种分析的，给一个sample，要对这个sample作100个test，每个test会出100个result.这样，一个sample就会有10000个数据，每天都有成百上千个sample进来，数据自然就多了，光是transaction log，有时候每天都要到100G。。。汗。。。

dlcat

oracle还是DB2，这么大数据量，一旦系统崩溃，后果不堪设想啊。

pellet_tt

哇塞 学习了不少知识。。。谢谢LZ的提问。。。。受益匪浅啊。。。。

月亮

原帖由 dlcat 于 2012-2-9 13:30 发表
oracle还是DB2，这么大数据量，一旦系统崩溃，后果不堪设想啊。

SQL

stevenbian

原帖由 未名湖 于 2012-2-9 13:05 发表


怎么个录法，教教我啊，我愚笨啊

下一个loadrunner玩一下就知道了，很简单的

stevenbian

原帖由 月亮 于 2012-2-9 13:26 发表


比如我们有很多部门是做各种分析的，给一个sample，要对这个sample作100个test，每个test会出100个result.这样，一个sample就会有10000个数据，每天都有成百上千个sample进来，数据自然就多了，光是transaction log，有时候每天都要到100G。。。汗。。。

表格分类和用途和使用方式有关，和硬件关系不大。
比如你这些log表就可以单独做一个instance，每天只会增加，备份要求不高，备份的方式不同。

JuJu

原帖由 月亮 于 2012-2-9 13:22 发表


所谓的mirror是更底层的事情了，好像是在做SAN的时候就mirror了，也就是100T的硬盘，实际能看见能操作，比如做RAID的只有50T，具体是啥技术我也不清楚，等经理回来了问问。

除了fast cache之外，应该还有SAS, SATA。

听上去象remote mirror, remote mirror对死硬盘这种事没帮助的.

有点明白了, 似乎你们是用SATA+ fast cache 的经济方案. 如果不放心RAID 5, 又用不起RAID 1-0, 用RAID 6 吧. SATA 没有FC 可靠, rebuild 也慢.

SAS, SATA 是硬盘, 应该还有DRAM cache 的.

老衲

原帖由 月亮 于 2012-2-9 12:31 发表


failover肯定是要用的，以前的4个server都是2 nodes clustered，新的做成3 nodes

2A1P还是3A1P，要不要考虑AS，IS，RS
3个200G有没有OLAP
OLTP有没有PARTITION

月亮

原帖由 老衲 于 2012-2-9 14:05 发表

2A1P还是3A1P，要不要考虑AS，IS，RS
3个200G有没有OLAP
OLTP有没有PARTITION

2A1P，只考虑SQL 本身，OLTP有没有PARTITION对IO, RAID有什么影响？

老衲

原帖由 月亮 于 2012-2-9 14:09 发表


2A1P，只考虑SQL 本身，OLTP有没有PARTITION对IO, RAID有什么影响？

PARTITION SWAP时IO会很爽的，

2A1P只考虑SQL，那就没什么选择，两个ACTIVE node两个INSTANCE啦，每个INstance多DB，SQL server多Instance不能提高Perfromance，只增加Admin工作量。

[ 本帖最后由 老衲 于 2012-2-9 14:44 编辑 ]