聊一聊clustered setup

porcorosso

看看IT专业论坛有点静了，发个贴大家聊聊。

主题为“我要一个可以服务中美新澳英加的网站，主要以搜索为主。您可以当它是物业搜索引擎，方便理解。”

那问题来了：

• do you chooose Java, .Net, PHP, or others?
• which OS do you prefer if JAVA/PHP
• do you use load balancer? which one?
• do you want to go cloud service or host in house?
• do you plan to use CDN?
• how many active / passive application servers?
• do you use cache engine? redis, memcached, elasticsearch, or something else? how many instances?
• how many database servers do you use?
• how do you overcome session synchronization issue?
• what do you plan for disaster recovery?
• 你来问问
  

这些是完全概念性的问题，但是如果您参与过类似的工程，不妨分享一下经验？

怎么回帖都好，马甲，就是想搞搞人气，冲个十来页的回帖

YugaYuga

友情回帖

楼主这贴是本坛第一帖

porcorosso

反正足迹IT战友吝啬的程度众人皆知，偶尔版主发帖就一堆跟屁的。我想改改现状，聊聊高级别些的。看来我还是错了，把自己想得太伟大。

好吧，就看谁把我举报了就删帖吧。反正也不是第一次了。

bfox

刚好做过搜索相关的工作。
如果你决定做搜索， 用什么开发语言其实并不太重要， 反正都是rest end point.

java /php 不是os, 是programing language.

现在的full text search engine 只有solr or elastic seach . 我都用过， 感觉两个都不错， elastic search 相对更新，没有历史包袱，更容易上手。 solr 更成熟。 各种analyer都有现成插件。

如果你准备做搜索，应该就是这两个里面选一个。cdn, load balancer 之类， 如果你准备做full text search,其实都用不上。 这些都是cache static cotent. dynamic content. 它们没什么帮助。

mzbac

这跨度 从开发谈到运维 能谈谈的人估计没空上足迹

scoopy

mzbac 发表于 2015-9-2 00:05
这跨度 从开发谈到运维 能谈谈的人估计没空上足迹

同感，看板砖飞的，房价要涨。

Fernando

服务中美新澳英加的网站 太高大上了

riveryc

do you chooose Java, .Net, PHP, or others?
Both OK, but Java Dev looks more expensive... .Net Dev is cheaper, but Environment is expensive. PHP is not a bad choice here.

which OS do you prefer if JAVA/PHP
Budge: CentOS
Or RHEL

do you use load balancer? which one?
F5 is the one I'm currently using, and I'm happy with it.

do you want to go cloud service or host in house?
Cloud Service will be better

do you plan to use CDN?
Considering 中美新澳英加....Yes...or maybe multi-region setup in Cloud.

how many active / passive application servers?
Depends on the design of application itself.

do you use cache engine? redis, memcached, elasticsearch, or something else? how many instances?
Depends on how big this website will be...

how many database servers do you use?
At least 2, make an AG.

how do you overcome session synchronization issue?
No...Any example? I'm pretty interested in this.

what do you plan for disaster recovery?
Dedicate link to another region, if using cloud service, the region can be different country.
Daily data snapshot mirror


你来问问
how do you design your web application scalable?
If there is a batch server, how to do make it highly available?
what will you do to make your environment can afford a chaos monkey running around?



小弟经验不够丰富, 请各位大神指点.

fuleinist

• do you chooose Java, .Net, PHP, or others? AWS
• which OS do you prefer if JAVA/PHP AWS
• do you use load balancer? which one? yes, AWS
• do you want to go cloud service or host in house? yes AWS
• do you plan to use CDN? via AWS
• how many active / passive application servers? depend on AWS
• do you use cache engine? redis, memcached, elasticsearch, or something else? how many instances? depend on DWS
• how many database servers do you use? depend on AWS
• how do you overcome session synchronization issue? AWS
• what do you plan for disaster recovery? AWS
  

我是来捣蛋的

turquois

都在说cloud service,想问问有没有人亲身用过，特别是database server。希望能知道用起来performance怎么样？应该是用tier one storage，那么性价比如何？

浮云马

do you chooose Java, .Net, PHP, or others?
取决于你的team skillset和service provider

which OS do you prefer if JAVA/PHP
取决于你的service provider

do you use load balancer? which one?
取决于你的网络环境和service provider

do you want to go cloud service or host in house?
取决于你的skillset和需求

do you plan to use CDN?
取决于你的流量和网站使用的技术

how many active / passive application servers?
取决于你的流量和SLA

do you use cache engine? redis, memcached, elasticsearch, or something else? how many instances?
取决于你的流量和SLA

how many database servers do you use?
取决于你的流量和SLA

how do you overcome session synchronization issue?
尽量避免用session

what do you plan for disaster recovery?
取决于你选择的技术

。。。说了等于没说

yolandalinz

AWS 的 RDS, Lambda, DynamoDB, S3， Cognito 和 SNS， CloudFront 不就是用来解决这些问题的么？我们现在用的很好啊，除了有点贵

porcorosso

浮云马 发表于 2015-9-5 10:07
do you chooose Java, .Net, PHP, or others?
取决于你的team skillset和service provider

"尽量避免用session"

为什么？

symeteor

do you chooose Java, .Net, PHP, or others?
我个人倾向于php，但是.net也可以

which OS do you prefer if JAVA/PHP
php的话必然选freebsd。。原因我是FB死忠。。

do you use load balancer? which one?
nginx解决

do you want to go cloud service or host in house?
这个问题的本质在于你有多少流量。流量大的话用cloud其实成本远超过in house

do you plan to use CDN?
这个是必须的

how many active / passive application servers?
具体情况具体分析啊亲

do you use cache engine? redis, memcached, elasticsearch, or something else? how many instances?
同上。。

how many database servers do you use?
同上

浮云马

porcorosso 发表于 2015-9-7 09:26
"尽量避免用session"

为什么？

简言之，session不scalable。说的复杂点，session是stateful的，stateful就会导致一堆麻烦。即使是简单的两个server load balancing，你都会遇到share session这个问题。

交易人生

这种东西先看requirements ，是不是0 redundancy，目标是多少用户， budget是多少。windows/.net看着是付费的，但开发周期短，还是便宜的；cloud好过in-house hosting，如果在aws做cluster， 需要7个servers, 2 web servers, 2 app servers, 2 db servers ，1个做balancer。search大部分是readonly ，正好用caching ，在app servers上各建一个cache，用appfabric就可以；如果把iis 的session data 放到db里，就能解决sync issue. 要做schedule 的db backup， daily or weekly。

lubber

浮云马

交易人生 发表于 2015-9-8 10:56
这种东西先看requirements ，是不是0 redundancy，目标是多少用户， budget是多少。windows/.net看着是付费 ...

load balancer有elb，省了一个server，db有rds，省了两个server，web和app服务器有api gateway + lambda, 又少了四个server

交易人生

浮云马 发表于 2015-9-8 22:36
load balancer有elb，省了一个server，db有rds，省了两个server，web和app服务器有api gateway + lambda, ...

最后是 0 server

交易人生

浮云马 发表于 2015-9-8 22:36
load balancer有elb，省了一个server，db有rds，省了两个server，web和app服务器有api gateway + lambda, ...

我说的balancer 实际上就是指的elb，以前用过，现在没用。如果用windows，web, app和db servers 省不了，真想省钱，可以把db和app server合并，出于安全考虑，web要单独拿出去，再想省钱，不要cluster，这样的话，2个servers ，elb也省了。

浮云马

交易人生 发表于 2015-9-8 23:35
我说的balancer 实际上就是指的elb，以前用过，现在没用。如果用windows，web, app和db servers 省不了， ...

不只是省钱，少个server就减少了运维成本，AWS的发展方向就是serverless architecture

porcorosso

浮云马 发表于 2015-9-8 22:36
load balancer有elb，省了一个server，db有rds，省了两个server，web和app服务器有api gateway + lambda, ...

这个有意思！

交易人生

浮云马 发表于 2015-9-9 08:05
不只是省钱，少个server就减少了运维成本，AWS的发展方向就是serverless architecture ...

现实和理想有差距，1）很多用户还是中意自己的server ，尤其是金融领域2)如果在.net/windows上开发，用service bus的话，应当上windows azure。

虚若无

浮云马 发表于 2015-9-7 21:25
简言之，session不scalable。说的复杂点，session是stateful的，stateful就会导致一堆麻烦。即使是简单的 ...

曾经试过用F5来LB两台服务器跑J2EE/Tomcat,理论上F5可以支持sticky session,就是说如果这个session是在一台服务器上开的，此session的后续请求都应该自动转到那台服务器上。 可惜的是测试的时候发现完全乱了，因为是生产系统，没办法做过多的测试，只好放弃。

kevin2005

这是要自己创业，还是面试题？

如果是自己创业，就用最省心，最便宜，自己最熟悉的技术先弄出来

至于什么load balancer，cache啊什么的，等到那一天才说吧，反正99%的startup都走不到这一步

Fernando

这种网站已经有成熟的架构了，copy一个就行了

porcorosso

Fernando 发表于 2015-9-11 12:20
这种网站已经有成熟的架构了，copy一个就行了

求解

鱼羊鲜

中文搜索还是英文啊 差别很大啊

YugaYuga

Is this thread dead yet? :)

porcorosso

haha i think it is.