我想写个类似facebook的东西

乱码

原帖由 bulaohu 于 2011-3-29 10:35 发表
不知道，不过你看看Google的就知道了，这种规模的数据存储肯定不是这些常见的DB能handle的，肯定有自己的custom solution

用的很多，2010年初的时候好像看到某个人的blog，Cassandra出局了。

http://stackoverflow.com/questio ... e-does-facebook-use

http://royal.pingdom.com/2010/06/18/the-software-behind-facebook/

http://stackoverflow.com/questio ... -database-structure

fatfish_cc

我一直很奇怪，google用的是什么办法，能够让那么多网页，用户一搜索，很快就能返回所有内容。

这是怎么处理的呢？

nikita17

原帖由 fatfish_cc 于 2011-3-31 22:22 发表
我一直很奇怪，google用的是什么办法，能够让那么多网页，用户一搜索，很快就能返回所有内容。

这是怎么处理的呢？

有种工具叫spider

greed

搜索得几部分：
1. spider：就类似一蠕虫病毒，只是它的目的是顺着网页里的地址等信息顺藤摸瓜获取能够得着的所有信息。类似Teleport 的离线网页浏览器就是个简单的spider。
2. 建立索引：得到海量信息后就要分析，进行合理的分类并产生各种索引包括与信息内容无关的客观索引如：作者，年份等等。另外对信息进行加权来区分相关程度。中文信息查询难点在简单索引中于中文不能象英文那样用空格分割，要对词语进行切分。这点可以参考微软拼音等整句拼音输入法。随着输入字母增加，推荐的组合也在不停变化。最有意思的是有人测试过一般情况下，输入 “ta” 会显示“他”；可当输入“ta huai yun le”，输入法会自动用显示“她”。当然搜索引擎的分类不会这么复杂，毕竟海量的信息负荷太大。
3. 检索：根据用户的查询在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并实现某种用户相关性的反馈。

基于海量的数据，必然要用分布系统才能支持，无论spider，索引，检索都可以建立在分布环境下。

dcc82

原帖由 nikita17 于 2011-3-31 23:00 发表

有种工具叫spider

他指的是instant search,和spider完全是两码事
详情请看google自己的blog
http://googleblog.blogspot.com/2 ... -behind-scenes.html

fatfish_cc

原帖由 dcc82 于 2011-4-1 11:46 发表


他指的是instant search,和spider完全是两码事
详情请看google自己的blog
http://googleblog.blogspot.com/2 ... -behind-scenes.html

我不是问instant search，也不是问spider，只是觉得有些惊讶，数据量这么大的情况下，google search为什么仍然这么快

greed

很大一部分原因是它索引，分类和缓存机制做得好。加上分布式系统，以致每次查询都是基于相对小的信息集上并且可以借分布系统进行并行查询。另外，缓存在这类网站上也很普遍。所以越popular的查询反应得越快。

fatfish_cc

原帖由 greed 于 2011-4-2 09:14 发表
很大一部分原因是它索引，分类和缓存机制做得好。加上分布式系统，以致每次查询都是基于相对小的信息集上并且可以借分布系统进行并行查询。另外，缓存在这类网站上也很普遍。所以越popular的查询反应得越快。

非常感谢！！！

audream

我同学从幼儿园读到美国CS PHD，至今也只是Facebook里Research team的其中一分子而已。LZ一上来就要做managing director，还要仿人家的东西，能没有难度吗？1年太短了。

fatfish_cc

原帖由 audream 于 2011-4-2 21:12 发表
我同学从幼儿园读到美国CS PHD，至今也只是Facebook里Research team的其中一分子而已。LZ一上来就要做managing director，还要仿人家的东西，能没有难度吗？1年太短了。

谢谢！看来我需要3年 :)

准备先把zend，php玩玩熟

skyrocket01

佩服佩服

月亮

呵呵，楼主可以出钱让别人写

fatfish_cc

原帖由 月亮 于 2011-4-3 07:20 发表
呵呵，楼主可以出钱让别人写

暂时还不行... 想法毕竟没那么成熟，找人写也是浪费钱 :)

刚刚装好了zend framework, studio, server。现在在试试基本功能比如svn啥的...

反正路还很远。

网上说那个douban.com是那个杨勃自己在starbucks写了半年写出来的。不知道真假？也不知道他原来水平多高？

接下来要学习zend framework怎么用，PHP和MySQL都要学...

就是平时要上班，有时候很忙，不怎么有时间学习...唉

[ 本帖最后由 fatfish_cc 于 2011-4-3 16:54 编辑 ]

fatfish_cc

需要把有限的钱用在刀刃上...当然，浪费的是时间。好在目前想法还不明晰，慢慢混沌着先

gloucester

很好奇，LZ目前是做什么工作的？

bearjoanne

同学，佩服你不怕打击的精神，加油啊！回头我第一个注册，要求vip级别；如果有注册号码，那我要求是88888888!

fatfish_cc

原帖由 gloucester 于 2011-4-3 16:41 发表
很好奇，LZ目前是做什么工作的？

IT，不过非coding... :)

fatfish_cc

原帖由 bearjoanne 于 2011-4-3 16:55 发表
同学，佩服你不怕打击的精神，加油啊！回头我第一个注册，要求vip级别；如果有注册号码，那我要求是88888888!

其实打击不打击无所谓。

其实成不成也无所谓。

就当玩玩儿好了... 不然人生没有追求，实在无聊得紧。

最重要的是，自己能喜欢一个事情并且坚持下去。总比声色犬马强吧？

玩玩儿先。

fei00_00

你看是WINDOWS, 还是FACEBOOK； 是QQ还是开心网， 是找论坛上的人问出来的

gloucester

原帖由 fatfish_cc 于 2011-4-3 16:55 发表


IT，不过非coding... :)

支持你的想法，但你主要的卖点在哪里？单从技术上来说也许不是那么遥不可及，国内市面上那么多社交网站国外facebook, linkedin 等如此庞大的用户群，用户为什么用你的社交网站？除非有自己独特的地方

fnever

支持LZ 如果加入一些新的idea 就更好了

新风雨

punchface.com 给LZ。。。。。。。。。。。。。。

fatfish_cc

原帖由 gloucester 于 2011-4-20 09:56 发表


支持你的想法，但你主要的卖点在哪里？单从技术上来说也许不是那么遥不可及，国内市面上那么多社交网站国外facebook, linkedin 等如此庞大的用户群，用户为什么用你的社交网站？除非有自己独特的地方

是的，没有新的idea肯定没有出路。

caesar6668

Mark!!!

beta_caojin

有钱有时间做嵌入平台的智能家电吧，未来五年移动计算和家电智能化是趋势。SNS已经写烂了。

rainyday

楼上各位都对网络很有研究哦

kone_zhang

或许ＬＺ已经有了一些有创意的想法，先自力更生做出一个基本的框架出来，看一看反响，规模扩大带来的技术问题可以在扩大的过程中逐步解决，大家也不要总是泼冷水啊

fatfish_cc

哈哈，辛苦了2个多月，偶的第一个网站即将上线了（月底）。

自己用PHP+SQL写的。

虽然很简单，也是自己一点点写出来的，累坏了。和facebook啥的也完全不搭界。——那对于我来说也还太...太...复杂了。

先把这个弄上线，然后清醒清醒，想想下一步干什么。

Frankman

不错！ 如果你有什么软件方面的技术问题，我或许能帮你。谋事在人，成事在天。加油！

[ 本帖最后由 Frankman 于 2011-7-16 20:06 编辑 ]

Anihc

期待中:)