返回

超级U盘

首页
关灯
护眼
字体:
第十九章 图解(第3/4页)
   存书签 书架管理 返回目录
,马竞苦苦追寻的那个肇事司机。

    服务器版的蜜蜂发布器改进了整站下载机制,对于有价值文本文件的搜寻效率大大提高,不再需要一股脑儿下载所有文本文件了。其行为也更加像是搜索引擎的网络蜘蛛程序。

    搜索引擎借助网络蜘蛛程序自动下载网络上的各种网页内容,并为其建立索引和排序。用户输入关键字进行检索时,搜索引擎就从自己服务器的索引中搜索结果。所以没有任何一家搜索引擎可以真正搜索全网,它们实际上只是搜索自家网络蜘蛛“爬”过的内容,天然具有一定的滞后和不完整。所以越是大公司的搜索引擎越是好用,因为它们的索引数据库更加全面。

    所以作为全球搜索引擎巨头,谷歌也拥有全世界最多的服务器,超过45万台,为全球超过80亿网页建立了索引(2005年),早在2004年,谷歌保存的索引数据就已经超过了5pb(1pb=1024tb,1tb=1024gb)。

    有意思的是,谷歌45万台服务器中的大多数都是使用diy配件组装起来的pc(个人电脑)级别的廉价服务器。没有使用性能更稳定,价格更高昂的服务器专用主板和硬盘,而是大量使用个人电脑配件,因此被人戏称是全球diy电脑最大消费者,也是民间用电大户。

    当然普通个人电脑配件的稳定性自然没有更加昂贵的服务器配件效果好,因此谷歌使用大量备份镜像,系统会根据各台服务器的负载情况自动分配任务,保证每台可用服务器的负载都在安全范围内,并且及时排除死机出错设备的影响。

    谷歌自己设计了gfs/mapreduce/bigtable/这三个架构在linux之上的平台,将其45万台廉价服务器巧妙的组织起来,构成了这个星球上最强力的超级计算机集群之一。

    gfs谷歌文件系统将数十上百亿网页的索引文件集中存放,形成一个个64mb的文件块,通过分级管理,大大简化了海量文件的搜索管理难度。

   

-->>(第3/4页)(本章未完,请点击下一页继续阅读)
上一页 目录 下一页