利用数据与网络垃圾作斗争

发表者: Matt Cutts, 软件工程师

原文：Using data to fight webspam
发表于：2008年6月27日星期三 下午4:51

 

 

xingxing 通过 Google 阅读器发送给您的内容：

 

 

利用数据与网络垃圾作斗争

于 08-8-5 通过 谷歌中文网站管理员博客 作者：Fa

发表者: Matt Cutts, 软件工程师

原文：Using data to fight webspam
发表于：2008年6月27日星期三 下午4:51

这篇博客是讲述我们如何利用所收集的数据来改善我们的产品和服务的系列文章中的最新一篇。

作为谷歌反网络垃圾小组的负责人，我的职责是确保您得到的搜索结果尽可能的相关与翔实。也许您没有听说过网络垃圾，网络垃圾就是搜索结果中的垃圾结果，这些垃圾结果要么狡猾地骗取了搜索结果中较高的排名位置，要么违反了搜索引擎质量指南。如果您从来没有见过网络垃圾，下面是一个很好的例子：如果您在搜索结果中点击了这样一个垃圾链接，就可能会看到以下画面（点击可浏览大图）。



您可以看到，这是一个没有任何价值的网页。这个例子中的网页几乎没有任何原创内容，还充斥着大量无关链接以及对用户没有多大用处的信息。我们努力确保您不会看到这样的搜索结果。可以想象，如果您点击了一个谷歌搜索结果的链接却最终看到了这类网页会是多么的不愉快。

现在，搜索用户并不会经常在搜索结果中看到这样露骨的、纯粹的网络垃圾。但是，早在谷歌普及之前，在我们找到有效的反网络垃圾的方法之前，网络垃圾就已经是一个大问题了。一般而言，网络垃圾真的令人非常恼火，例如您搜索自己的名字，返回结果的链接却指向了色情网页。而对于许多非常注重获得相关性信息的搜索来说，网络垃圾成了一个严重的问题。例如，一个关于前列腺癌的搜索，获得的结果却充斥着网络垃圾而不是相关信息的链接，这会大大削弱搜索引擎作为一种有用工具的价值。

来自搜索日志的数据是我们用来与网络垃圾作斗争，力求返回更纯净、更相关的搜索结果的一种工具。IP地址和cookie信息等日志数据，使建立和使用指标系统、从不同方面衡量我们的搜索质量（例如索引的规模和覆盖范围、结果的"新鲜"程度，垃圾链接的数量等）成为可能。

每当我们创建新的衡量指标时，很重要的一点是能够审阅我们的日志数据，并利用先前的查询或搜索结果生成衡量网络垃圾的新的指标。我们使用搜索日志实现"时间回溯"，看看谷歌几个月来在用户查询方面改进了多少。当我们建立了一个新的指标能够更加精准地衡量一种新型的网络垃圾时，我们不仅可以跟踪今后我们阻击这种网络垃圾的进展情况，更可以使用日志数据分析我们在几个月前甚至几年前对同一类型网络垃圾的处理效果。

IP和cookie信息非常重要，它们能帮助我们把这种方法的应用范围仅限于"合法"的用户搜索，而不是那些由机器产生的搜索以及其他虚假搜索。举例来说，如果一个自动程序一遍又一遍地将相同的查询发送至谷歌，那么在我们衡量用户看到了多少网络垃圾之前，就应把这些搜索查询剔除出去。所有这一切——日志数据、IP地址和cookie信息——都会让您得到的搜索结果更纯净、更相关。

如果您认为网络垃圾已经不再成为一个问题了，请再仔细想想吧。去年，谷歌的索引体系遭遇了来自.cn顶级域名的网络垃圾的疯狂攻击。一些网络垃圾制造者大量购买廉价的.cn域名，并在这些网站上堆满故意拼错的词汇和色情词汇。资深的用户可能还记得曾经读过几篇与此相关的博客，但绝大多数普通用户甚至可能从来没有注意到这些。普通的搜索用户没有注意到这些异常搜索结果的原因，是因为谷歌及时识别出了这些.cn网络垃圾，并通过一个快速跟踪项目，很好地应对了此类网络垃圾的攻击。如果没有日志数据帮助我们识别问题发生的速度和范围，可能会有更多的谷歌用户受到此类攻击的影响。

理想的情况是，绝大多数用户甚至不需要知道谷歌有这样一个反网络垃圾小组。如果我们的工作做得很出色，您可能偶尔会看到质量不高的搜索结果，但您无需面对恶意的JavaScript重定向、令人反感的色情内容、充斥着无意义内容的页面或其他类型的网络垃圾。我们的日志数据有助于确保我们追踪到网络垃圾的新动向，并且在它们影响您的搜索体验之前采取相应的行动。

 

 

可从此处完成的操作：

• 使用 Google 阅读器订阅谷歌中文网站管理员博客
• 开始使用 Google 阅读器，轻松地与您喜爱的所有网站保持同步更新

 

 

盖茨：让资本制度更具创造性

比尔・盖茨(Bill Gates)近日在《时代周刊》发表文章《让资本主义制度更具创造性》称，世界需要一个更具创造性的资本主义制度来充分利用公司为贫困人群服务的能力。

在经济面临极大不确定性时，人们很容易忘记这样一个事实，那就是资本主义制度令几十亿人的生活得以改善。人们有很多需要，但他们无法以能影响市 场的方式表达这些需要，因此他们陷入贫穷、蒙受本可预防的灾难并且永无机会充分利用生命。在帮助人们走出困境的问题上，政府和非赢利组织负有不可推卸的责 任，但如果它们试图独力做到这一点，那将耗费太长的时间。

拥有让技术创新为贫困人群服务能力的主要是公司，而我们需要一个更具创造性的资本主义制度来充分利用这些能力，以拓展市场力量能够触及的范围， 使更多公司从事于令更多人境况好转的工作并从中获利。资本主义制度已给世界带来了如此之多的好处，我们现在要做的是采取新的方式将更多人带入这一制度。

距离达到这一目标还需要进行很多工作，但好消息是创造性的资本主义制度已经与我们同行。一些公司已经在贫困人群中找到了全新的市场，那就是手机 等能够改变人们生活的技术；其他一些公司则发现了怎样同时做到"做好事"和"把事做好"的窍门。拿我自己的现实生活来举个例子吧。几年以前，我跟我的好 友、U2乐队主唱波诺(Bono)坐在一家酒吧闲聊，说实话，我觉得他当时有那么一点儿犯傻。天色已晚，我们喝了几杯酒，波诺兴致高昂地向我鼓吹一项计 划，内容是让公司帮助消除全球性的贫困和灾难。他不停地拨打一些公司高管的私人电话，还把手机塞给我，让我听他们睡意十足但却热情洋溢的回应。

那天晚上看似疯狂，但在波诺的坚持努力下，"红色运动"不久之后宣告诞生。到了今天，已有Gap、贺曼和戴尔等公司出售红色品牌的产品，并将部 分盈利捐献出来与艾滋病作斗争，甚至连微软也于最近签约红色运动。这是一件伟大的事情，许多人的生命因此得到了拯救。过去一年半的时间里，红色运动为全球 抗击艾滋病、结核病和疟疾基金带去了一亿美元，为贫困国家的近8万人提供了救命药品，帮助160多万人进行了HIV检测。这就是创造性的资本主义制度。

创造性的资本主义制度不是什么新的、重大的经济理论，也不是对制度本身的抨击。它是一个关键问题的答案――如何最有效地传播资本主义制度的优势，向制度外人们提供生活质量上的重大改善？

世界正在变好

汽油零售价格超过每加仑4美元，人们正面临抵押贷款的支付困境，在这样的形势下谈论创造性的资本主义制度似乎有些奇怪。毫无疑问，当前经济正面 临着实际困境，人们认为这种困境很深，应当加以及时的关注。创造性的资本主义制度不是对经济周期相关的短期上行或下行趋势的答案，而是对太多人生活质量无 法改善的长期事实的回应。过去100年里，很多国家中人们的预期寿命大为延长，越来越多的人投票选举、表达自己的观点和享受经济自由所带来的乐趣。即使面 临这样或那样的问题，我们仍处于人类历史上的一个巅峰时期。世界正变得远远好于以前。

现在的问题是，世界变好的速度不够快，而且不是对每个人来说都在变好。有10亿人每天的生活费不足1美元，他们吃不到营养足够丰富的食物、喝不 上干净的水或者用不上电。疫苗和微芯片等令人啧啧称奇的技术创新令许多人的生活变得更好，但对于那些贫困人群来说却形同陌路。这就是政府和非赢利组织应当 涉足的领域。

在我看来，人性中有两个伟大的动力，那就是"自利"和"他利"。资本主义制度在"自利"方面起到了帮助性的、持续性的作用，但代表的只是那些有 支付能力的人；政府扶持和慈善事业则将"他利"导向那些没有支付能力的人。只有政府和非赢利组织履行了它们的职能，提供更多、更有效的扶持，世界才能在消 除仍旧存留的重大不公平问题上继续取得成功，如艾滋病、贫困现象和教育等。但是，如果我们将市场力量导向补充政府和非赢利组织工作的方向，那么这些问题得 到改善的日子将更快到来，并且延续更长时间。我们需要这样一个体系――它能以远好于今天的方式吸引改革者和公司。

新浪科技

《南方日报》:《华为的冬天》与马云的冬天

雪莱说:"冬天已经来了,春天还会远吗?"任正非说:"现在是春天吧,但冬天已经不远了,我们在春天与夏天要念着冬天的问题."前者是浪漫主义的诗篇,而后者是企业家的盛世危言.
任正非写出那篇著名的《华为的冬天》的时候,正是2000年的冬天.彼时,互联网的投资泡沫已经破灭,电信业的产业寒冬正悄然降临,但华为以152亿元的销售额、29亿元的利润位居全国电子百强首位.任正非痛陈危机、直言失败,非凡的前瞻眼光和强烈的危机意识打动了整个IT界,很多企业将该文打印下发给自己的员工学习、讨论.时至今日,《华为的冬天》仍广为流传,为众多的企业人士所研读.

前些日子,另一位企业界的风云人物马云也开始大唱"冬天论".7月底,马云给阿里巴巴集团全体员工发出一封公开信,呼喊"接下来的冬天会比大家想象的更长!
更寒冷!更复杂!"在8月2日的"第二届APEC工商理事会亚太中小企业峰会"上,马云再次阐述"冬天论",声称"全球进入了自二战以来最为复杂最为困难的时期".

对比《华为的冬天》和马云的公开信,我惊讶地发现,两篇文章中的很多地方有着惊人的"巧合
".其中最大的"巧合"就是,两位企业家都有着发人深省的、超乎常人的危机感.任正非在文中写道,"华为公司老喊狼来了,喊多了,大家有些不信了."马云也说,"在二月的员工大会上我说过:冬天要来了,我们要准备过冬!当时很多人不以为然!"

卓越的企业家,自然会比一般人有更为敏锐的市场触角,能够预先感知经济风向的变化.然而,更能体现其卓越的,是其居安思危、未雨绸缪的忧患意识.任正非是一个非常低调的人,甚少在公众面前露脸,但他肯定是一个危机意识至为深重的人:"十年来我天天思考的都是失败,对成功视而不见,也没有什么荣誉感、自豪感,而是危机感.""失败这一天是一定会到来,大家要准备迎接,这是我从不动摇的看法,这是历史规律."

相反,马云是一个非常高调的人,他比谁都懂得如何挑动别人的神经.但是,马云对于危机来临的敏感,相信并非来自于对任正非的模仿,也不是哗众取宠.我真的觉得很奇怪,马云散播"冬天论"之后,为什么会有同行跳出来反驳,甚至有媒体搬出张朝阳、假借马化腾来大唱反调.真的不知道有什么好反驳的―――就算马云说得不够准确,其中的危机意识却是在任何时候都不会过时的.

任正非已经三次为华为敲响了"冬天"的警钟,而最近一次是今年7月.这一时间,与马云的"冬天论"恰好又是一次巧合.这一次,任正非多了几分乐观:"冬天并不可怕,我们是能够度得过去的."而马云说:"冬天并不可怕,可怕的是我们没有准备!"

《金融时报》:李彦宏的台湾“搜索”

新闻来源:Ftchinese.com
来台前，李彦宏在百度上搜索，发现"日月潭"的搜索结果居然超过"台北"，便提出去日月潭。此次台湾之行，这位百度的创始人力图用搜索引擎的理性思维，去建立自己与台湾的感性链接。如果凤凰台风迟两个小时离开台湾，中国互联网第一强人李彦宏的首次台湾行，就可能泡汤！也许是老天眷顾，7月28日当天，台风在下午三点出乎意料提早出海，桃园机场的起降恢复正常运作，两小时之后，百度执行官李彦宏踏着凉鞋，一身轻装便服，站上了台湾土地。

就商业层面来看，李彦宏完全没有动机来台湾。百度在台湾没有办公据点，也不曾雇用任何一位员工，联络管道完全是靠朋友帮忙。百度海外扩张的据点，一直放在超过一亿人口的日本，两千三百万人口的台湾，从来不在考虑名单上，他没有理由在这时排开行程，花上整整五天的时间，冒着台风的风雨来台走一遭，就算要考察，目的地也应该在日本，而非台湾。

主办单位台湾《今周刊》的这次约访，大约从半年前就已经开始进行，他考虑的时间并不长就答应，依这个时程往前推，半年前的百度，应该还未完全脱离他自己口中"最困难的一段时期"。那时，百度的三位最重要的核心干部──营运官、财务官及一位创业伙伴，突然离他而去。他在台湾演讲时坦言："那时候真的非常焦虑，不愿意公开见人，晚上都很难入眠！"但在这人生最艰困的当口，他却答应赴台访问的邀约。爽快允诺成行的背后，李彦宏只提出两个条件，第一、希望见到马英九；第二、想去一趟日月潭。想见马英九，理由很容易想象，一个是台湾新任领导人，一个是中国互联网的龙头，两人同样是美国海归派，一样是浓眉、大眼、直鼻的帅哥，光是站在一起照相，那画面就值得回味！至于想去日月潭，原来是工程师的天生性格使然，原来，行程确定之前，他花了一些时间上自家搜索引擎，查了台湾的资料，惊觉在百度的统计中，查找"日月潭"这个关键词的次数，竟然超过了"台北
"，于是他决定到日月潭走一遭。

几天的近身观察下来，找到李彦宏想来台湾的"真正"原因：他似乎要用自己眼睛"搜索"在百度成千上万笔资料中找不到的台湾印象。

第一天接风洗尘晚宴，安排的是一家高档的牛排餐厅，脸上虽有些许倦容，但他始终维持一贯微笑、少话的低调本色。席间，身旁的公关不时问到那里可以更深刻体会台湾文化，也许是身处传媒产业，在听到：24小时不休息的诚品书店，中山北路的绿荫官道、翻修成小型艺术电影院的前美国大使馆、荤晕不忌的谈话性节目、百花齐放的传媒市场、日本总督府改装之后的总统府、灯火日夜不熄的士林夜市，李彦宏不时点头，甚至有时加入讨论！餐后的专访，李彦宏也有"本土化"
的要求，他认为"高档餐厅"各地大同小异，希望餐后的采访，能移到"台湾风味"的餐厅进行，接待人员选了台湾珍珠奶茶的发源地"春水堂"，结果宾主尽欢。

但就像百度渐进式的发迹过程一样，他对台湾的感觉，也属于温火慢热型！愈多"信息"输入脑内，戒心一点一点降低，人情的温度也才慢慢释放出来！

第二天上午，脑中的搜索引擎似乎热机完毕，开始大量输入资料，站上全球最高大楼101观景台时，他一一询问台北的各式"硬"信息：人口、地理位置、气候，具细弥遗，甚至连台湾空气污染的指数都不放过。下午的行程，是此行的重头戏，会见马英九。本来主办单位来一直担心，台风过后，马英九可能忙于勘灾，会面受到影响，不排除取消，后来得知府方确实取消了不少既定行程，但仍保留了与李彦宏的会面，只是见面时间从上午换到了下午，马英九赴东部戡灾完毕，下午进了办公室，年龄相差二十岁的两人，在傍晚五点终于见上了面。

乍一看，两人眉宇间确有七分神似，也许是这股似曾相识的感觉，礼貌性的寒暄很快就被"话家常"的幽默打破。虽然对百度名号已有耳闻，但马英九一问之下才知道，原来李家跟马家一样，也有两位千金宝贝，由于男主人平时忙于工作，两家都是老婆负责张罗大小事，马英九还直开玩笑说："这样说来，我们都是在女人堆中长大的呀！"会面时间虽只有三十分钟，但努力促进两岸经济交流的马英九，不忘问一句："百度何时会来台湾投资呀！"初来乍到宝岛的李彦宏只能用礼貌性"研究看看！"回答。马英九最后还邀请李彦宏于十月再度来台，参加一年一度举行的"万人横渡日月潭"大赛，希望两人下次能在日月潭再见一面。

拜会完毕，李彦宏马上赶到台湾大学进行来台唯一的演讲。正式开场前，台大教授"脱稿"畅谈Google成功之道，已经坐在台上的李彦宏没有半点愠色，一直微笑以待。主戏上场，他的领导魅力充份展现，五十分钟的演讲，没有任何演示文稿（Power
Point）辅助，李彦宏把百度七年来发展过程，娓娓道来，少有窒碍，幕僚先前谨慎琢磨准备的讲稿，完全派不上用场。

为了多了解台湾民众的看法，剩下的一半时间，全留给观众提问。题目五花八门、生荤不忌。有一位赚到百度股票资本财的学生，亲自感谢李彦宏，帮他付了留美的昂贵学费；有人呛辣直指百度没照顾高端使用者，一些较专精艰深的问题，在百度上完全找不到答案；还有的人当面询问百度何时会到台湾征才，他想亲自递上履历表。提问时间虽不算短，但因为发言太过踊跃，结束前，主持人今周刊发行人谢金河的手上，还剩下一大迭的提问单。

"埋头做！不说话！"一向是李彦宏的行事风格，来台的行程也极为低调，除了这场演讲外，他不愿举行任何记者会，更拒绝所有的公开活动。也许是被热情感动，后来他竟然改变主意，愿意举行简单记者会，让记者公开"搜索"他脑中的台湾印象。会中，最多的问题集中在投资台湾，虽然他对到台湾扩展仍然持保留态度，但口风从一开始的"机会可能不大"、"可以研究看看"一直松动到"也许在科技上有合作的机会！"

这次来台，他说，四川大地震之前，几乎很少人知道汶川在那里，他自己都是透过互联网了解当地的情况，后来更因为虚拟社群的力量，找到了让直升机降落的空地，最后才能将物资顺利送入灾区。对于他来说，认识台湾的过程，跟汶川几无二致。

百度强大的搜索力量，虽然让李彦宏在千里之外的北京，知道了台北、日月潭甚至马英九，但台湾人情互动的热度、握手寒暄时的力度、送往迎来的温度、餐馆中吵杂的程度，甚至空气中的湿度，永远找不到可供搜索的关键词，百度引擎虽强，却半点线索都找不到，得飞越海峡自己体会。这次的台湾之行，李彦宏用搜索引擎的理性思维，建立自己与台湾的感性联结，算是难得的第一步。

搜索引擎及社群联结，创造了百度王朝，如果下一步，他能仿照百度发展过程，把自己脑中与台湾的情感联结，扩大到社群，那互联网的力量，也许真能在两岸人民互动上，产生意想不到的效果！

Radware称发现Firefox 3存在重大漏洞

新闻来源:新浪科技
业务智能网络集成应用解决方案提供商Radware宣布， Radware发现在Mozilla公司推出的最新网页浏览器Firefox
3中存在漏洞，该漏洞的存在可引发用户遭受DOS拒绝服务攻击。
Radware安全运营中心的漏洞研究小组发现，Firefox的漏洞会导致系统崩溃，使Firefox浏览器中未保存的信息丢失。Radware安全升级服务对此迅速做出了反应，该服务可通过在大面积爆发前，有效保护用户的基础网络架构。

　　Radware安全运营中心经理Itzik
Kotler表示："我们认为，Mozilla公司在安全特性方面，一直在持续不断的对Firefox
3进行投入，但我们仍然非常容易通过基于'模糊逻辑判断'的漏洞检测技术，检测到该产品的漏洞。这非常清楚的表明，零时漏洞攻击在公共领域势头凶猛，同时也使越来越多的公司在升级或部署网络应用时会将安全防护提到最重要的位置上来。"

Radware漏洞研究小组发现，攻击者利用"社会工程学"或者"向某个网站置入恶意代码"的方式诱使一个Firefox
3的用户打开一个用特定合法html标签编写的html页面时，此漏洞可使得浏览器崩溃。

Radware还认为该漏洞将影响 Firefox 3.0以及对升级版本 V3.0.1的发布也会有轻微影响。

谷歌音乐搜索灵光闪现

今天中午，进入谷歌音乐搜索的域名（www.g.cn/music），非常惊奇地发现，这个页面已经可以访问。不过，过了几分钟后，又还魂到之前的 404界面。以下是界面截图。谷歌音乐搜索的首页，是“新歌一百强”的列表页面，左上角是谷歌常有的导航，右上角是“打开播放器”的链接，Logo使用的 是普通Logo，并未制作频道 Logo。





在谷歌音乐搜索中，谷歌提供了试听、下载、歌词和彩铃服务，其中，试听的链接地址是www.google.cn/music/top100/， 下载和歌词都是g.top100.cn，而彩铃则将用户引导至中国移动12530的页面。

在谷歌音乐搜索中，可以根据歌手、歌名和专辑名进行搜索。在顶部的搜索框下方，有三个下拉菜单进行导航，分别是歌曲排行榜：歌曲200强、新歌 100强、摇滚歌曲、影视金曲、民族歌曲；歌手排行榜：歌手100强、乐队组合、男歌手、女歌手、大陆歌手、港台歌；专辑排行榜：专辑100强、新碟 100强、摇滚专辑、影视原声大碟、中国民乐专辑、新歌100强。

搜索的效果如何？当我搜索“周杰伦”时，只有周杰伦与温岚合唱的一首《屋顶》，周杰伦与李玟合唱的《刀马旦》，以及歌手信息，其他，都是与周杰伦不怎么有关联的。这说明，谷歌尚未与周杰伦歌曲的版权公司谈判完成。在谷歌音乐搜索的帮助文档（现在也无法打开了）中，谷歌对此说明：若无法搜索到音乐，说明谷歌的合作伙伴巨鲸音乐网尚未与这家唱片公司谈判成功，“请与巨鲸公司联系”，-_-|||，让用户与巨鲸公司联系干吗？！

我猜想，谷歌公司一定很郁闷，偶尔的一次公开测试，就被人不小心看到了，而且是被我看到的，哈哈～不过估计也会是另一种心情，有人帮忙炒作了。只是苦了我，要被网友骂为“和kissbaidu”一样的献媚博客了……

×除注明外均为原创,若需转载或引用,请注明来自与G共舞、本文链接及本声明.

Google翻译中心即将上线

Google翻译中心，类似于译言，一个提供人工翻译的地方，即将上线。我们发现，在Google的robots.txt文件里，已经加入了这个翻译中心。
这是Google对翻译中心的介绍。