第279章 未雨绸缪 (第2/2页)

快照本来是搜索引擎为了应对一些网络连接或是网站失效等问题，将网站内容缓存在搜索引擎服务器上提供给用户，以保障用户搜索体验的方式。
　　
　　但是刻意的滥用，就会变成对原网站的剥削吸血，用了你的内容还不给你流量，把流量带来的各类收益（例如业务推广、广告收入等）全部拦截。
　　
　　也许有人会问，那既然这样，能不能就不让搜索引擎爬取网站内容，这样就没有快照，用户也只能来到网站进行访问。
　　
　　这么干不是不行，可以采取robots协议实现。
　　
　　简单来说，在搜索行业里存在一种robots协议，按照协议规范在网站的目录下部署xt文件，告知搜索引擎的爬虫哪些内容不应被爬取。
　　
　　即便有robots协议，爬虫还是可以爬取网站内容，但是搜索引擎服务却不能将爬取到的内容进行展现，否则就可以直接去法院把搜索引擎公司告得灰头土脸。
　　
　　但由于在PC互联网时代的中后期，搜索引擎就是最大的互联网流量入口，拥有互联网上最强大的话语权。
　　
　　中小网站如果拒绝搜索引擎的爬取，其实和自绝于互联网没啥两样。
　　
　　如果网站的拥有者还希望网站能被人们访问到的话，就只能乖乖接受搜索引擎的爬取，并祈祷搜索引擎公司足够讲道理，不过分使用快照等方式进行截流。
　　
　　其实robots协议里存在白名单的机制，看上去嘉盛可以只允许自家的搜索引的爬虫进行爬取，拒绝其他搜索引擎的爬虫。
　　
　　但实际上这一点也是行不通的。
　　
　　前世为了打击360，百度就曾使用robots协议白名单，禁止360抓取百度百科、百度贴吧和百度知道的内容，而谷歌、Bing、搜狗和搜搜等搜索引擎还可以自由抓取。
　　
　　360认为百度对robots协议的使用具有歧视性而拒绝遵守，百度也因此起诉360不遵守robots协议。
　　
　　本来robots协议作为行业通用守则，虽然不具备明确的法律效力，但是依然非常具有参考价值，百度觉得赢面很大。
　　
　　但双方对簿公堂后，由于百度难以“证明竞争对手的行为具有不正当性”，无法支持采取针对性限制360爬虫措施的正当性，所以最终没能借助法律手段达到阻拦360的目的。
　　
　　2014年8月7日法院对百度诉360案做出的一审判决：回百度有关不正当竞争的诉求，判定其必须修改爬虫协议。
　　
　　同时，法院认为360强制采用网页快照，已经超出网页快照的合理范围，违反了反不正当竞争法，因而判决向百度赔偿70万元。
　　
　　陆道升知道采用robots协议白名单的方式最终不会有效果，也没有兴趣辛苦嘉盛的法务部累死累活就弄个70万的赔偿回来，比起流量损失真不够塞牙的。
　　
　　还是直接采取反爬虫机制来从根子上保护自家的内容比较靠谱。
　　
　　至于说反爬虫机制会不会影响自家搜索引擎的爬取，嘿嘿。
　　
　　说完反爬虫后又讲了一会儿，陆道升完成了对主要想法的说明，坐下喝了口水润了润喉咙。
　　
　　“呼……”
　　
　　“我今天就说这些吧，下面谁还有事情想说的？”
　　
　　一直以来高层会议发言最少的张小龙居然率先开口了。
　　
　　“道升，我有个事想讨论一下……”