“Robots协议：以合同方法产生法律约束力”

本篇文章2594字，读完约6分钟

法治周末见习记者仇飞

即使不是互联网工程师，研究互联网生态的人也很少不知道robots协议。

诞生20年的robots协议几乎受到所有大搜索引擎的保护。 包括最初的altavista、infoseek、后来的谷歌、bing、以及我国的baidu、soso、sogou等。

9月10日，“robots协议和竞争规范研讨会”在北京举行，与会者讨论了robots协议的法律效力、与不正当竞争的关系等。

“黑白列表”警告

已知robots协议形成于1993年、1994年左右。 当时，随着互联网的迅速发展，网上的文案越来越丰富了。 另外，早期的各搜索引擎包括新闻收集网站的迅速发展，出现了很多网络爬虫类，自动收集了网上的副本。

在这种情况下，网站上的所有人都希望捕获自己网站的全部或部分副本，以免保护自己的权利或隐私。 另外，每个搜索引擎都希望合理地获得互联网上的副本。 因此，网站的所有人都和各搜索引擎人员一起通过邮件组开始讨论，共同起草了robots协议。 其核心思想是要求robot程序不要搜索哪个网站的站长们不想直接搜索的副本。

因此，robots协议就像酒店房间的无障碍卡一样，是用计算机语言写的“请不要打扰我”的警告卡，告诉其他公司不要随便抓住新闻。

根据相关数据的统计，我国设置robots协议的网站超过1亿个，流量前100个网站基本上都设置了robots协议。

通常，网站(包括各大搜索引擎制造商的公司网站)使用robots.txt文件实现robots协议，允许或禁止以白名单或黑名单方式捕获各大搜索引擎。 无论是黑名单还是白名单，都是保护网站副本的手段，可以单独采用白名单，也可以单独采用黑名单，或者并用两个。

法治周末记者在记者招待会上得知，现在在国际排名前1000名左右的网站本身，数百家网站设置了robots白名单，声明只有部分大搜索引擎可以捕捉。 在流量排名世界前1000名左右的网站本身，108个网站使用了仅禁止各搜索引擎捕获的robots黑名单。

合同合同方法产生法律约束力

网站现在可以自主选择根据robots协议限制捕获的大搜索引擎，成为领域的常态，robots协议有法律约束力吗？ 这个问题也成为这次研讨会一系列法律问题的要点。

中南财经政法大学原校长、教育部社会科学委员会委员吴汉东在会议上说，中国网络面临着“同质化迅速推进”和“无序化竞争”两大问题。 因为确立和遵守这条规则特别重要。 他认为robots协定应该作为国际惯例来遵守。

并非独一无二，北京大学法学院的张平教授也说，robots协定属于领域惯例和普遍遵守的商业道德，具有法律约束力，能被普通人所认识。 网站对自己有合法权益的产品设定robots协议选择交易对象是网站所有人的自由。

中国法学会知识产权研究会秘书长李明德表示，robots协议是合同、合同，在网站意义上，违反robots协议是违反合同的。

“从法律约束力来说，在网站上设置robots协议意味着在网站和各搜索引擎之间建立了提供互联网服务的法律关系，各搜索引擎访问网站是接受robots协议，根据合同 ”。 武汉大学经济法研究所副所长宁志教授指出。

效力得到海外法院的承认

法治周末的记者观察到，海外法院承认robots协定效力的判决也同样多。 例如2000年，美国联邦法院是ebay对be事件，在根据禁令支持ebay屏蔽be爬虫类主张的美国国内华达法院审理field v. google事件中，robots协议是比较有效的网站权利通行标准

在ebay对be事件中，ebay口头允许be步行90天，之后想得到正式许可，但最终没有达成。 然后be继续爬ebay。

ebaycustomeragreement说:“在客户合同的当前版本中，未经书面许可禁止使用机器人、蜘蛛或其他机器人，或者手动复制网页或包含的副本。”

ebay被起诉后，法院最终支持ebay的临时禁令:未经ebay许可，be禁止使用自动搜索、蜘蛛、爬虫类等类似设备访问ebay的网站，复制ebay拍卖数据。

在field v. google事件中，google允许互联网招聘者获得field在自己网站上发布的51部作品，这些作品以缓存的方式出现在google的各搜索引擎中，field的行为是复制的

最终，法院驳回了原告的诉讼请求，原告作者没有在该网站上设置robots协议，认为允许采用各大搜索引擎。 因为这个各大搜索引擎的获得和采用不是违法的。

一方排除不正当竞争的嫌疑

“各大搜索引擎单方面排除了robots协议，违反robots协议捕获网站副本，构成不正当竞争。 根据“额头出汗”的说法，网站即使对ugc副本( ugc副本)没有版权，也应该拥有数据库一样的权利，其权利必须受到法律保护。 英美国家侵犯这种权利的行为视为侵犯私权。 ”。 吴汉东在研讨会上说。

李明德认为，网站基于自身的快速发展和商业考虑，在设置robots协议时拥有自主决策权，违反robots协议违反商业道德，构成不正当竞争。

北京大学法学院副教授、中国经济法研究会常务副秘书长肖江平认为，网站所有人都有权自主设置robots，限制获取各搜索引擎，这是网站所有人的权利，不是义务。 每个搜索引擎都排除了robots协议的应用，破坏了别人的商业模式，构成了违法。

“在互联网领域，竞争对手比一般客户更承担社会责任，访问和捕获web新闻的行为也必须符合领域的竞争标准。 ”。 北京外国语大学法学院的丛立教授从顾客保护的角度出发，在正常的市场交易中，交易主体选择不同的交易对象采取差别待遇是合理的，除非违反领域竞争规则，网站根据自己的喜好对不同的搜索引擎进行robots专业

■名词解释:

robots白名单:意味着在网站上设置robots协议，由robots.txt文件声明的每个大搜索引擎捕获，禁止其他每个大搜索引擎捕获。 twitter网站的一些副本只允许googlebot、slurp、yandex和msnbot各搜索引擎使用爬虫类进行捕获，其他各搜索引擎不允许捕获。

robots黑名单: robots协议意味着一些大搜索引擎禁止获取网站的副本，其他大搜索引擎可以获取。 如果Microsoft商店设置了黑名单，则无法捕获ultraseek和inktomi search两个大搜索引擎。