2014年10月，百度诉奇虎360不正当竞争一案在北京市第一中级人民法院开庭审理。百度方面的诉讼理由称，360搜索在未获得百度公司允许的情况下，违反业内公认的Robots协议，抓取百度旗下百度知道、百度百科、百度贴吧等网站的内容，已经构成了不正当竞争，向奇虎360索赔1亿元。
此案核心是搜索引擎Robots协议，也称为爬虫协议、机器人协议或蜘蛛协议。这个协议对搜索引擎抓取网站内容的范围作了约定，包括网站是否希望被搜索引擎抓取，哪些内容不允许被抓取，于是网络爬虫依据这个协议的内容自觉来抓取或者不抓取这个网页的内容。自推出以来，Robots协议已成为网站保护自有敏感数据和网民隐私的国际惯例，在国际上得到普遍尊重和使用。
