你逛网站碰到的‘闲人免进’，其实就是robots协议？
上周帮一个做独立摄影的朋友调网站后台，翻到根目录的时候一眼看到那个叫robots.txt的文件，点开第一行就写着‘/private/ 目录下的所有内容，禁止所有爬虫访问’。
朋友挠挠头说，这是他去年刚加上的——之前有个做AI训练数据的公司，悄咪咪把他存在私域里的客片全爬走了，爬完还拿来当模型训练的素材，连个招呼都没打。
我当时盯着那几行简单的英文，突然反应过来，这玩意儿不就是我们从小见惯的，小院门口挂的木牌子吗？
这东西，本质就是网站门口的提示牌
很多人第一次听robots协议，总觉得是啥很高深的网络技术，其实真的不是。你大可以把每个网站都想象成一个开在网上的小铺子，铺子里有对外开放的展示区，有老板堆杂物的储物间，有专门给老客户留的专属休息区。而robots协议，就是老板站在铺子门口，跟那些天天在大街上晃悠的“爬虫小编”说的话——哪些区域你可以随便进，随便拍，拍了拿去给大家介绍我们家的东西也行；哪些区域你别进，进去了也拿不到啥有价值的内容，甚至可能打扰到我们的老客户。
就像朋友那个摄影站，他写的禁止爬取的/private/目录，就是他存所有客户原片、预约记录的私人文件夹，本来就不是给普通访客看的，自然要跟爬虫打个招呼，别往这地方钻。
没有锁。
没有密码。
没有防火墙。
就是明明白白的一句提醒。
那些每天在互联网上挨家挨户敲门的爬虫程序，本来的工作逻辑也很简单：看到网站门口立了这个提示牌，就照着牌子上写的内容转，不让进的地方就绕路，让进的地方就把里面的好看内容整理出来，推给搜索引擎后面等着找信息的普通人。
这事儿本来是个双赢的事儿——网站能拿到免费的曝光，找信息的人能更快找到自己要的内容，爬虫也能完成自己的工作KPI。
但是架不住总有人不把这个牌子当回事。
别把提示牌当带锁的防盗门
之前有个做爬虫的哥们跟我喝酒，聊到之前接的一个奇葩甲方。甲方要爬一个小众独立书店的线上书库，哥们打开人家的robots.txt一看，明明白白写了“全站禁止所有商业爬虫访问”，当场就跟甲方说这活儿不能接，爬了容易惹官司。结果甲方当场就笑了，说“不就是个破文字提示吗？你直接把爬虫的身份伪装成普通访客，绕过去不就完了？真当这玩意儿有法律效力啊？”
哥们当时直接把手机里存的之前的不正当竞争判决书甩到桌上——那案子就是个爬虫公司，硬爬了别人网站明确禁止抓取的付费专栏内容，转头把这些内容整合到自己的平台上卖钱，最后赔了人家好几百万。
robots协议从诞生那天起，就不是靠法律强制力约束的规则，它本质是网站和所有互联网参与者之间的君子协定。
很多人觉得既然没有强制力，那我为啥要遵守？说白了，就像你去朋友家做客，朋友跟你说“我家冰箱里的可乐是给我留的，你要喝自己拿旁边的矿泉水”，你总不能趁着人家去厨房做饭，把人家冰箱里的可乐全抱走吧？
这跟法律没关系。是基本的边界感。
真的别觉得那些写在robots里的禁止条款是多此一举。我之前加过一个本地老校友的论坛群，论坛管理员说，他们建站快十年了，三年前就给所有目录都加上了禁止搜索引擎爬取的robots规则。我问他为啥，好不容易建的论坛，不做曝光多可惜。他说，论坛里大家聊的都是当年上学的旧事儿，找工作的内推信息，还有谁家猫丢了的求助，本来就是给本地校友留的小圈子，要是被爬虫全爬走了，被外面的人随便转帖，甚至把大家留的手机号、求职信息扒走了，那这个小圈子就彻底变味了。
说真的，我特别能理解这种感受。就像你在自己家阳台种了一架子花，本来就是自己下班了坐着晒晒太阳看的，你总不能在阳台门口贴个牌子，欢迎所有人随便进来摘花对吧？
你天天刷的内容，早就被这协议影响了
很多人觉得robots协议是网站开发者、做爬虫的人才需要关心的事儿，跟普通上网的人半毛钱关系没有。其实真不是。
你有没有过这种经历？有时候想找某个藏得很深的小网站的内容，在百度、谷歌翻了三页都找不到，点进去发现网站明明是好的，内容也都在。为啥？大概率就是人家在robots协议里跟搜索引擎的爬虫打了招呼，说“我们的内容你别索引，别推给外面的人看”。
就像之前我找一个卖手工果酱的小网店，搜了半天都没找到人家的线上店，后来加了老板的微信才知道，人家三年前就把所有搜索引擎的爬虫都挡在门外了——之前被爬虫爬走了所有产品图，被别的商家盗图去做同款，亏了好多钱，干脆直接跟所有搜索引擎说，别进我家的门，我也不靠搜索引擎拉客户，老客户知道我在哪买东西就行。
挺酷的。
不过话说回来，也有人把这提示牌挂得太离谱。
之前碰到个做本地美食测评的博主，自己搭了个小网站，天天在朋友圈吐槽说自己写的测评比平台上的广告靠谱多了，为啥没人看。我帮他打开robots.txt一看，好家伙，他把所有搜索引擎的爬虫都禁止了，连首页都不让进。说真的，第一次看到这个设置的时候，我差点把手里的奶茶喷出来。合着他自己把大门锁得死死的，还站在门口喊“为啥没人来我家逛啊”，这不是闹吗？
说穿了，我们总觉得互联网是个没边界的地方，好像只要是能通过网络摸到的内容，都是可以随便拿、随便用的。但实际上，每个能在网上存下来的网站，背后都是有人花了时间、花了精力、投了钱搭起来的小空间。
人家在门口立个robots的牌子，不管是写“欢迎大家进来逛，随便看”，还是写“后院别进，有狗”，本质上都是主人的一份边界提醒。
你照着做，大家都舒服。
非要翻墙头进去的，最后摔了，真的没人替你疼。