转载请注明出处: CHATWEB
本文的链接地址: https://chatweb.com.cn/post-106.html
近日，百度百科更新了其robots.txt文件，开始屏蔽谷歌、必应等多数搜索引擎，目的是为了防止这些搜索引擎及其他爬虫未经许可抓取百度百科的内容用于AI训练。
根据百度百科的robots.txt文件，目前仅允许百度搜索、搜狗搜索、中国搜索（Chinaso）、YYSpider以及宜搜搜索(EasouSpider)等少数搜索引擎抓取其内容。
其他搜索引擎如谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider都被明确禁止抓取百度百科的内容。尽管360搜索未被单独列出，但由于百度百科实施了全面禁止非白名单爬虫的策略，因此360搜索和其他搜索引擎也被屏蔽在外。
尽管采取了这些措施，仍有可能存在一些爬虫通过各种方式继续抓取百度百科的内容用于AI训练。
文章发布于: 2024-08-22 11:15:00
您可能对以下文章感兴趣
字节跳动旗下剪映团队研发的一站式AI创作平台“即梦AI” 提供AI图片
08/06"Meta开源大模型Llama 3强势崛起！超越GPT-4，苹果AI新服务也备受期待"
08/09爱诗科技推出PixVerse V2.5：视频生成速度提升200%，全新高表现模式与运镜功能，
08/22蚂蚁集团新公司“数字蚂力”推出AI人机融合解决方案，助力企业实现数字化转型和智能化升级！
08/17秘塔科技获新一轮巨额融资，估值达1.5亿美元，引领AI搜索市场新潮流！
08/11“ChatGPT式胡说八道”引发关注：准确性漠视挑战公共服务人员，法律责任成难题
08/12"Midjourney升级网页版编辑器，应对AI绘图市场竞争挑战"
08/16从文本到图像的革新：跨模态AR模型Lumina-mGPT实现图像生成的新突破
08/16微软 Copilot AI 被揭示存在严重安全漏洞：攻击者能窃取敏感数据！
08/11"ChatGPT Mac版新功能：并排窗口提升多任务处理，水印技术提高AI生成内容辨识度"
08/08谷歌采取行动遏制非自愿深度伪造，网络安全再升级
08/06Tavus团队打造AI聊天机器人：超越人性的沟通体验"
08/17
发表评论
取消回复
AI资讯