本文目录一览：

• 1、Python爬虫必须遵守robots协议，否则等于犯罪
• 2、Python爬虫获取数据犯法吗？
• 3、用python写爬虫为什么
• 4、Python为什么会被叫爬虫？
• 5、python爬虫被当做黑客攻击是怎么回事呢

Python爬虫必须遵守robots协议，否则等于犯罪

1、robots协议是一种存放于网站根目录下的ASCII编码的文本文件。用于对外宣誓主权，规定按照允许范畴访问网站，有效保护网站的隐私。所以您想通过技术手段访问网站的时候，请首先查看robots.txt文件，它告诉你哪些可以访问，哪些信息是不允许访问的。（Robots协议是国际互联网界通行的道德规范）

2、robots主要涉及以下三个部分：

第一种：禁止所有搜索引擎访问网站的任何内容

User-agent: *

Disallow: /

第二种：禁止某个特定的搜索引擎访问网站的任何内容

User-agent: Baiduspider

Disallow: /

第三种：允许所有搜索引擎访问网站的任何内容

User-agent: *

Allow:　/

第四种：禁止部分内容被访问(tmp目录及下面的内容都禁止了）

User-agent: *

Disallow: /tmp

第五种：允许某个搜索引擎的访问

User-agent: Baiduspider

allow:/

第六种：部分允许，部分不允许访问

User-agent: Baiduspider

Disallow: /tmp/bin

User-agent:*

allow:/tmp

希望以上总结对您有帮助！！！！！

Python爬虫获取数据犯法吗？

没有的事，如果是这样的话，百度，谷歌这些搜索引擎公司也是犯法的了。他们也是爬取别人的网站，获取信息，给用户用的。其实搜索引擎就是一种爬虫。

如果网站本身不做鉴别，网站会认为爬虫和一般的浏览器的行为是一样的。

用python写爬虫为什么

为了爬下来的数据，做统计排名或者数据分析或者其他目的，比如搜索引擎的爬虫，爬数据是为了提供更好的搜索。

为了替代手工，比如重复下载资源

山寨

Python为什么会被叫爬虫？

爬虫一般是指网络资源的抓取，因为python的脚本特性，python易于配置，对字符的处理也非常灵活，加上python有丰富的网络抓取模块，所以两者经常联系在一起。 简单的用python自己的urllib库也可以;用python写一个搜索引擎，而搜索引擎就是一个复杂的爬虫。从这里你就了解了什么是Python爬虫，是基于Python编程而创造出来的一种网络资源的抓取方式，Python并不是爬虫，但是有时候会被叫爬虫。

Python爬虫工程师，真的有这个岗位的，想学习Python爬虫，去黑马程序员看看吧！

python爬虫被当做黑客攻击是怎么回事呢

网站有专门的条款说明用户应当遵守的规定，比如百度知道就对其内容拥有知识产权，在未经允许不能转载传播。网站虽然不知道你是否会去传播，但是可以通过访问网页的速度判断你是否是一个机器人。

要想避免网站发现你在爬内容，可以适当限制爬去网页的速度。