学黑客要学爬虫吗（爬虫是黑客技术吗）
本文目录一览：
从电脑新手到黑客 都要学什么
第一节、黑客的种类和行为
以我的理解，“黑客”大体上应该分为“正”、“邪”两类，正派黑客依靠自己掌握的知识帮助系统管理员找出系统中的漏洞并加以完善，而邪派黑客则是通过
各种黑客技能对系统进行攻击、入侵或者做其他一些有害于网络的事情，因为邪派黑客所从事的事情违背了《黑客守则》，所以他们真正的名字叫“骇客”
（Cracker）而非“黑客”（Hacker），也就是我们平时经常听说的“黑客”（Cacker）和“红客”（Hacker）。
无论那类黑客，他们最初的学习内容都将是本部分所涉及的内容，而且掌握的基本技能也都是一样的。即便日后他们各自走上了不同的道路，但是所做的事情也差不多，只不过出发点和目的不一样而已。
很多人曾经问我：“做黑客平时都做什么？是不是非常刺激？”也有人对黑客的理解是“天天做无聊且重复的事情”。实际上这些又是一个错误的认识，黑客平
时需要用大量的时间学习，我不知道这个过程有没有终点，只知道“多多益善”。由于学习黑客完全出于个人爱好，所以无所谓“无聊”；重复是不可避免的，因为
“熟能生巧”，只有经过不断的联系、实践，才可能自己体会出一些只可意会、不可言传的心得。
在学习之余，黑客应该将自己所掌握的知识应用到实际当中，无论是哪种黑客做出来的事情，根本目的无非是在实际中掌握自己所学习的内容。黑客的行为主要有以下几种：
一、学习技术：
互联网上的新技术一旦出现，黑客就必须立刻学习，并用最短的时间掌握这项技术，这里所说的掌握并不是一般的了解，而是阅读有关的“协议”（rfc）、深入了解此技术的机理，否则一旦停止学习，那么依靠他以前掌握的内容，并不能维持他的“黑客身份”超过一年。
初级黑客要学习的知识是比较困难的，因为他们没有基础，所以学习起来要接触非常多的基本内容，然而今天的互联网给读者带来了很多的信息，这就需要初级
学习者进行选择：太深的内容可能会给学习带来困难；太“花哨”的内容又对学习黑客没有用处。所以初学者不能贪多，应该尽量寻找一本书和自己的完整教材、循
序渐进的进行学习。
二、伪装自己：
黑客的一举一动都会被服务器记录下来，所以黑客必须伪装自己使得对方无法辨别其真实身份，这需要有熟练的技巧，用来伪装自己的IP地址、使用跳板逃避跟踪、清理记录扰乱对方线索、巧妙躲开防火墙等。
伪装是需要非常过硬的基本功才能实现的，这对于初学者来说成的上“大成境界”了，也就是说初学者不可能用短时间学会伪装，所以我并不鼓励初学者利用自己学习的知识对网络进行攻击，否则一旦自己的行迹败露，最终害的害是自己。
如果有朝一日你成为了真正的黑客，我也同样不赞成你对网络进行攻击，毕竟黑客的成长是一种学习，而不是一种犯罪。
三、发现漏洞：
漏洞对黑客来说是最重要的信息，黑客要经常学习别人发现的漏洞，并努力自己寻找未知漏洞，并从海量的漏洞中寻找有价值的、可被利用的漏洞进行试验，当然他们最终的目的是通过漏洞进行破坏或着修补上这个漏洞。
黑客对寻找漏洞的执著是常人难以想象的，他们的口号说“打破权威”，从一次又一次的黑客实践中，黑客也用自己的实际行动向世人印证了这一点——世界上没有“不存在漏洞”的程序。在黑客眼中，所谓的“天衣无缝”不过是“没有找到”而已。
四、利用漏洞：
对于正派黑客来说，漏洞要被修补；对于邪派黑客来说，漏洞要用来搞破坏。而他们的基本前提是“利用漏洞”，黑客利用漏洞可以做下面的事情：
1、获得系统信息：有些漏洞可以泄漏系统信息，暴露敏感资料，从而进一步入侵系统；
2、入侵系统：通过漏洞进入系统内部，或取得服务器上的内部资料、或完全掌管服务器；
3、寻找下一个目标：一个胜利意味着下一个目标的出现，黑客应该充分利用自己已经掌管的服务器作为工具，寻找并入侵下一个系统；
4、做一些好事：正派黑客在完成上面的工作后，就会修复漏洞或者通知系统管理员，做出一些维护网络安全的事情；
5、做一些坏事：邪派黑客在完成上面的工作后，会判断服务器是否还有利用价值。如果有利用价值，他们会在服务器上植入木马或者后门，便于下一次来访；而对没有利用价值的服务器他们决不留情，系统崩溃会让他们感到无限的快感！
第二节、黑客应掌握的基本技能
从这一节开始，我们就真正踏上学习黑客的道路了，首先要介绍的是作为一名初级黑客所必须掌握的基本技能，学习这可以通过这一节的阅读了解到黑客并不神
秘，而且学习起来很容易上手。为了保证初学者对黑客的兴趣，所以本书采取了循环式进度，也就是说每一章节的内容都是独立、全面的，学习者只有完整的学习过
一章的内容，才能够进而学习下一章的内容。
一、了解一定量的英文：
学习英文对于黑客来说非常重要，因为现在大多数资料和教程都是英文版本，而且有关黑客的新闻也是从国外过来的，一个漏洞从发现到出现中文介绍，需要大
约一个星期的时间，在这段时间内网络管理员就已经有足够的时间修补漏洞了，所以当我们看到中文介绍的时候，这个漏洞可能早就已经不存在了。因此学习黑客从
一开始就要尽量阅读英文资料、使用英文软件、并且及时关注国外著名的网络安全网站。
二、学会基本软件的使用：
这里所说的基本软件是指两个内容：一个是我们日常使用的各种电脑常用命令，例如ftp、ping、net等；另一方面还要学会有关黑客工具的使用，这
主要包括端口扫描器、漏洞扫描器、信息截获工具和密码破解工具等。因为这些软件品种多，功能各不相同，所以本书在后面将会介绍几款流行的软件使用方法，学
习者在掌握其基本原理以后，既可以选择适合自己的，也可以在“第二部分”中找到有关软件的开发指南，编写自己的黑客工具。
三、初步了解网络协议和工作原理：
所谓“初步了解”就是“按照自己的理解方式”弄明白网络的工作原理，因为协议涉及的知识多且复杂，所以如果在一开始就进行深入研究，势必会大大挫伤学
习积极性。在这里我建议学习者初步了解有关tcp/ip协议，尤其是浏览网页的时候网络是如何传递信息、客户端浏览器如何申请“握手信息”、服务器端如何
“应答握手信息”并“接受请求”等内容，此部分内容将会在后面的章节中进行具体介绍。
四、熟悉几种流行的编程语言和脚本：
同上面所述一样，这里也不要求学习者进行深入学习，只要能够看懂有关语言、知道程序执行结果就可以了。建议学习者初步学习C语言、asp和cgi脚本
语言，另外对于htm超文本语言和php、java等做基本了解，主要学习这些语言中的“变量”和“数组”部分，因为语言之间存在内在联系，所以只要熟练
掌握其中一们，其他语言也可以一脉相同，建议学习C语言和htm超文本语言。
五、熟悉网络应用程序：
网络应用程序包括各种服务器软件后台程序，例如：wuftp、Apache等服务器后台；还有网上流行的各种论坛、电子社区。有条件的学习者最好将自
己的电脑做成服务器，然后安装并运行一些论坛代码，经过一番尝试之后，将会感性的弄清楚网络工作原理，这比依靠理论学习要容易许多，能够达到事半功倍的效
果！
想成为一名的黑客 必须学习哪些课程？
它设计清晰，文档齐全，合适初学者入门。它是一门很好的入门语言，并且不仅仅只是个玩具；它非常强大、灵活，也适合做大型项目Java也是好的入门语言。它比Python难得多，但是生成的代码速度也快得多。它同时也是一种优秀的计算机语言，不止是用来入门。 但是注意，如果你只会一两门语言，你将不会达到黑客所要求的技术水平，甚至也不能达到一个程序员的水平——你需要学会如何以抽象的方式思考编程问题，独立于任何语言。要做一名真正的黑客，你需要学会在几天内通过一些手册，结合你现在所知，迅速掌握一门新语言。这意味着你应该学会几种截然不同的语言。 如果要做一些重要的编程工作，你将不得不学习C语言，Unix的核心语言。 C++与C非常其他类似；如果你了解其中一种，学习另一种应该不难。但这两种都不适合编程入门者学习。而且事实上，你越避免用C编程，你的工作效率会越高。 C非常有效率，节约你的机器资源。不幸的是，C的高效是通过你手动做很多底层的管理（如内存）来达到的。底层代码都是复杂极易出现bug的，会使你花极多的时间调试。如今的机器速度如此之快，这通常是得不偿失——比较明智的做法是使用一种运行较慢、较低效率，但大幅节省你的时间的语言。因此，选择Python。 其他对黑客而言比较重要的语言包括 Perl和 LISP。 Perl实用，值得一学；它被广泛用于动态网页和系统管理，因此即便你从不用Perl写程序，至少也应该学会看。许多人使用Perl的理由和我建议你使用Python的理由一样，都是为了避免用C完成那些不需要C高效率的工作。你会需要理解那些工作的代码的。 LISP值得学习的理由不同——最终掌握了它时你会得到丰富的启迪和经验。这些经验会使你在以后的日子里成为一个更好的程序员，即使你实际上很少使用LISP本身。 当然，实际上你最好五种都会（Python，Java，C/C++，Perl和LISP）。除了是最重要的黑客语言外，它们还代表了截然不同的编程思路和方法，每种都会让你受益非浅。 这里我无法给你完完全全的指导教会你如何编程——这是个复杂的技能。但我可以告诉你，书本和上课也不能作到（最好的黑客中，有许多，也许 几乎都是自学成材的）。你可以从书本上学到语言的特点——只是一些皮毛，但要使书面知识成为自身技能只能通过实践和虚心向他人学习。因此要作到 （一）读代码及（二）写代码。答案补充 补充： 黑客不是那么好当的， 要学的东西很多， 每天都有新的东西出来
网络爬虫是什么？具体要学哪些内容？
简单来讲，爬虫就是一个探测机器，它的基本操作就是模拟人的行为去各个网站溜达，点点按钮，查查数据，或者把看到的信息背回来。就像一只虫子在一幢楼里不知疲倦地爬来爬去。
你可以简单地想象：每个爬虫都是你的「分身」。就像孙悟空拔了一撮汗毛，吹出一堆猴子一样。
你每天使用的百度，其实就是利用了这种爬虫技术：每天放出无数爬虫到各个网站，把他们的信息抓回来，然后化好淡妆排着小队等你来检索。
抢票软件，就相当于撒出去无数个分身，每一个分身都帮助你不断刷新 12306 网站的火车余票。一旦发现有票，就马上拍下来，然后对你喊：土豪快来付款。
那么，像这样的爬虫技术一旦被用来作恶有多可怕呢？
正好在上周末，一位黑客盆友御风神秘兮兮地给我发来一份《中国爬虫图鉴》，这哥们在腾讯云鼎实验室主要负责加班，顺便和同事们开发了很多黑科技。比如他们搞了一个威胁情报系统，号称能探测到全世界的「爬虫」都在做什么。
我吹着口哨打开《图鉴》，但一分钟以后，我整个人都不好了。
我看到了另一个「平行世界」：
就在我们身边的网络上，已经密密麻麻爬满了各种网络爬虫，它们善恶不同，各怀心思。而越是每个人切身利益所在的地方，就越是爬满了爬虫。
看到最后，我发现这哪里是《中国爬虫图鉴》，这分明是一份《中国焦虑图鉴》。
我们今天要说的，就和这些 App 有关。
一、爬虫的「骚操作」
爬虫也分善恶。
像谷歌这样的搜索引擎爬虫，每隔几天对全网的网页扫一遍，供大家查阅，各个被扫的网站大都很开心。这种就被定义为「善意爬虫」。
但是，像抢票软件这样的爬虫，对着 12306 每秒钟恨不得撸几万次。铁总并不觉得很开心。这种就被定义为「恶意爬虫」。（注意，抢票的你觉得开心没用，被扫描的网站觉得不开心，它就是恶意的。）
给你看一张图：
这张图里显示的，就是各行各业被爬「叨扰」的比例。（注意，这张图显示是全世界，不是全中国。）而每一个色块背后，都是一条真实而强大的利益链条。
接下来，中哥就给你科普一下里面的骚操作。
1、排名第一的是出行
出行行业中爬虫的占比最高（20.87%）。在出行的爬虫中，有 89.02% 的流量都是冲着 12306 去的。这不意外，全中国卖火车票的独此一家别无分号。
你还记得当年 12306 上线王珞丹和白百何的「史上最坑图片验证码」么？
这些东西不是为了故意难为老老实实卖票的人的，而恰恰是为了阻止爬虫（也就是抢票软件）的点击。刚才说了，爬虫只会简单地机械点击，它不认识白百何，所以很大一部分爬虫就被挡在了门外。
你可能会说，不对啊，我现在还可以用抢票软件抢到票啊。
没错。抢票软件也不是吃素的。它们在和铁总搞「对抗」。
有一种东西叫作「打码平台」，你可以了解一下。
打码平台雇用了很多叔叔阿姨，他们在电脑屏幕前不做别的事情，专门帮人识别验证码。那边抢票软件遇到了验证码，系统就会自动把这些验证码传到叔叔阿姨面前，他们手工选好哪个是白百何哪个是王珞丹，然后再把结果传回去。总共的过程用不了几秒时间。
当然，这样的打码平台还有记忆功能。如果叔叔阿姨已经标记了这张图是「锅铲」，那么下次这张图片再出现的时候，系统就直接判断它是「锅铲」。时间一长，12306 系统里的图片就被标记完了，机器自己都能认识，叔叔阿姨都可以坐在一边斗地主了。
你可能会问：为什么 12306 这么抠呢？它大方地让爬虫随意爬会死吗？
答：会死。
你知道每年过年之前，12306 被点成什么样了吗？公开数据是这么说的：「最高峰时 1 天内页面浏览量达 813.4 亿次，1 小时最高点击量 59.3 亿次，平均每秒 164.8 万次。」这还是加上验证码防护之后的数据。可想而知被拦截在外面的爬虫还有多少。
况且这里还没有讨论，被抢票软件把票抢走，对我们父母那样的不会抢票的人来说，是不是公平呢？
铁路被爬虫「点击」成这样已经够惨了，但它还有个难兄难弟，就是航空。
而航空里，被搞得最惨的不是国航，不是海航，也不是东航。而是亚航。
航空类爬虫的分布比例。
很多人可能都没坐过亚洲航空。这是一家马来西亚的廉价航空公司，航线基本都是从中国各地飞往东南亚的旅游胜地，飞机上连矿泉水都得自费买，是屌丝穷 X 度假之首选。
为什么爬虫这么青睐亚航呢？因为它便宜。确切地说，因为它经常放出便宜的票。
本来，亚航的初衷只是随机放出一些便宜的票来吸引游客，但这里面黄牛党是有利可图的。
据我所知，他们是这样玩的：
技术宅黄牛党们利用爬虫，不断刷新亚航的票务接口，一旦出现便宜的票，不管三七二十一先拍下来再说。
亚航有规定，你拍下来半小时（具体时间记不清了）不付款票就自动回到票池，继续卖。但是黄牛党们在爬虫脚本里写好了精确的时间，到了半小时，一毫秒都不多，他又把票拍下来，如此循环。直到有人从黄牛党这里定了这个票，黄牛党就接着利用程序，在亚航系统里放弃这张票，然后 0.00001 秒之后，就帮你用你的名字预定了这张票。
「我是中间商，我就要赚差价！」这波骚操作，堪称完美。
2、排名第二的是社交
社交的爬虫重灾区，就是你们喜闻乐见的微博。
给你看张图：
这是爬虫经常光顾的微博地址。
人工智能需要学爬虫么？
一般来说不需要
其实爬虫这个技能，和一般的技能非常不一样，一般的技能比较稳定，但爬虫就属于一个人技术的边缘技术，因为难度不大，但是细节特别多，而且很多公司对爬虫的使用只是一两次，不会专心培养爬虫工程师
人工智能更不需要爬虫技术，虽然人工智能需要数据，但是如果你靠爬虫来积累数据，那么你的工作基本上都会花在数据处理上面，你就变成了一个纯粹的数据分析师
