开源爬虫项目： 开源爬虫的原理是什么？ 爱问知识人

它使用多线程进行网页检索，html解析，拥有一个图形用户界面用来设置开始的种子URL和抽取下载的数据；?WIRE网络信息检索环境（BaezaYates和Castillo,2002）是一个使用C++编写，在GPL许可下发行的爬虫，内置了几种页面下载安排的策略，还有一个生成...

开源爬虫项目： 给推荐几个github上优秀的java爬虫项目？

地址：apache/nutch · GitHubapache下的开源爬虫程序，功能丰富，文档完整。有数据抓取解析以及存储的模块。地址：internetarchive/heritrix3 · GitHub很早就有了，经历过很多次更新，使用的人比较多，功能齐全，文档完整，网上的...展开全部

其他答案:可以私聊我~

开源爬虫项目： 关于python爬虫我有python爬虫的源码,该怎么运行啊 爱问知识人

如何运行爬虫代码，爬虫代码有很多，这里列举最常见的爬虫代码的运行方法工具/原料 有python环境的pc一台方法/步骤 打开python爬虫代码的源码目录，通常开始文件为，,,寻找有没有类似的python文件，如果没有，请看源码的readm...展开全部

开源爬虫项目： 目前有哪些比较著名的网络爬虫开源项目可供学习

最好的爬虫语言是前嗅的ForeSpider爬虫脚本语言。是一门专门的爬虫脚本语言，而不是爬虫框架，可以用简单几行代码，实现非常强大的爬虫功能。ForeSpider是可视化的通用性采集软件，同时内置了强大的爬虫脚本语言。如果有通过可视化采集不到的内容，...展开全部

开源爬虫项目：目前做的最好的爬虫项目是哪个，开源github？

大型的：Nutchapache/nutch·GitHub适合做搜索引擎，分布式爬虫是其中一个功能。Heritrixinternetarchive/heritrix3·GitHub比较成熟的爬虫。小型的：Crawler4jyasserg/crawler4j·GitHubWebCollectorCrawlScript/WebCollector·GitHub（国人作品）目标是在让你在5分钟之内写好一个爬虫。参考了crawler4j，如果经常需要写爬虫，需要写很多爬虫，还是不错的，因为上手肯定不止5分钟。缺点是它的定制性不强。WebMagiccode4craft/webmagic·GitHub（国人作品，推荐）垂直、全栈式、模块化爬虫。更加适合抓取特定领域的信息。它包含了下载、调度、持久化、处理页面等模块。每一个模块你都可以自己去实现，也可以选择它已经帮你实现好的方案。这就有了很强的定制性。

开源爬虫项目：请推荐几个比较优秀的Python开源项目，用来学习的？

许多开发者都有定期浏览GitHub的习惯，对于GitHub上如此众多的项目，有人不断分享，有人不断Mark。每个人浏览的时候，都会注意到Star的数量，它代表着这个项目的热度，我盘点GitHub上Python语言中最火的15个开源项目。希望对你有帮助，排名如下：

1、机器学习系统 tensorflow

68481

Google的TensorFlow是最流行的开源AI库之一。它的高计算效率，丰富的开发资源使它被企业和个人开发者广泛采用。TensorFlow是一个采用数据流图，用于数值计算的开源软件库。TensorFlow最初由Google大脑小组（隶属于Google机器智能研究机构）的研究员和工程师们开发出来，用于机器学习和深度神经网络方面的研究，但这个系统的通用性使其也可广泛用于其他计算领域。

2、oh-my-zsh

58473

oh-my-zsh是基于zsh的功能做了一个扩展，方便的插件管理、主题自定义，以及漂亮的自动完成效果。Zsh和bash一样，是一种Unix shell，但大多数Linux发行版本都默认使用bash shell。但Zsh有强大的自动补全参数、文件名、等功能和强大的自定义配置功能。

3、命令行HTTP工具包 httpie

31248

HTTPie是一个命令行HTTP客户端，提供命令行交互方式来访问HTTP服务。其目标是使CLI与Web服务的交互尽可能人性化。它提供了一个简单的http命令，允许使用简单自然的语法发送任意HTTP请求。

4、shell命令行拓展 thefuck

30532

首先这个项目的名字就很引人注目，取名为thefuck的原因是任何情况下你想说“我操”，你都可以用得到thefuck。theFuck是一个高可配置的应用，用户可以开启或关闭规则、配置UI、设置规则选项还有进行其他的操作。Fuck的UI很简单，它允许用户通过（上下）箭头的方式在修正过的命令列表中进行选择，使用Enter来确认选择，Ctrl+C来跳出程序。不足的是在Python标准库中没有办法在非Windows下不通过curses来读取键盘输入。

5、微型Python框架 Flask

29399

Flask是一个微型的Python开发的Web框架，基于Werkzeug WSGI工具箱和Jinja2 模板引擎。Flask使用BSD授权。Flask也被称为“microframework”，因为它使用简单的核心，用extension增加其他功能。Flask没有默认使用的数据库、窗体验证工具。然而，Flask 保留了扩增的弹性，可以用Flask-extension加入这些功能：ORM、窗体验证工具、文件上传、各种开放式身份验证技术。

6、Python Web框架 Django

27899

Django是 Python 编程语言驱动的一个开源模型-视图-控制器（MVC）风格的Web 应用程序框架。但是在Django中，控制器接受用户输入的部分由框架自行处理，所以 Django里更关注的是模型(Model)、模板(Template)和视图(Views)，称为MTV模式。使用 Django，我们在几分钟之内就可以创建高品质、易维护、数据库驱动的应用程序。

7、jQuery-File-Upload

27398

jQuery File Upload是一个jQuery图片上传组件，支持多文件上传、取消、删除，上传前缩略图预览、列表显示图片大小，支持上传进度条显示；支持各种动态语言开发的服务器端。

8、Python的HTTP客户端库 requests

27210

requests是Python的一个HTTP客户端库，跟urllib，urllib2类似，那为什么要用 requests而不用urllib2呢？以为Python的标准库urllib2提供了大部分需要的HTTP功能，但是API太逆天了，一个简单的功能就需要一大堆代码。 看了requests的文档，确实很简单，尤其适合懒人。

9、计算机系统配置管理器 ansible

25132

Ansible 提供一种最简单的方式用于发布、管理和编排计算机系统的工具，你可在数分钟内搞定。Ansible是一个模型驱动的配置管理器，支持多节点发布、远程任务执行。默认使用SSH进行远程连接。无需在被管理节点上安装附加软件，可使用各种编程语言进行扩展。

10、Web 爬虫框架 scrapy

22407

Scrapy是Python开发的一个快速,高层次的屏幕抓取和Web抓取框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等。

11、Python 的机器学习项目 scikit-learn

20908

scikit-learn是一个Python的机器学习项目。是一个简单高效的数据挖掘和数据分析工具。基于NumPy、SciPy和matplotlib 构建。基于BSD源许可证。scikit-learn的基本功能主要被分为六个部分，分类，回归，聚类，数据降维，模型选择，数据预处理。

12、神经网络库 keras

19132

Keras是一个极简的、高度模块化的神经网络库，采用Python（Python .）开发，能够运行在TensorFlow和Theano任一平台，好项目旨在完成深度学习的快速开发。keras的几大特点：文档齐全、上手快速、纯Python编写、关注度高更新迅速、论坛活跃、就是运行速度不太快，当有的人就是不care速度。

13、Web服务器 Tornado

Tornado是使用Python开发的全栈式（full-stack）Web框架和异步网络库，最早由 Friendfeed开发。通过使用非阻塞 IO，Tornado可以处理数以万计的开放连接，是long polling、WebSockets和其他需要为用户维护长连接应用的理想选择。Tornado跟其他主流的Web服务器框架（主要是Python框架）不同是采用epoll非阻塞IO，响应快速，可处理数千并发连接，特别适用用于实时的Web服务。

14、Python解释器 CPython

12609

CPython是用C语言实现的Python解释器，也是官方的并且是最广泛使用的Python解释器。除了CPython以外，还有用JAVA实现的Jython和用.NET实现的IronPython，使Python方便地和JAVA程序、.NET程序集成。另外还有一些实验性的Python解释器比如PyPy。

CPython是使用字节码的解释器，任何程序源代码在执行之前先要编译成字节码。它还有和几种其它语言（包括C语言）交互的外部函数接口。

15、工具包 CNTK

12225

来自微软公司的CNTK工具包的效率，“比我们所见过的都要疯狂”。 这部分归功于 CNTK可借助图形处理单元（GPU）的能力，微软自称是唯一公开“可扩展GPU”功能的公司。（从单机上的1个、延伸至超算上的多个）在与该公司的网络化GPU系统（称之为Azure GPU Lab）匹配之后，它将能够训练深度神经网络来识别语音，让Cortana 虚拟助理的速度达到以前的十倍。 去年4月的时候，CNTK就已经面向研究人员开放，只是当时的开源授权限制颇多。不过现在，它已经彻底开放了，而深度学习的初创者们将最为受益。

以上就是我盘点GitHub上Python语言中最火的15个开源项目。希望能帮到大家！

开源爬虫项目：哪个开源的爬虫框架比较成熟？

最好的爬虫语言是前嗅的ForeSpider爬虫脚本语言。是一门专门的爬虫脚本语言，而不是爬虫框架，可以用简单几行代码，实现非常强大的爬虫功能。

ForeSpider是可视化的通用性采集软件，同时内置了强大的爬虫脚本语言。如果有通过可视化采集不到的内容，都可以通过简单几行代码，实现强大的脚本采集。软件同时支持正则表达式操作，可以通过可视化、正则、脚本任意方式，实现对数据的清洗、规范。

对于一些高难度的网站，反爬虫措施比较多，可以使用ForeSpider内部自带的爬虫脚本语言系统，简单几行代码就可以采集到高难度的网站。比如国家自然基金会网站、全国企业信息公示系统等，最高难度的网站完全没有问题。

在通用性爬虫中，ForeSpider爬虫的采集速度和采集能力是最强的，支持登录、Cookie、Post、https、验证码、JS、Ajax、关键词搜索等等技术的采集，采集效率在普通台式机上，可以达到500万条数据/每天。这样的采集速度是一般的通用性爬虫的8到10倍。

对于大量的网站采集需求而言，ForeSpider爬虫可以在规则模板固定之后，开启定时采集。支持数据多次清洗。

对于关键词搜索的需求而言，ForeSpider爬虫支持关键词搜索和数据挖掘功能，自带关键词库和数据挖掘字典，可以有效采集关键词相关的内容。

可以去下载免费版，免费版不限制采集功能。有详细的操作手册可以学习。