scrapy项目： 如何用 scrapy 同时监控并采集 1000 个网站

我有几个方案：1.每一个网站用一个scrapy项目来做2.所有网站都用一个scrapy来做，items都写进去中，每一个网站写一个spider蜘蛛3.所有网站都用一个scrapy来做，items都写进去中，所有网站写进一个spider蜘蛛我个人倾向于第二个另外...

其他答案:任务占坑

scrapy项目： 如何在eclipse中使用scrapy-百度知道

一、创建项目如果安装了最新的pydev，创建一个新项目会有三个选项，这里直接选择一个普通的python项目即可，此时查看项目目录，目录项只有两个工程文件。此时，需要使用scrapy命令创建一个scrapy项目到这个目录下，当然也可以把一个现有的工程拷贝...展开全部

scrapy项目： 如何在eclipse中使用scrapy

一、创建项目如果安装了最新的pydev，创建一个新项目会有三个选项，这里直接选择一个普通的Python项目即可，此时查看项目目录，目录项只有两个工程文件。此时，需要使用scrapy命令创建一个scrapy项目到这个目录下，当然也可以把一个现有的工程拷贝...展开全部

其他答案:方法步骤： 一、创建项目 如果安装了最新的pydev，创建一个新项目会有三个选项，直接选择一个普通的python项目即可，此时查看项目目录，目录项只有两个工程文件。 <img data-rawheight=＂52＂ data-rawwidth=＂131＂ src=＂ class=＂content_image＂ width=＂131＂> 此时，需要使用scrapy命令创建一个scrapy项目到这个目录下，当然也可以把一个现有的工程拷贝到这里。 使用一个之前创建过的scrapy项目复制到这个eclipse创建的工程目录。 二、配置Debug Configurations 1、进入run——>Debug Configurations-——>Main name中输入这个配置的名称； Projecct选择Scrapy项目 Main Module 中填入scrapy库下的文件 2、进入run——>Debug Configurations-——>Arguments 在Program arguments中输入 crawl example，需要注意这个example是爬虫的名称 这个名字并不是项目名称，而是在所写的类似于xxxSpider（)类中的name的值。 在Working directory中选择other 选择爬虫工作目录 如图： <img data-rawheight=＂283＂ data-rawwidth=＂599＂ src=＂ class=＂origin_image zh-lightbox-thumb＂ width=＂599＂ data-original=＂ data-rawheight=＂426＂ data-rawwidth=＂582＂ src=＂ class=＂origin_image zh-lightbox-thumb＂ width=＂582＂ data-original=＂ 配置完成，点击Debug按钮，如果能正常显示类似于下面的信息则说明配置成功。 2015-07-04 00:10:10 [scrapy] INFO: Closing spider (finished) 2015-07-04 00:10:10 [scrapy] INFO: Dumping Scrapy stats: 唯一麻烦一点的就是每次debug都需要通过run进行，而不能使用鼠标右键运行。 至此eclipse + pydev开发环境debug Scrapy就全部完成了。

scrapy项目： Scrapy不能创建工程怎么办

1.首先得有一个Scrapy项目，我在Desktop上新建一个Scrapy的项目叫test,2.在Desktop目录打开命令行，键入命令：scrapy startproject test1 3.打开Pycharm，选择open ，选择项目，ok 4.打开如下界面之后，按alt + 1， 打开project 面板5.在test1/spid...展开全部

scrapy项目：python scrapy怎么用？

既然提出这样的问题，个人认为，还是对scrapy有点了解，至少听说过scrapy的作用。scrapy是一个爬虫框架。网络爬虫是指从互联网上自动爬虫相关的数据供爬取者使用。

scrapy是python中爬虫框架最流行的框架之一，简单易用、灵活易拓展

scrapy作为爬虫框架，在python中深受欢迎，主要在于它本身的易用性、可拓展性和丰富、活跃的社区。使用scrapy可以高效地爬取我们想要网站的数据。大型的爬虫程序应用在搜索引擎、广告等领域，个人则一般爬取需要用的数据。

scrapy的整体结构，item、spider、pipeline

• item主要用于描述希望爬取的数据信息；
  

• spider主要是爬虫的相关数据逻辑，用于提取数据和提取后续页面的url；

• pipeline可以理解为和数据存储、转化相关，当我们需要转化一些数据格式，比如美元符号转化成人民币，就可以通过在此定义相关函数达到相应的目的，同时我们希望我们爬取的数据能够永久地存储在服务器中，就可以通过此定义相关的类、函数，达到存储的目的。

scrapy的命令

• scrapy startproject [projectname]，通过这样的命令就可以定义一个爬虫；
  

• scrapy crawl [projectname]，就可以使爬虫开始工作。

总之，scrapy爬虫框架的使用还是比较方便的，当然，比较复杂的应用还需要我们花时间去研究，通过简单的几个命令就可以做一个爬虫，scrapy让爬虫更加的方便。