最近和同事做爬虫，其中我主要遇到的问题是：同事在github上放了爬虫demo让我自己去下载，然后自己能搭好环境让整个项目跑起来去抓51job找工作数据。git上克隆一个项目下来，项目是通过maven管理各种插件jar包，我自己摸索搭环境跑起来。

（1）网页内容爬取用python2.7来做，爬取主要用的库有：beautifulsoup4-4.5.1，lxml-3.6.0，stomp.py-4.1.9；均可去官网下载后解压，在解压目录运行steup.py文件即可。

（2）消息队列中间件用apache-activemq-5.9.1，下载后解压运行binwin64activemq.bat,开启一个消息队列mq

（3）其中java处理部分用Intellij IDEA IDE，导入后发现各个依赖均没有自动下载。Intellij iDEA IDE怎么导入maven工程，选择file——open——projectName，打开项目，发现各种依赖包都没有，需要我一个一个的去找再下载，然后放在本地自己安装的maven项目里面，依赖的包太多，根本找不过来，只能重新想办法。

用到的技巧是：导入一个maven项目到 IntellijIDAE2016.2，关键的一点是选择open——》pom.xml，会自动下载和导入依赖包文件，而不用手动去一个一个的找。超级方便。如果选项目名称导入的话需要配置pom.xml

0. 引言

今天想跟大家分享一下我主要的 Java 开发工具，我一般是这样工作的：用 IDEA 写代码，用 Maven 管理 jar 包依赖与项目打包，用 Git 进行代码版本控制。

关于这三款工具的安装与配置的过程，本文不作说明，有不太明白的朋友，可以给我留言，我会尽力解答。

下面以开发 Smart 应用为例，描述一下这三款工具的具体使用方法。

1. 使用 Git 下载源码

首先，在你的磁盘里找个单独的文件夹来存放 Smart 的所有项目源码，例如：D:Projectsmart，以下称为“工作目录”。

然后，分别通过 git clone 命令下载 Smart Framework 与 Smart Sample 的源码到本地磁盘上。下载地址如下：

Smart Framwork：http://git.oschina.net/huangyong/smart-framework
Smart Sample：http://git.oschina.net/huangyong/smart-sample
Smart Cache：http://git.oschina.net/huangyong/smart-plugin-cache

例如：使用 git clone http://git.oschina.net/huangyong/smart-framework 命令，下载 Smart Framework 项目源码。

执行完以上三条 git clone 命令后，你的工作目录中应该会看到这三个子目录：smart-framework、smart-sample、smart-plugin-cache。

2. 编写 Maven 项目配置文件

此时，你可以在工作目录里（也就是在以上三个项目目录的同级）编写一个 Maven 项目配置文件（作为根配置文件），同样需要命名为 pom.xml，用它来组织这三个项目。代码如下：

<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
         http://maven.apache.org/xsd/maven-4.0.0.xsd">

    <modelVersion>4.0.0</modelVersion>

    <groupId>smart</groupId>
    <artifactId>smart</artifactId>
    <version>1.0</version>
    <packaging>pom</packaging>

    <modules>
        <module>smart-framework</module>
        <module>smart-sample</module>
        <module>smart-plugin-cache</module>
    </modules>

</project>