<h1>运行 cascalog</h1>

<p>经过几天的挣扎（业余时间），终于把 cascalog 运行起来。因为 hadoop 集群不是自己搭的，有一些关于安全方面的设置，对初学造成了一定的麻烦。反复尝试才跑起来。</p>

<h2>创建项目</h2>

<p>还是用 lein 来管理项目的依赖和打包。先运行 <code>lein new cascalog-demo</code> 来创建项目。修改 project.clj 如下：</p>

(defproject cascalog-demo "0.1.0-SNAPSHOT"  :description "FIXME: write description"  :jvm-opts ["-Dmapred.queue.job.name=apg_qashort_p3"]  :url "http://example.com/FIXME"  :license {:name "Eclipse Public License"            :url "http://www.eclipse.org/legal/epl-v10.html"}  :dependencies [[org.clojure/clojure "1.5.1"]                 [org.apache.hadoop/hadoop-common "0.23.8"]                 [org.apache.hadoop/hadoop-hdfs "0.23.8"]                 [org.apache.hadoop/hadoop-mapreduce-client-core "0.23.8"]                 [org.apache.hadoop/hadoop-mapreduce-client-common "0.23.8"]                 [cascalog/cascalog-core "2.0.0-SNAPSHOT"]]  :resource-paths ["/home/gs/conf/current" "resources"]  :source-paths ["src/clj"]  :aot [cascalog-demo.demo]  :main cascalog-demo.demo)

<h2>添加 hadoop 配置</h2>

<p>因为是直接在 hadoop 集群上尝试，没有尝试本地开发模式，所以需要考虑 hadoop 的集群配置。没有加配置前会报错找不到 namenode 之类的错误，后来又碰到通不过 KERBEROS 认证，默认的 hadoop queue 不可用等等错误。</p>

<p>在 project.clj 中的 <code>:resource-paths ["/home/gs/conf/current" "resources"]</code> 一行就是添加一些 hadoop 的配置。 其中 /home/gs/conf/current 是集群上的 $HADOOP_CONF_DIR 目录，包含了集群的基本配置。resources 是当前项目中的目录，其中会包含一个 job-conf.clj 文件，这个文件包含了一些提交 job 时的配置，内容如下：</p>

{"hadoop.tmp.dir" "/tmp" "mapreduce.job.complete.cancel.delegation.tokens" "false" "mapred.job.queue.name" "queue_name"}

<h2>Demo 代码</h2>

<p>创建文件 src/clj/cascalog_demo/demo.clj, 内容如下：</p>

(ns cascalog-demo.demo  (:use cascalog.api)  (:use cascalog.playground)  (:gen-class))(defn -main  []  (?- (stdout) sentence))

<h2>打包运行</h2>

<p>用 lein 把所有依赖包，以防在集群上没有权限装需要的 jar 包：<code>lein uberjar</code></p>

<p>完成后会生成 target/cascalog_test-0.1.0-SNAPSHOT-standalone.jar</p>

<p>运行包：<code>hadoop jar target/cascalog_test-0.1.0-SNAPSHOT-standalone.jar</code></p>