java需要编译的，打包后文件要上传到服务器。推荐二个办法，
第一种，用jenkins，请参考：centos7 jenkins 发布vue ssr，编译类的语言都可能过jenkins来发布，.net没试过。
第二种，用wagon包来实现
2019年,3月存档
Spark支持Yarn,Mesos,Standalone三种集群部署模式，它们的共同点：Master服务(Yarn ResourceManager,Mesos master,Spark standalone)来决定哪些应用可以运行以及在哪什么时候运行，Slave服务(Yarn NodeManger)运行在每个节点上，节点上实际运行着Executor进程，此外还监控着它们的运行状态以及资源的消耗
Spark On Yarn模式，又分cluster和client模式。cluster和client的最大区别在于，driver运行在哪里。
如果表多，字段多，通过命令行查看就不方便了。连hive推荐使用，DbVisualizer配置还是挺简单的。
kafka-manager来创建，查看和管理topic还是比较方便的。当然也可以用命令行来操作，参考：zookeeper kafka 集群 安装配置
跑spark-submit报错，查看了一下ha的状态，二台namenode节点都是standby，其中一台机器的JournalNode，挂掉了。
spark-submit提交包是在服务器上，本地开发环境没有spark-submit。如果想要本地debug远程的spark，用idea很简单就可以实现。
scala是一种类似java的编程语言，一种纯面向对象的语言，每一个值都是对象。对象的数据类型以及行为由类和特征(Trait)描述。类抽象机制的扩展有两种途径。一种途径是子类继承，另一种途径是灵活的混入（Mixin）机制。这两种途径能避免多重继承的种种问题。
随着大数据越来越普及，scala的使用度可能会越来越高。熟悉java的话，去学scala，很容易上手。
静态方法可以不用创建对象就调用，非静态方法必须有了对象的实例才能调用。
因此想在静态方法中直接引用非静态方法是不可能的,因为不知道调用哪个对象的非静态方法，编译器不可能给出答案,因为没有对象。
java就怕找不到对象。
本地开发，测试环境，正式环境用到的配置文件是不一样。不管是本机开发，还是打包上线后，希望能在不同环境间快速切换。以提高开发效率，解决问题的效率。
hadoop家族操作大数据还是很给力的。今天就测试了一把，还行。