张映 发表于 2019-04-02

分类目录: nodejs/vue/js/jquery

pm2是一个带有负载均衡功能的 Node 应用的进程管理器。对于node的管理,还是比较方便的。

阅读全文>>

张映 发表于 2019-03-29

分类目录: java/android

java需要编译的,打包后文件要上传到服务器。推荐二个办法,

第一种,用jenkins,请参考:centos7 jenkins 发布vue ssr,编译类的语言都可能过jenkins来发布,.net没试过。

第二种,用wagon包来实现

阅读全文>>

张映 发表于 2019-03-21

分类目录: hadoop/spark/scala

Spark支持Yarn,Mesos,Standalone三种集群部署模式,它们的共同点:Master服务(Yarn ResourceManager,Mesos master,Spark standalone)来决定哪些应用可以运行以及在哪什么时候运行,Slave服务(Yarn NodeManger)运行在每个节点上,节点上实际运行着Executor进程,此外还监控着它们的运行状态以及资源的消耗

Spark On Yarn模式,又分cluster和client模式。cluster和client的最大区别在于,driver运行在哪里。

阅读全文>>

张映 发表于 2019-03-20

分类目录: hadoop/spark/scala

如果表多,字段多,通过命令行查看就不方便了。连hive推荐使用,DbVisualizer配置还是挺简单的。

阅读全文>>

张映 发表于 2019-03-20

分类目录: hadoop/spark/scala

kafka-manager来创建,查看和管理topic还是比较方便的。当然也可以用命令行来操作,参考:zookeeper kafka 集群 安装配置

阅读全文>>

张映 发表于 2019-03-13

分类目录: hadoop/spark/scala

跑spark-submit报错,查看了一下ha的状态,二台namenode节点都是standby,其中一台机器的JournalNode,挂掉了。

阅读全文>>

张映 发表于 2019-03-12

分类目录: hadoop/spark/scala

spark-submit提交包是在服务器上,本地开发环境没有spark-submit。如果想要本地debug远程的spark,用idea很简单就可以实现。

阅读全文>>

张映 发表于 2019-03-12

分类目录: java/android

scala是一种类似java的编程语言,一种纯面向对象的语言,每一个值都是对象。对象的数据类型以及行为由类和特征(Trait)描述。类抽象机制的扩展有两种途径。一种途径是子类继承,另一种途径是灵活的混入(Mixin)机制。这两种途径能避免多重继承的种种问题。

随着大数据越来越普及,scala的使用度可能会越来越高。熟悉java的话,去学scala,很容易上手。

阅读全文>>

张映 发表于 2019-03-11

分类目录: java/android

静态方法可以不用创建对象就调用,非静态方法必须有了对象的实例才能调用。

因此想在静态方法中直接引用非静态方法是不可能的,因为不知道调用哪个对象的非静态方法,编译器不可能给出答案,因为没有对象。

java就怕找不到对象。

阅读全文>>

张映 发表于 2019-03-08

分类目录: java/android

本地开发,测试环境,正式环境用到的配置文件是不一样。不管是本机开发,还是打包上线后,希望能在不同环境间快速切换。以提高开发效率,解决问题的效率。

阅读全文>>