张映 发表于 2019-04-25

分类目录: hadoop/spark

利用akka包来做scala的定时任务,便是打包时报以下错误:

Exception in thread "main" java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V
at akka.util.Timeout.<init>(Timeout.scala:13)
at akka.actor.ActorSystem$Settings.<init>(ActorSystem.scala:327)
at akka.actor.ActorSystemImpl.<init>(ActorSystem.scala:651)
at akka.actor.ActorSystem$.apply(ActorSystem.scala:244)
at akka.actor.ActorSystem$.apply(ActorSystem.scala:287)
at akka.actor.ActorSystem$.apply(ActorSystem.scala:232)
at netjoy.spark_sql.track_pc.run$.main(run.scala:30)
at netjoy.spark_sql.track_pc.run.main(run.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.spark.deploy.JavaMainApplication.start(SparkApplication.scala:52)
at org.apache.spark.deploy.SparkSubmit.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:849)
at org.apache.spark.deploy.SparkSubmit.doRunMain$1(SparkSubmit.scala:167)
at org.apache.spark.deploy.SparkSubmit.submit(SparkSubmit.scala:195)
at org.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:86)
at org.apache.spark.deploy.SparkSubmit$$anon$2.doSubmit(SparkSubmit.scala:924)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:933)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

阅读全文>>

张映 发表于 2019-04-25

分类目录: hadoop/spark

scala启动多个sparkcontext时,发现启动不起来。查看Applications任务时,发现Memory Total和Memory Used一样了。

阅读全文>>

张映 发表于 2019-04-04

分类目录: 服务器相关

jenkins对于发代码,还是比较方便的,不管是Php,python,java,vue等都可以发布,可以减少运维成本,并且能很好的管理权限。

阅读全文>>

张映 发表于 2019-04-02

分类目录: nodejs/vue/js/jquery

pm2是一个带有负载均衡功能的 Node 应用的进程管理器。对于node的管理,还是比较方便的。

阅读全文>>

张映 发表于 2019-03-29

分类目录: java/android

java需要编译的,打包后文件要上传到服务器。推荐二个办法,

第一种,用jenkins,请参考:centos7 jenkins 发布vue ssr,编译类的语言都可能过jenkins来发布,.net没试过。

第二种,用wagon包来实现

阅读全文>>

张映 发表于 2019-03-21

分类目录: hadoop/spark

Spark支持Yarn,Mesos,Standalone三种集群部署模式,它们的共同点:Master服务(Yarn ResourceManager,Mesos master,Spark standalone)来决定哪些应用可以运行以及在哪什么时候运行,Slave服务(Yarn NodeManger)运行在每个节点上,节点上实际运行着Executor进程,此外还监控着它们的运行状态以及资源的消耗

Spark On Yarn模式,又分cluster和client模式。cluster和client的最大区别在于,driver运行在哪里。

阅读全文>>

张映 发表于 2019-03-20

分类目录: hadoop/spark

如果表多,字段多,通过命令行查看就不方便了。连hive推荐使用,DbVisualizer配置还是挺简单的。

阅读全文>>

张映 发表于 2019-03-20

分类目录: hadoop/spark

kafka-manager来创建,查看和管理topic还是比较方便的。当然也可以用命令行来操作,参考:zookeeper kafka 集群 安装配置

阅读全文>>

张映 发表于 2019-03-13

分类目录: hadoop/spark

跑spark-submit报错,查看了一下ha的状态,二台namenode节点都是standby,其中一台机器的JournalNode,挂掉了。

阅读全文>>

张映 发表于 2019-03-12

分类目录: hadoop/spark

spark-submit提交包是在服务器上,本地开发环境没有spark-submit。如果想要本地debug远程的spark,用idea很简单就可以实现。

阅读全文>>