2019年,8月存档

张映 发表于 2019-08-27

分类目录: java/android

java.lang.NullPointerException 空指针异常,虽然不影响打包,不影响程序的运行,但是看着不舒服

阅读全文>>

张映 发表于 2019-08-27

分类目录: hadoop/spark/scala

spark submit 执行完任务后,卡住了,不退出,找了各种日志,没有报错,并且任务执行的结果也是对的。

出现这个问题,感觉有点蒙,网上找找解决办法,全部不适用。下面详细说一下我的分析和解决过程

阅读全文>>

张映 发表于 2019-08-15

分类目录: php

有的php扩展,加载是有先后顺序的,如果搞错了,会导致扩展无法加载。

阅读全文>>

张映 发表于 2019-08-09

分类目录: hadoop/spark/scala

将多个相关的项目定义在一个构建中是很有用的,尤其是如果它们依赖另一个,而且你倾向于一起修改它们。
每个子项目在构建中都有它们自己的源文件夹,当打包时生成各自的 jar 文件,而且通常和其他的项目一样运转。

阅读全文>>

张映 发表于 2019-08-07

分类目录: php

centos7 php连sqlserver不是很常见,但是也会有这样的需求

阅读全文>>

张映 发表于 2019-08-05

分类目录: hadoop/spark/scala

sbt功能很强大,也很灵活,但是灵活的代价就是比较复杂。

阅读全文>>

张映 发表于 2019-08-03

分类目录: hadoop/spark/scala

大数据开发,一直都用java spring boot框架,加载scala,spark,scala兼容包等,spark开发用scala,其他的开发用java,打包用mvn,感觉还是挺不错的。

如果只是开spark,scala就足够了,没必要在用spring boot。这样感觉不会那么怪。

阅读全文>>

张映 发表于 2019-08-03

分类目录: hadoop/spark/scala

安装IDEA就不说了,也很简单。在这里推荐做java和scala的人使用idea,真的比eclipse好用。

阅读全文>>

张映 发表于 2019-08-01

分类目录: hadoop/spark/scala

scala sbt 加载了spark包,DEBUG的时候报错了。

libraryDependencies ++= Seq(
    "org.apache.spark" % "spark-core_2.12" % "2.4.0",
    "org.apache.spark" % "spark-sql_2.12" % "2.4.0"
)

阅读全文>>