scala是一种类似java的编程语言,一种纯面向对象的语言,每一个值都是对象。对象的数据类型以及行为由类和特征(Trait)描述。类抽象机制的扩展有两种途径。一种途径是子类继承,另一种途径是灵活的混入(Mixin)机制。这两种途径能避免多重继承的种种问题。
随着大数据越来越普及,scala的使用度可能会越来越高。熟悉java的话,去学scala,很容易上手。
scala是一种类似java的编程语言,一种纯面向对象的语言,每一个值都是对象。对象的数据类型以及行为由类和特征(Trait)描述。类抽象机制的扩展有两种途径。一种途径是子类继承,另一种途径是灵活的混入(Mixin)机制。这两种途径能避免多重继承的种种问题。
随着大数据越来越普及,scala的使用度可能会越来越高。熟悉java的话,去学scala,很容易上手。
静态方法可以不用创建对象就调用,非静态方法必须有了对象的实例才能调用。
因此想在静态方法中直接引用非静态方法是不可能的,因为不知道调用哪个对象的非静态方法,编译器不可能给出答案,因为没有对象。
java就怕找不到对象。
本地开发,测试环境,正式环境用到的配置文件是不一样。不管是本机开发,还是打包上线后,希望能在不同环境间快速切换。以提高开发效率,解决问题的效率。
hadoop家族操作大数据还是很给力的。今天就测试了一把,还行。
好长时间没有装dell的服务器,上次装dell机器还在2015年。一直都是用阿里云。考虑到成本等各方面因素,还是选择了,购买机器。
测试服务器,用u盘安装没问题,正式服务器,用u盘装,提示找不到启动盘。
相同功能的spark submit提交了二次,竟然也都成功了。查看applications也有二个。
想要了解kafka的信息,工具挺多,推荐使用雅虎开源的Kafka-manager。
前端后数据分离后,跨域问题肯定存在的。解决办法cors,jsonp解决跨域问题,当然服务端要设置信认。也可以设置成同域,这样跨域问题就不存在了。
通过8088查看Applications任务的logs时,会报以下错误,
Failed while trying to construct the redirect url to the log server.Log Server url may not be configured java.lang.Exception:Unknown container.Container either has not started or has already completed or doesn't belong to this node at all.
zookeeper服务器会产生三类日志:事务日志、快照日志和集群服务器运行日志。
在zookeeper默认配置文件zoo.cfg中有一个配置项dataDir,该配置项用于配置zookeeper快照日志和事务日志的存储地址。在官方提供的默认参考配置文件zoo_sample.cfg中,只有dataDir配置项。其实在实际应用中,还可以为事务日志专门配置存储地址,配置项名称为dataLogDir,在zoo_sample.cfg中并未体现出来。在没有dataLogDir配置项的时候,
zookeeper默认将事务日志文件和快照日志文件都存储在dataDir对应的目录下。建议将事务日志(dataLogDir)与快照日志(dataLog)单独配置,因为当zookeeper集群进行频繁的数据读写操作是,会产生大量的事务日志信息,将两类日志分开存储会提高系统性能,而且,可以允许将两类日志存在在不同的存储介质上,减少磁盘压力。
zookeeper集群服务器运行日志,该日志的配置地址在conf/目录下的log4j.properties文件中,该文件中有一个配置项为“zookeeper.log.dir=.”,表示log4j日志文件在与执行程序(zkServer.sh)在同一目录下。当执行zkServer.sh 时,在该文件夹下会产生zookeeper.out日志文件。下面主要介绍事务日志与快照日志。