spark-sql常用的查询工具,速度比较hivesql要快。但是cdh6并没有spark-sql。
在看这篇文章前,先看:cdh 6 使用独立的 apache spark
nextcloud网页端,视频和PDF是看不到缩略图的,只能通过名字和大小来区分,不是很方便。
这个问题是由什么引起的呢?如果集群中,有二个datanode,而有3个副本的话,就会出现这样的问题。
用yum安装了openjdk,然后又想用oracle jdk。原来的openjdk,又不想丢,怎么办呢?
cdh在国内用的比较多。不管是cloudera+cdh或者是ambari+hdp,建议初学者不要用,还是从原生的开始。网上说原生的不稳定,配置复杂。
我用的hadoop2.7.7稳定,以及以hadoop2.7.7为基础构建的生态圈很稳定,在线率100%,到目前为止还没有出现过突发故障。
以hadoop为基础构建一套生态圈,是很复杂。但是拆分开了,采取蚂蚁搬家的方式,就简单多了。并且能了解各组件间是怎么协同工作的。
Apache Zeppelin 是一个让交互式数据分析变得可行的基于网页的开源框架。Zeppelin提供了数据分析、数据可视化等功能。
Zeppelin 是一个提供交互数据分析且基于Web的笔记本。方便你做出可数据驱动的、可交互且可协作的精美文档,并且支持多种语言,包括 Scala(使用 Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown、Shell等等。
kylin的官方文档,做的感觉一般,写的不详细,并且有坑。
spark独立安装,并不想放到kylin文件下,spark的动态资源管理,早已配置,不需要用到kylin动态资源配置参数,为啥没有单独的呢。
当从硬盘copy 10T的数据到nextcloud的时候,copy到data目录下,web端是看不到的。因为copy的文件,在数据库里面没有记录的。
好长时间没有,centos挂U盘或者移动硬盘。但是有的时候,也是需要用到的。例如:短时间内把10T的视频从一台服务器迁到另外一台服务器,最便捷快速的方式,用usb3.0的移动硬盘了。
Apache Kylin不同于“大规模并行处理”(Massive Parallel Processing,MPP)架构的Hive、Presto等,Apache Kylin采用“预计算”的模式,用户只需要提前定义好查询维度,Kylin将帮助我们进行计算,并将结果存储到HBase中,为海量数据的查询和分析提供亚秒级返回,是一种典型的“空间换时间”的解决方案。Apache Kylin的出现不仅很好地解决了海量数据快速查询的问题,也避免了手动开发和维护提前计算程序带来的一系列麻烦。
说的更直白一点就是查询数据不查原始表,查结果表。