kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。
2019年,1月存档
namenode是hadoop的核心，如果namenode宕机，整个hadoop都会挂掉。
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。
ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。
关于开机启动，其实有很多办法，例如：chkconfig，systemctl，supervisord等。
通过sql的方式，读取数据，根我们常用的关系型数据库差不多，更容易上手，当然没有updata和delete。
vue前端框架，就不多说了
ssr，最近很热的词，意为 Server Side Rendering（服务端渲染），目的是为了解决单页面应用的 SEO 的问题，对于一般网站影响不大，但是对于论坛类，内容类网站来说是致命的，搜索引擎无法抓取页面相关内容，也就是用户搜不到此网站的相关信息。
hive和spark sql 默认用的都是derby，上篇文章说了，hive怎么使用mysql做为元数据库。
spark sql使用hive的配置来连接mysql，配置下来挺简单的，并且不需要启动hive
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
hive默认使用derby数据库，了解了一下，测试环境可以用。真正线上还是替换成mysql还是比较靠谱。
spark-sql是spark的一个核心组件，可以实现简单的关系型数据库操作。
dataframe类似于关系型数据库的表，从dataframe中查询数据，需要调用api来实现，到目前为止spark支持的语言scala，java，r，python。
sppark支持三种分布式部署方式，分别是standalone、spark on mesos和 spark on yarn。
standalone模式，即独立模式，自带完整的服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统。
spark on mesos官方推荐这种模式（当然，原因之一是血缘关系）。正是由于spark开发之初就考虑到支持Mesos，Spark运行在Mesos上会比运行在yarn上更加灵活，更加自然。
spark on yarn这是一种最有前景的部署模式。但限于yarn自身的发展，目前仅支持粗粒度模式（Coarse-grained Mode）。这是由于yarn上的Container资源是不可以动态伸缩的，一旦Container启动之后，可使用的资源不能再发生变化，不过这个已经在yarn计划中了