通过webdav进行网络磁盘映射后，发现windows系统copy文件报错，而mac就不会
提示：0x800700DF: 文件大小超过允许的限制，无法保存
2019年,10月存档
没有用cdh系列，但是又想用impala 3.3。安装impala有二种方式，一种源码安装，一种是rpm安装。impala早期版本，还可以设置yum源，进行安装。
不管是哪种方式安装，最终都是cdh中的impala
不同的模式运行spark，动态资源分配的配置是不一样的，本文的模式是spark on yarn。
动态资源分配的意思是，需要的时候拿资源，不需要的时候，归还资源。
优点提高资源的利用率，还有不需要像静态模式那样，根据cpu数，内存数，指定Executor内存数，去算Executor了。
以前写过一个关于kafka管理工具的文章，请参考：kafka-manager 创建 topic
kafka-manager功能比较单一，并且用起来，总感觉哪里不对，怪怪的。推荐大家使用kafka eagle
Kafka Eagle监控系统是一款用来监控Kafka集群的工具，目前更新的版本是v1.3.9，支持管理多个Kafka集群、管理Kafka主题（包含查看、删除、创建等）、消费者组合消费者实例监控、消息阻塞告警、Kafka集群健康状态查看等
Flume NG是一个分布式，高可用，可靠的系统，它能将不同的海量数据收集，移动并存储到一个数据存储系统中。轻量，配置简单，适用于各种日志收集，并支持 Failover和负载均衡。并且它拥有非常丰富的组件。Flume NG采用的是三层架构：Agent层，Collector层和Store层，每一层均可水平拓展。其中Agent包含Source，Channel和 Sink，三者组建了一个Agent。三者的职责如下所示：
•Source：用来消费（收集）数据源到Channel组件中
•Channel：中转临时存储，保存所有Source组件信息
•Sink：从Channel中读取，读取成功后会删除Channel中的信息
从kafka消费数据到hdfs，或者hbase，是最常见的二种方式。
查看nginx error错误，发现上传接口报以下错：
2019/10/10 19:58:25 [error] 299784#0: *5967188 readv() failed (104: Connection reset by peer) while reading upstream, client: 59.34.155.7, server: xxxxxxxx, request: "POST /stream/tracking/file HTTP/1.1", upstream: "http://xxxxxxxx/stream/tracking/file", host: "xxxxxxxx"
这种错误日志不多，第一感觉就是上传文件过大，传输时间过长，然后连接被中断。
访问量的增大，相应nginx连接数，以及打开的文件数，是需要调整的，不然就会报以下错误
2019/10/10 16:04:37 [alert] 364127#0: *11935302 socket() failed (24: Too many open files) while connecting to upstream, client: 220.195.66.66, server:。。。。。。。。。。。。。。。。。
增加kafka节点，对原有节点的顺序做了调整，报错如下：
cxid:0x2a zxid:0x1e txntype:-1 reqpath:n/a Error Path:/brokers/ids Error:KeeperErrorCode = NodeExists for /brokers/ids (org.apache.zookeeper.server.PrepRequestProcessor)