git reset --hard,版本回去某到某一版本,对本机的版本产生影响,不对远程分支产生影响。
git revert,撤销某一个,或者连续的多个版本,会对远程分支产生影响。这根git reset反思想的。
git stash,保存当前状态,可以理解成存档,用在切换分支时,又不想commit当前分支时使用。
git restore,单纯的撤销
git reset --hard,版本回去某到某一版本,对本机的版本产生影响,不对远程分支产生影响。
git revert,撤销某一个,或者连续的多个版本,会对远程分支产生影响。这根git reset反思想的。
git stash,保存当前状态,可以理解成存档,用在切换分支时,又不想commit当前分支时使用。
git restore,单纯的撤销
hbase的master的备份机,启动不了了。报以下错误:
2019-11-08 10:19:51,950 ERROR [main] zookeeper.RecoverableZooKeeper: ZooKeeper create failed after 4 attempts
2019-11-08 10:19:52,820 INFO [main] zookeeper.ZooKeeper: Session: 0x0 closed
2019-11-08 10:19:52,820 ERROR [main] master.HMasterCommandLine: Master exiting
Presto是一个运行在多台服务器上的分布式系统。 完整安装包括一个coordinator(调度节点)和多个worker。 由客户端提交查询,从Presto命令行CLI提交到coordinator。 coordinator进行解析,分析并执行查询计划,然后分发处理队列到worker中。
Presto通过使用分布式查询,可以快速高效的完成海量数据的查询。作为Hive和Pig的替代者,Presto不仅能访问HDFS,也能访问不同的数据源,包括:RDBMS和其他数据源(如Cassandra)。虽然Presto可以解析SQL,但它不是一个标准的数据库。不是MySQL、PostgreSQL或者Oracle的代替品,也不能用来处理在线事务(OLTP)
没有用cdh系列,但是又想用impala 3.3。安装impala有二种方式,一种源码安装,一种是rpm安装。impala早期版本,还可以设置yum源,进行安装。
不管是哪种方式安装,最终都是cdh中的impala
不同的模式运行spark,动态资源分配的配置是不一样的,本文的模式是spark on yarn。
动态资源分配的意思是,需要的时候拿资源,不需要的时候,归还资源。
优点提高资源的利用率,还有不需要像静态模式那样,根据cpu数,内存数,指定Executor内存数,去算Executor了。
以前写过一个关于kafka管理工具的文章,请参考:kafka-manager 创建 topic
kafka-manager功能比较单一,并且用起来,总感觉哪里不对,怪怪的。推荐大家使用kafka eagle
Kafka Eagle监控系统是一款用来监控Kafka集群的工具,目前更新的版本是v1.3.9,支持管理多个Kafka集群、管理Kafka主题(包含查看、删除、创建等)、消费者组合消费者实例监控、消息阻塞告警、Kafka集群健康状态查看等
Flume NG是一个分布式,高可用,可靠的系统,它能将不同的海量数据收集,移动并存储到一个数据存储系统中。轻量,配置简单,适用于各种日志收集,并支持 Failover和负载均衡。并且它拥有非常丰富的组件。Flume NG采用的是三层架构:Agent层,Collector层和Store层,每一层均可水平拓展。其中Agent包含Source,Channel和 Sink,三者组建了一个Agent。三者的职责如下所示:
•Source:用来消费(收集)数据源到Channel组件中
•Channel:中转临时存储,保存所有Source组件信息
•Sink:从Channel中读取,读取成功后会删除Channel中的信息
从kafka消费数据到hdfs,或者hbase,是最常见的二种方式。