张映 发表于 2019-03-21

分类目录: hadoop/spark/scala

Spark支持Yarn,Mesos,Standalone三种集群部署模式,它们的共同点:Master服务(Yarn ResourceManager,Mesos master,Spark standalone)来决定哪些应用可以运行以及在哪什么时候运行,Slave服务(Yarn NodeManger)运行在每个节点上,节点上实际运行着Executor进程,此外还监控着它们的运行状态以及资源的消耗

Spark On Yarn模式,又分cluster和client模式。cluster和client的最大区别在于,driver运行在哪里。

阅读全文>>

张映 发表于 2018-04-28

分类目录: 服务器相关

elasticsearch搭好后,head中看到的集群健康值,显示是黄色的,还有Unassigned,如下图

阅读全文>>

张映 发表于 2015-05-11

分类目录: nosql

找遍了redis cluster官方文档,没发现有关集群重启和关闭的方法。为啥会没有呢,猜测redis cluster至少要三个节点才能运行,三台同时挂掉的可能性比较小,只要不同时挂掉,挂掉的机器修复后在加入集群,集群都能良好的运作,万一同时挂掉,数据又没有备份的话,就有大麻烦了。

redis cluster集群中的节点基本上都对等的,没有管理节点。如果要让所有节点都关闭,只能关闭进程了# pkill -9 redis

阅读全文>>

张映 发表于 2015-05-05

分类目录: nosql

php有redis的扩展,目前来说,还不支持redis cluster,推荐一下predis,功能比较全,从单个,到主从,到cluster都是支持的。效率怎么样,要靠自己去测试一下。

阅读全文>>

张映 发表于 2015-05-04

分类目录: nosql

这篇文章是接着上一篇来的,看本文前最好先看一下上篇文章。

redis cluster配置好,并运行一段时间后,我们想添加节点,或者删除节点,该怎么办呢。

阅读全文>>

张映 发表于 2015-05-01

分类目录: nosql

Redis 集群是一个提供在多个Redis间节点间共享数据的程序集.redis3.0以前,只支持主从同步的,如果主的挂了,写入就成问题了。3.0出来后就可以很好帮我们解决这个问题。

目前redis 3.0还不稳定,如果要用在生产环境中,要慎重。

阅读全文>>