张映 发表于 2020-05-13

分类目录: 服务器相关

filebeat客户端日志收集工具,以前就玩过,请参考:ubuntu elasticsearch,logstash,kibana,filebeat安装配置,以前用的filebeat应当是filebeat6,升级后,配置变化还是挺大的。

阅读全文>>

张映 发表于 2020-05-13

分类目录: mysql

二个mysql分布二台机器上,要能在二个mysql间进行联表查询。方案有多种,常见的就是二台mysql做个主从,这样可以在一台机器进行联表查询了。

还有一种更快的方法

阅读全文>>

张映 发表于 2020-05-09

分类目录: 云计算

1,Namespace在很多情况下用于实现多用户的资源隔离,通过将集群内部的资源对象分配到不同的Namespace中,形成逻辑上的分组,便于不同的分组在共享使用整个集群的资源同时还能被分别管理。

阅读全文>>

张映 发表于 2020-05-09

分类目录: 云计算

elk是elasticsearch,logstash,kibana的缩写,组成了日志收集的服务端。在看这篇文章,要先了解以下二篇文章:

ubuntu elasticsearch,logstash,kibana,filebeat安装配置

kubernetes(k8s) 集群 安装配置

阅读全文>>

张映 发表于 2020-05-07

分类目录: 云计算

docker-machine ls报了以下错误

Unable to query docker version: Get https://192.168.99.101:2376/v1.15/version: x509: certificate has expired or is not yet valid

很明显,证书过期了。

阅读全文>>

张映 发表于 2020-04-29

分类目录: 云计算

kubeadm join增加worker节点时,卡住

[root@testing yum.repos.d]# kubeadm join 10.0.40.193:6443 --token y4d0ws.w8lxmohfc1o0yq6b --discovery-token-ca-cert-hash sha256:46f6cf1d84d0eadb4f6e7f05b908e5572025886d9f134db27f92b98e1c3dd3ed
W0429 10:21:36.848737 17290 join.go:346] [preflight] WARNING: JoinControlPane.controlPlane settings will be ignored when control-plane flag is not set.
[preflight] Running pre-flight checks
[WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup driver. The recommended driver is "systemd". Please follow the guide at https://kubernetes.io/docs/setup/cri/

然后就不动了,检查了一下原因是token过期了。下面说一下解决办法

阅读全文>>

张映 发表于 2020-04-28

分类目录: 云计算

Kubernetes是Google开源的一个容器编排引擎,它支持自动化部署、大规模可伸缩、应用容器化管理。在生产环境中部署一个应用程序时,通常要部署该应用的多个实例以便对应用请求进行负载均衡。

在Kubernetes中,我们可以创建多个容器,每个容器里面运行一个应用实例,然后通过内置的负载均衡策略,实现对这一组应用实例的管理、发现、访问,而这些细节都不需要运维人员去进行复杂的手工配置和处理。

阅读全文>>

张映 发表于 2020-04-08

分类目录: 技术其他

自从前后端分离后,想要获取数据就比较困难了。现在也有很多无界面浏览器,可以实现数据抓取,例如:Phantomjs。

今天所说的不是无界面浏览器,而通过chrome websocke api来实现,数据的抓取。

阅读全文>>

张映 发表于 2020-04-02

分类目录: hadoop/spark/scala

在看这篇文章前,请先了解一下:

1,cdh6 flink 安装
2,flink on yarn 提交任务的二种方式
3,cdh hive 2.1.1 升级到 2.3.4

阅读全文>>

张映 发表于 2020-04-02

分类目录: hadoop/spark/scala

最近在玩flink,想让flink sql借用hive的元数据库。可是呢,flink sql能连hive的版本,到目前为止只有2个,hive 1.2.1和hive 2.3.4。

cdh6.3.1装的hive是2.1.1,所以不升级hive,flink sql根本用不了。

阅读全文>>