基于sshd建立k8s临时混合云解决方案

背景

由于多个团队的服务之间得测试环境在不同网段,现在两个集群需要联调,一个是部署在内网的各种数据库环境,如kafka,mysql,redis,另一个是跑在云上的k8s应用,对外网走的 EIP + ELB + istio-ingressgateway 的方式,现在线上集群需要调用线下内网服务。

整体解决方案

整体架构:

确定核心架构后,拆分工作目标

工作拆分

主要可以分为三块工作:

  • 在k8s集群构建一个 sshd 服务
  • 用 istio-ingressgateway 挂载 ELB,为 sshd 服务构建路由
  • 在内网构建反向代理

集群中构建 sshd 服务

编写 Dockerfile

这里选用的是 rastasheep/ubuntu-sshd 的 Dockerfile 作为基础镜像构建:

FROM rastasheep/ubuntu-sshd:14.04

RUN echo "GatewayPorts yes" >> /etc/ssh/sshd_config

EXPOSE 22

CMD ["/usr/sbin/sshd", "-D"]

注意需要添加GatewayPorts

构建 Dockerfile:

docker build -t registry.cn-shenzhen.aliyuncs.com/shikanon/sshd:v0.1  .

推送上云端镜像仓库:

docker login registry.cn-shenzhen.aliyuncs.com
docker push registry.cn-shenzhen.aliyuncs.com/shikanon/sshd:v0.1

编写 k8s 应用配置

构建 deployment 和 services 服务:

apiVersion: apps/v1
kind: Deployment
metadata:
labels:
app: tools-sshd-jumpserver
name: tools-sshd-jumpserver
spec:
replicas: 1
selector:
matchLabels:
app: tools-sshd-jumpserver
template:
metadata:
labels:
app: tools-sshd-jumpserver
spec:
containers:
- image: registry.cn-shenzhen.aliyuncs.com/shikanon/sshd:v0.1
imagePullPolicy: Always
name: tools-sshd-jumpserver
imagePullSecrets:
- name: regcred

---
apiVersion: v1
kind: Service
metadata:
labels:
app: tools-sshd-jumpserver
name: tools-sshd-jumpserver
spec:
type: ClusterIP
selector:
app: tools-sshd-jumpserver
ports:
- name: ssh
port: 22
targetPort: 22
protocol: TCP
- name: kafka
port: 9092
targetPort: 9092
protocol: TCP
- name: kafka
port: 9092
targetPort: 9092
protocol: TCP
- name: redis
port: 6379
targetPort: 6379
protocol: TCP
- name: mysql
port: 3306
targetPort: 3306
protocol: TCP

配置 istio

安装 ingressgateway

由于之前就有一个绑定内网 ELB 的 ingressgateway 了,需要再安装一个外网的 ingressgateway,这里是直接基于 istioctl manifest generate 生成文件安装。这里省略了,有兴趣可以查看地址

绑定公网 ELB

istio 可以通过设置 ingressgateway 绑定 ELB,并设置对外暴露端口,这里以华为云为例:

apiVersion: v1
kind: Service
metadata:
annotations:
kubernetes.io/elb.class: union
kubernetes.io/elb.id: xxxxxx
kubernetes.io/elb.lb-algorithm: ROUND_ROBIN
kubernetes.io/elb.vpc.id: xxxxx
kubernetes.io/session-affinity-mode: SOURCE_IP
finalizers:
- service.kubernetes.io/load-balancer-cleanup
labels:
app: istio-ingressgateway-external
install.operator.istio.io/owning-resource: unknown
istio: ingressgateway-external
istio.io/rev: default
operator.istio.io/component: IngressGateways
release: istio
spec:
...
loadBalancerIP: xx.xx.xx.247 #这里要手动设置ip地址
ports:
- name: ssh
port: 22022
protocol: TCP
targetPort: 22022

详细参考:https://support.huaweicloud.com/api-cce/cce_02_0087.html

设置 istio 的 Gateway 和 virtualService

gateway 和 virtualService 会配置 ingress 转发规则。

设置 Gateway,因为走的是 tcp 协议这里设置:

apiVersion: networking.istio.io/v1beta1
kind: Gateway
metadata:
name: my-tls-gateway
spec:
selector:
istio: ingressgateway-external #这个selector要对应istio ingressgateway 的 label
servers:
- hosts:
- '*'
port:
name: ssh
number: 22022
protocol: TCP

设置 virtualService 到目标地址:

apiVersion: networking.istio.io/v1beta1
kind: VirtualService
metadata:
name: sshd-jumpserver
spec:
gateways:
- my-tls-gateway
hosts:
- xx.xx.xx.247
tcp:
- match:
- port: 22022
route:
- destination:
host: tools-sshd-jumpserver.rcmd.svc.cluster.local
port:
number: 22

构建方向代理

ssh -R 做反向代理

ssh 提供了三种代理功能:

  • 正向代理(-L):相当于 iptable 的 port forwarding
  • 反向代理(-R):相当于 frp 或者 ngrok
  • socks5 代理(-D):相当于 ss/ssr

这里主要使用 ssh 提供的反向代理功能,也就是 ssh -R,用法:

ssh -R <登陆服务暴露的地址>:<登陆服务暴露的端口>:<目标地址>:<目标端口>  <登陆用户名>@<ssh登陆服务> -p <ssh登陆端口>

比如远程机器地址为 14.14.1.1,ssh登陆端口为 22,目标为局域网的一台redis机器,目标地址为 192.168.2.3,目标端口为 6379,登陆服务暴露全网段地址,也就是 0.0.0.0,暴露端口和目标端口保持一致,也是 6379,那么写作:

ssh -R 0.0.0.0:6379:192.168.2.3:6379 root@14.14.1.1 -p 22

okay,基本命令确定后,可以将其封装进 Systemd 守护进程运行,编写systemd文件:

[Unit]
Description=Reverse ssh tunnel
After=network.target

[Service]
Restart=always
RestartSec=10
User=mpengine
ExecStart=/usr/bin/ssh -NT -o ServerAliveInterval=60 -R 0.0.0.0:9092:xx.xx.xx.xx:9092 -R 0.0.0.0:6379:xx.xx.xx.xx:6379 -R 0.0.0.0:3306:xx.xx.xx.xx:3306 root@14.14.1.1 -p 12121

[Install]
WantedBy=multi-user.target

systemctl 执行脚本:

$ cp kube-sshd.service /usr/lib/systemd/system/
$ ln -s /usr/lib/systemd/system/kube-sshd.service /etc/systemd/system/cloud-init.target.wants/kube-sshd.service
$ systemctl start kube-sshd.service

测试

用集群内的 redis-cli 连接 sshd 服务进行测试:

okay,整个流程打通。

shikanon wechat
欢迎您扫一扫,订阅我滴↑↑↑的微信公众号!