启动、配置、扩容、伸缩、存储,开普勒云平台之使用指南

宜人金科财富技术部 2019-10-31 浏览量:3068

一、Kplcloud是什么?

kplcloud是一个基于Kubernetes的轻量级PaaS平台,通过可视化的界面对应用进行管理,降低应用容器化的对度,从而减少应用容器化的时间成本。

Kplcloud已在宜信服务于宜人财富等多个团队,稳定运行了近两年,目前平台已在生产环境跑着上百个应用,近千个容器。

0.jpeg

一、登陆

登陆可以分为三种,分别是LDAP登陆、邮箱密码登陆、三方授权登陆,咱们没有注册功能。下面对这三种登陆方式进行讲解。

LDAP与邮箱登陆大同小异,只需要简单的配置即可。

1.1 LDAP登陆

在app.cfg文件找到[server]的login_type参数,设置为 ldap并且找到[ldap]块

[ldap]
ldap_host = 127.0.0.1
ldap_port = 389
ldap_base = DC=yourdomain,DC=corp
ldap_sseSSL = false
ldap_bindDN = 
ldap_bind_password = 
ldap_user_filter = (userPrincipalName=%s)
ldap_group_filter = (&(objectCategory=Group))
ldap_attr = name;mail

[server]
;auth_login 
login_type = ldap

输入你家LDAP的相关信息即可。

不要设置auth_login,应该把它注释掉。

1.2 邮箱登陆

在app.cfg文件找到[server]的login_type参数,设置为 email

[server]
;auth_login 
login_type = ldap

不要设置auth_login,应该把它注释掉。

1.jpeg

1.3 Github授权登陆

通过Github授权登陆需要的app.cfg将[server]下的 auth_login参数设置为github

Github创建OAuth App

  • 打开github官网,进入https://github.com/settings/developers, 在左侧菜单栏找到“OAuth Apps”并点击进入

  • 如果没有OAuth App则点击“New OAuth App”按钮创建一个新的OAuth App

  • 创建完成之后 找到我们刚刚创建的OAuth App并进入就可以看到Client ID和Client Secret了

  • 将它们复制下来他贴到app.cfg的[server]块下的client_id和client_secret

2.jpeg

  • 设置好Homepage URL和Authorization callback URL

3.jpeg

  • 授权登陆需要用户把 https://github.com/settings/profile Public Email 设置上,否则无法授权成功

4.jpeg

1.4 授权登陆

上面设置好之后, 就可以使用github授权登陆的方式进入平台了,默认分配的空间及权限可以在app.cfg文件下的[server]块下的default_namespace和default_role_id配置。

[server]
client_id = balabalabalbabiubiubiu
client_secret = balabalabalbabiubiubiu
auth_login = github
default_namespace = default-app
default_role_id = 4C


5.jpeg

6.jpeg

二、Dashboard

2.1 工作台

工作台是我们进入之后看到的第一个页面,主要列出以下一些信息

  • 使用文档

  • 创建应用入口

  • 空间CPU及内存资源使用情况

  • 你可操作的最新的几个应用

  • 该空间下最近应用的动态

  • 您可操作的空间列表

  • 您规属于哪些权限组列表

7.jpeg

2.2 全局监控

监控只是简易的集群网络,内存、CPU及语言,详情的监控可以从grafana查看。

8.jpeg

2.3 上线统计

本模块主要是对一些应用发布的情况进行一些统计,如应用失败的应用的次数中断及回滚的次数,点击应用名称可以看应用详情。

9.jpeg

三、应用管理

3.1 创建应用

创建一个Java应用

在创建应用之前,首先我们要做的是在你的git项目上将Dockerfile文件提交上去,并且生成一个Tag或releases版本。

Dockerfile 参考

FROM openjdk:latest

COPY xxxx.jar /opt/app

WORKDIR /opt/app
CMD ["java", "xxx.jar"]

进入创建应用页面,填写基本信息

  • 进入“创建项目”页面

  • 项目英文名填写项目的“英文名称” 名称的规则: ^[a-z0-9]([-a-z0-9])?([a-z0-9]([-a-z0-9]*[a-z0-9])?)*$

  • 填写“项目描述” 可不填

  • 提交信息,进入第二步

10.jpeg

填写详细信息

  • 选择项目语言Java

  • 项目地址:输入项目的址 kplcloud/hello 填写完后会自动获取项目的tags列表

  • 选择版本:选择获取回来的tags版本

  • POMFILE: pom.xml文件的路径

  • 构建路径:这是Dockerfile放到项目所在的路径地址

  • 容器数量:启动的Pods数量

  • 容器规格:该Pods的最大内存上限

  • 启动方式:jar 启动或 tomcat 启动

  • Args: 选择jar 启动会自动生成简单的 启动命令,如果是tomcat 启动则是其他命令 // 考虑去掉这个选项

  • dubbo 服务: 如果是dubbo服务则勾选,会为其开放20880端口

  • 如果选择了“增加端口” 会列出端口、协议填写

  • 端口及协议:如果选择了则会创建Service进行负载,注意端口名称的格式,必须是xxx-port,可以添加多个端口,但建议一个应用只启动一个端口。


11.jpeg

12.jpeg

提交成功之后会显示如下页面,管理就可以在审核页面进行部署。

13.jpeg

(创建Golang/Python/NodeJs/静态应用的步骤请参看开源文档。)

3.2 自定义启动命令

应用服务启动可以在多个地方进行调整,以下介绍两种方案,Dockerfile 和 平台详情页调整

Dockerfile CMD启动方式

看一下简单的例子:

FROM hub.kpaas.nsini.com/app/hello:v0.0.3

CMD ["/go/bin/hello"]

启动命令写在CMD这个后面,如果后面有多个参数可以以逗号隔开例如: CMD ["static-web", "-path", "app", "-port", ":8080"]

平台详情页调整

打开应用详情页:

16.jpeg

在详情这一选卡上找到“命令,参数”,点右边的编辑icon,弹出对话框进行填写:

17.jpeg

填定启动的命令和参数,参数用逗号隔开。点提交服务会自动重启动。

注意:在平台详情页修改的命令会覆盖掉Dockerfile 下的CMD命令。

3.3 日志采集

日志采集配置

在应用详情页中间有一个叫作“日志采集”的模块

18.jpeg

点击右边的“添加”按钮,在弹出的对话框中选择日志的路径及正则规则

19.jpeg

  • 文件路径:你日志文件的位置

  • 日志规则:如果没有特殊需求的话默认就好

提交后服务会自动重启动。

日志采集

如果配置了上面采集器,那么它会向服务所在的Pod注入一个Filebeat采集器对应用服务的业务日志进行采集。把采集到的日志入到kafka集群,然后logstash进行消息处理及格式化。

处理完后入到ES集群,最终我们就可以通过kibana查询到我们的业务日志了。

20.jpeg

当然kafka、logstash、es得您自己去搭建。

若您可把这几个服务跑在Kubernetes可以参考我给您生成的yaml 直接apply 进去就能跑。

模版配置

生成filebeat会用到两个模版,一个是容器的模版FilebeatContainer,另一个是ConfigMap的模版FilebeatConfigMap,您可根据自己的需求调整相应的模版文件。

21.jpeg

3.4 查询构建应用日志

构建应用的流程是通过创建应用提交一些信息进行处理

  • 从git 仓库获取tags列表

  • 调用jenkins API 将应用的相关参数及版本信息传给它并进行构建

  • Jenkins Job执行Shell命令 执行docker build并上传致Docker 仓库

  • 平台监听到job已经执行完成并成功了,调用kubernetes API更新应用的Image地址

  • 监听升级情况

  • 发送通知

以上是构建应用的后端流程,而前端就变得比较简单了。只需要在应用详情页点击"Build"按钮,在弹出的对话框中选择相应用的tags版本并提交就行了,如下图:

22.jpeg

查询构建日志

点击详情页的build日志选项卡,会显示最近的构建记录,点击左侧相应的版本可以查看该版本的构建情况,也可以对正在松建的应用进行中断,如下图:

23.jpeg

3.5 切换服务模式

服务模式切换比较麻烦,需要您的Kubernetes支持,目前我们使用的是istio的方案,也就是说您需要在你的kubernetes上安装istio的相关服务,并且在我们的模版管理将istio所需要的几个模版配置上。才能开启此功能。

如果您没有安装Istio,可跳过此章。

依赖

在"模版管理"菜单找到Gateway、VritualService、InitContainer、IstioProxy这几个模版,根据自己环境的情况进行调整。

  • Gateway: 本平台设计的模式是一个Namespace所对应一个Gateway,多个Namespace空间就会有多个Gateway,VirtualService选择的是本Namespace下的Gateway。

  • VirtualService: 在生成应用的对外访问入口时与Ingress一起生成。

使用过Istio的同学应该都知道,要实现Istio所提供的相关功能需要在Pods里注入两个容器,一个是proxy_init,另一个是proxyv2

  • InitContainer: 模版是是初始化设置的yaml,比如将流量通过 iptables的方式转发给 proxy

  • IstioProxy: 模版就是将pods的所有流量代理的yaml

流程

下图是我们架构流量进入到我们容器所图:

24.jpeg

  • DNS 将域名解析到VIP

  • VIP 将80的流量转发边缘节点的31380端口(这个是IstioIngressGateway控制器的Service的NodePort)

  • 前面我们所说过每个Namespace都会有至少一个对应的Gateway,Gateway的hosts就是xxx.{namespace}.xxx.com

  • VirtualService里的destination.host 就是Service的名称。 以上是kplcloud平台的流程,如果您有需要调整的,只需要修改模版就好,不需要调整代码。

一键切换

如下图,在应用详情页面选择“模式”按钮,在弹出的对话框中选择"Service Mesh"选项目,后点击提交后Pods会自动重起。

25.jpeg

你需要在app.cfg文件开起ServiceMesh功能

[server]
service_mesh = true

3.6 扩容

扩容是对Pods的使用资源进行扩容,例如最大使用的CPU及内存资源。

在应用的详情页面,在右上角找到“扩容”按钮,并点开。

在弹出的对话框中拖动CPU和内存,可对其设置一个基础值及一个最大值,如下图:

26.jpeg

选择好相应的值后点击“保存”按钮后,会重起该应用的所有POD。重启后的POD可使用的最大CPU及内存资源就是您刚刚设置的值。

所对应用以deployment的yaml参数:

requests:
    limits:
        cpu: 1
        memory: 128Mi
    requests:
        cpu: 500m
        memory: 64Mi

3.7 伸缩

伸缩是对该应用所启动的pods数量进行一个控制。

同样进入应用的详情页页,在右上角找到“伸缩”按钮并点开。

在弹出来的对话框中选择启动的POD数量,如下图:

27.jpeg

提交之后若数量大于之前的数量,则会启动缺少的POD数量,若小于之前的值,将会逐步减少应用的POD。

目前给的最大值是8个pod,资源可使用的内存是16G,若您的应用超过我们所设定的最大值。想办法优化吧,64核128G内存都不够用,这种级别的应用不适合用Docker。

这种级别的应用最好是拆了吧。

3.8 挂载持久化存储卷

本平台是通过storageclass来动态创建PV。也就是说咱们依赖于storageclass,如果您的Kubernetes不支持相应的存储试,将无法非常方便的进行挂载。

目前暂不支持挂载多个PVC,或许以后会更新吧。

这里演示的是用的NFS进行演示,实际使用时可根据自己的需求配置相应的provisioner,其他配置是一样的不需要调整,只需要在“模版管理” 调整StorageClass和PersistentVolumeClaim模版。

创建持久化存储卷声明

在菜单找到“配置与存储”->"持久化存储卷声明"。

选择应用的空间,并点击“创建”按钮

28.jpeg

在弹出的对话框中会有几个选项目:

  • 名称:存储卷的名称(规则: ^[a-z0-9]([-a-z0-9])?([a-z0-9]([-a-z0-9]*[a-z0-9])?)*$)

  • 容量:可以使用的存储区大小,最小单位Mi,最大Ti

  • 访问模式:

    • ReadWriteOnce——该卷可以被单个节点以读/写模式挂载

    • ReadOnlyMany——该卷可以被多个节点以只读模式挂载

    • ReadWriteMany——该卷可以被多个节点以读/写模式挂载

  • 存储类:如果没有存储类请查看创建存储类

29.jpeg

挂载到应用目录

当存储卷创建好之后就可以在应用进行挂载了。

同样的进入应用详情页面,找到“持久化存储”选项卡,如图:

30.jpeg

点击“添加”按钮,在弹出来的对话框加输入相关信息:

31.jpeg

  • 持久化存储路径:该路径为容器里的挂载路径

  • 持久化存储卷声明:这里会列出您可以使用的存储卷

填写好路径及选择好存储卷后点击提交,改应用的所有POD的逐步重启动。

挂载完成之后可以看到所挂载的相关信息:

32.jpeg

最终生成的yaml结果:

volumes:
- name: soup-hello-pvc
  persistentVolumeClaim:
    claimName: test-data
containers:
- volumeMounts: 
  - name: "soup-hello-pvc"
    mountPath: "/soupzhang"

四、应用审核部署

如果配置了邮箱,用户提交审核之后会给管理员发送邮件,邮件里带有审核地址。

或者您也可以在应用列表里找到未审核的应用进入。

33.jpeg

4.1 审核应用

提交的基础信息

34.jpeg

生成的kubernetes yaml

35.jpeg

代码库中的Dockerfile文件

36.jpeg

驳回

37.jpeg

如果管理员觉得提交的有问题,可以进行驳回,驳回填定理由会发送至提交者的邮箱。

若没有啥问题,可以点击“开始部署”按钮。

开始部署之后应用会自动在jenkins上创建一个job,并自动进行build。

五、调整容器时间

在我们项目维护过程中,可能会遇到需要修改服务器时间,平台的工具集功能就可以满足您的需求了~

在这需要注意,此功能依赖faketime,请在宿主机编译faketime扩展。路径在 /usr/local/lib/libfaketime.so.1

调整服务时间(菜单栏:工具集->调整时间)

在项目列表中筛选您要修改的项目,点击 修改时间,确认之后会重启服务生效。

38.jpeg

39.jpeg

开源地址:

作者:宜人金科-财富技术部-创新团队


发现文章有错误、对内容有疑问,都可以通过关注宜信技术学院微信公众号(CE_TECH),在后台留言给我们。我们每周会挑选出一位热心小伙伴,送上一份精美的小礼品。快来扫码关注我们吧!
分享硬核IT 专注金融