VNG

ZaloPay 介绍

ZaloPay 发布于 2017 年，建立在 Zalo 的基础上，继承了 Zalo 生态中的诸多便利。在 Zalo 已有的生态系统中有着庞大的 Zalo 用户，活跃用户在 1 亿左右。相较于 Momo、Moca 的 GrabPay，以及 ViettelPay 等，ZaloPay 更具竞争力。

在由越南最大的新闻类门户网站 VnExpress 所举办的 2018 技术大奖（2018 Tech Awards）颁奖典礼上，ZaloPay 荣获年度支付应用程序第三名。MoMo 占据头名位置，ViettelPay 紧随其后，Moca 的 GrabPay、VinGroup 的 VinID 以及 SEA 的 AirPay 也加入了市场，整个环境非常激烈。

拥抱新科技

VNG 是一家大公司，业务领域广泛。我们致力于使用最为尖端的框架、技术和编程语言来开发产品，创建架构。

依靠过时的架构去构建和开发应用程序会导致可扩展性、适应性和可观测性等各方面的问题。例如，对于传统的单体架构，想要对一个大型、复杂的紧耦合应用程序进行更改非常之难。此外，单体架构可扩展性差、技术壁垒高。换言之，产品上市的计划可能会延后，更新周期也会拉长。然而，我们所追求的是业务的快速发展与交付，各类服务需要对各种改变迅速作出反应。

毫无疑问，Docker 和 Kubernetes 为满足我们的业务需求提供了最好的自定义技术架构。关于容器化和其优势所在自不必多说。组件化加快了我们的开发速度，开发出的产品也更为可靠。Kubernetes 让我们的滚动升级和回滚模式自动化，通过探针监控应用的状况。

采用 Kubernetes 和 KubeSphere

2018 年底，我们使用 Kubernetes 作为容器编排解决方案。Kubernetes 帮助我们声明式地管理我们的集群，让我们得以控制应用版本，轻松复制应用。然而，有太多的问题需要我们去考虑，如日志监控、DevOps 和中间件等，这也使得 Kubernetes 的学习曲线相对较高。实际上，我们对几种最常用的工具进行了调研。例如，我们利用 EFK 进行日志管理，采用 Jenkins 作为 CI/CD 的引擎进行业务更新，我们也会在自己的环境中使用 Redis 和 Kafka。

这些常用的工具帮助我们提升了开发和运营的效率。然而，我们当前最大的挑战是开发者们需要学习、维护这些工具，在不同的终端和界面之间来回切换也相当耗费时间。因此，我们开始研究一种集中化的解决方案，可以将云原生技术栈集成到一个统一的 Web 控制台。我们对比了一些解决方案（如 Rancher 和原生的 Kubernetes），最后发现 KubeSphere 最为方便。

我们把 KubeSphere 安装在已有的 Kubernetes 集群上。目前，我们拥有两个 Kubernetes 集群，分别用于沙盒和生产环境。考虑到数据隐私问题，我们把集群都部署在物理机上。我们使用 HAProxy 安装高可用集群以实现流量的负载均衡。

为什么我们选择 KubeSphere

借助 KubeSphere 提供的对开发者友好的向导式操作界面，我们能轻松地监控从基础设施到应用程序的资源消耗情况。由此，ZaloPay 商户平台在 KubeSphere 上也已经稳定运行了半年。KubeSphere 提供了一系列功能，整合并打包了云原生技术栈，例如开箱即用的应用程序生命周期管理功能、监控日志、多租户以及告警通知等。由于每个功能和组件都可插拔，我们可以根据自己的需求去启用。

• 对开发者友好的 Web 控制台

• 多维度监控功能

• 功能丰富且可插拔

如何实现 DevOps

通过执行 CI/CD 流水线，我们直接运行 ZaloPay 的商户平台。如下方视图，我们使用 KubeSphere 运行 CI/CD 流水线，将 GitLab、SonarQube、Docker、Kubernetes 和 Docker 仓库都整合到一套流程中。在第一阶段，流水线会对整个流程所需的一些必要环境进行初始化。接下来，通过设定环境条件（例如 checkout branch, deploy env 和 tag version 等），流水线会拉取 GitLab 上的源代码。在第三阶段会对 Golang 项目进行构建，触发 SonarQube 分析源代码，检查其质量。如果没有特殊情况或者代码没有重大问题，流水线将会进行下一阶段。

一切正常运行之后，流水线会在第四阶段使用 Docker 打包项目。然后将 Docker 镜像推送至 Docker 仓库。第五阶段会将 Docker 镜像部署至所需的环境，例如沙盒和生产环境。流水线上的垃圾会随后清空，并向我们的团队发送流水线的运行结果。

使用 SonarQube 进行代码质检

我们使用 SonarQube 进行静态代码质量分析。下方的截图是 SonarQube 对我们服务分析结果的一个示例。这帮我们迅速定位问题，并找到我们代码中的缺陷。

问题和解决方案

安装 KubeSphere 时，我们创建了一些 CRD。由于测试等一些原因，我重新安装并删除了一些资源。API Server 在处理 OpenAPI 验证 x-kubernetes-int-or-string 的 CRD 请求时，会出现 Panic。etcd 同时也会出现 Panic 并不断崩溃。

这个问题出现在 Kubernetes v1.16.2 之前的版本。更新 Kubernetes API 并不安全，而且不可避免地会导致停机。不这么做的话则无法访问 API，kubectl 或所有的控制器也会终止运行。

在 v1.16.2 之后的版本中，这些问题已经解决。在生产环境下请特别注意这些问题。

贡献开源

为了满足对云原生技术栈集中管理的需求，我们选择使用 KubeSphere 在 Kubernetes 的基础上加强可观测性。现在，我们可以在几分钟内迅速部署新的微服务并分配资源。KubeSphere 同样也帮助开发者加快了产品上市时间。

KubeSphere 让 ZaloPay 的运维团队可以把更多的时间花在管理和工作流程的自动化上。KubeSphere 提供了丝滑的用户体验，对开发者友好的 Web 控制台将内在复杂的逻辑关系清晰地呈现，使得操作基础设施资源更为简单。KubeSphere 是世界上一个正在快速发展的开源社区。KubeSphere 社区帮助众多的公司和组织通过云原生技术轻松运营各自的业务，解决 Kubernetes 自身的痛点。

我非常喜欢开源模式。这种模式让全世界的开发者们走得更近，得以在一个开放、活跃的社区相互讨论彼此的观点，帮助解决彼此的问题。我相信开源是软件行业的大势所在，我也在努力为这一社区贡献自己的一份力量。我希望 KubeSphere 可以继续助力开源社区的发展，为广大用户带来更好的产品。