GKE に kustomize を使ってデプロイしてみる

この記事は Bazel で Go のソースコードをビルドするぞ の延長ですが、 内容がBazel とはあまり関係ない部分なので別記事としました。

上記の記事でも使った以下のリポジトリを使います。

https://github.com/righ/bazel-sample-project

今回の記事では Deployment を使った普通のデプロイについては書かないのでご了承ください。

下準備

デプロイするにあたって必要なツールをセットアップしていきます。

GCP のアカウント作成はここでは説明しません。 新規作成の場合は無料枠が3万円分もらえるはずなのでとりあえず作ってみるとよいでしょう。

下準備が大半を占めてるのではよ本題は入れって人は 飛ばしてください

kubectl Installation

この記事の目的である kustomize を使ってデプロイするだけであれば kubectl は必要ありませんが、 色々確認するために使うのでインストールしておきましょう。

Mac や Windows の場合は DockerDesktop をインストールして Kubernetes を有効にすれば OK です。

それ以外の場合は公式ドキュメントを参照してください。 https://kubernetes.io/ja/docs/tasks/tools/install-kubectl/

Google Cloud SDK の Setup

GKE にデプロイするには Google Cloud SDK をインストールする必要があります。

環境に合わせてセットアップします。

• macOS用のクイックスタート
• Windows用のクイックスタート
• Linux用のクイックスタート

Mac や Linux の場合は少々面倒で アーカイブをダウンロードしてスクリプトを実行する必要があります。

私の場合はホームディレクトリ配下に解凍して google-cloud-sdk/install.sh を実行しました。 google-cloud-sdk/bin/ 配下にコマンドがあるので PATH を設定すれば gcloud コマンドが使えるようになります。

最後に gcloud init を実行すれば OAuth の認証が行われ、GCPのアカウント(プロジェクト) とひも付きます。

クラスタを作成する

Kubernetes で管理する最も大きな単位が クラスタという入れ物です。

クラスタは GUI で作成することもできますが、コマンドでも作成できます。 今回は gcloud コマンドを使って sample-cluster というクラスタを作りました。

(おそらく)コマンドでの作成が終わると自動的にコンテキストが切り替わります。(少し自信なし) 切り替わっていない場合は kubectl config use-context でスイッチしましょう。

コンテキストとは kubectl が指すクラスタです。

kubectl で確認してみましょう。

無事に GKE に作成したクラスタにスイッチされていますね。

この記事では gke_righm9_asia-northeast1-a_sample-cluster コンテキストに スイッチされている前提で話を進めていきます。

warning

• ローカルの開発でも Kubernetes を使っている場合はコンテキストを戻すことを忘れないようにしましょう。

GCR に Push する

GKE で利用するイメージはどこかしらの Dockerレジストリに Push する必要があります。

Bazel で Go のソースコードをビルドするぞ で Docker Hub に Push してあったのですが、なぜかそれを指定しても Pull できなかった(ImagePullBackOff)ので おとなしく GCR に Push することにしました。

docker コマンドで gcr に PUSH するために 認証ヘルパー を使います。

無事認証が終わったら 以下のようにタグを付けて Push するのが一般的な方法です。

load("@bazel_tools//tools/build_defs/pkg:pkg.bzl", "pkg_tar")
load("@io_bazel_rules_docker//container:container.bzl", "container_image", "container_push")
load("@io_bazel_rules_docker//go:image.bzl", "go_image")

def service_image(name, **kwargs):
    pkg_tar(
        name = "tar",
        srcs = ["@grpc_health_probe//file"],
        mode = "0o755",
        package_dir = "/bin",
        visibility = ["//visibility:public"],
    )

    container_image(
        name = "base_image",
        base = "@go_image_base//image",
        tars = [":tar"],
        visibility = ["//visibility:public"],
    )

    go_image(
        name = "image",
        base = ":base_image",
        embed = ["//" + name + ":go_default_library"],
        goarch = "amd64",
        goos = "linux",
        visibility = ["//visibility:public"],
        **kwargs
    )

    container_push(
        name = "push_to_dockerhub",
        format = "Docker",
        image = ":image",
        registry = "docker.io",
        repository = "righm9/" + name,
        tag = "{BUILD_TIMESTAMP}",
    )

    container_push(
        name = "push_to_gcr",
        format = "Docker",
        image = ":image",
        registry = "gcr.io",
        repository = "righm9/" + name,
        tag = "latest",
    )

こんな感じになっていれば OK です。

kustomize というリポジトリはこの後のセクションで作ります。

kustomize

GKE へのデプロイで kustomize を使うには GoogleCloudPlatform/cloud-builders-community - Github を使います。

Clone して、移動して

以下のように gcloud builds submit でビルドすると kustomize という GCR にリポジトリが作られます。 (順番が前後しますが先程のリポジトリはこれによって作られたものだったのです)

これで kustomize リポジトリができているはずなので確認してみてください。

GKEにDeployする

ようやくここからが本番です。

ここでも gcloud builds submit コマンドを使ってビルドをしていきます。 先程使った cloudbuild.yaml と同じファイル名ですが中身は異なり、前のセクションで作成した kustomize リポジトリを使って production の Kustomization をビルドしています。

• cloudbuild.yaml

  steps:
  - id: deploy gateway
    name: 'gcr.io/$PROJECT_ID/kustomize'
    args:
    - 'build'
    - 'kube/services/gateway/overlays/production'
    env:
    - 'APPLY=true'
    - 'CLOUDSDK_COMPUTE_ZONE=asia-northeast1-a'
    - 'CLOUDSDK_CONTAINER_CLUSTER=sample-cluster'
    - 'GCLOUD_PROJECT=righm9'
  
  - id: deploy echo
    name: 'gcr.io/$PROJECT_ID/kustomize'
    args:
    - 'build'
    - 'kube/services/echo/overlays/production'
    env:
    - 'APPLY=true'
    - 'CLOUDSDK_COMPUTE_ZONE=asia-northeast1-a'
    - 'CLOUDSDK_CONTAINER_CLUSTER=sample-cluster'
    - 'GCLOUD_PROJECT=righm9'
  
  
  

• $ gcloud builds submit --config cloudbuild.yaml Creating temporary tarball archive of 33 file(s) totalling 28.8 KiB before compression. Some files were not included in the source upload. Check the gcloud log [/Users/righ/.config/gcloud/logs/2020.05.03/22.58.35.984271.log] to see which files and the contents of the default gcloudignore file used (see `$ gcloud topic gcloudignore` to learn more). Uploading tarball of [.] to [gs://righm9_cloudbuild/source/1588514316.06-6d59d2dd01774271bd0131c108cbf44b.tgz] Created [https://cloudbuild.googleapis.com/v1/projects/righm9/builds/b22a262a-6792-427f-aba8-c19b09d1b2a3]. Logs are available at [https://console.cloud.google.com/cloud-build/builds/b22a262a-6792-427f-aba8-c19b09d1b2a3?project=846141039915]. ------------------------------------------------- REMOTE BUILD OUTPUT ------------------------------------------------- starting build "b22a262a-6792-427f-aba8-c19b09d1b2a3" FETCHSOURCE Fetching storage object: gs://righm9_cloudbuild/source/1588514316.06-6d59d2dd01774271bd0131c108cbf44b.tgz#1588514317616235 Error: Exec command aa533ebfef3c9a50f5b5ee4efd886e8c7f2f80b45f8378cc2480eb70dbc9fee3 is already running BUILD Starting Step #0 - "deploy gateway" Step #0 - "deploy gateway": Pulling image: gcr.io/righm9/kustomize Step #0 - "deploy gateway": Using default tag: latest Step #0 - "deploy gateway": latest: Pulling from righm9/kustomize Step #0 - "deploy gateway": 75f546e73d8b: Already exists Step #0 - "deploy gateway": 0f3bb76fc390: Already exists Step #0 - "deploy gateway": 3c2cba919283: Already exists Step #0 - "deploy gateway": 5a992b2091ae: Already exists Step #0 - "deploy gateway": dc685810031f: Already exists Step #0 - "deploy gateway": 0325363c9dcf: Pulling fs layer Step #0 - "deploy gateway": cfe0bb10a3dc: Pulling fs layer Step #0 - "deploy gateway": 0325363c9dcf: Verifying Checksum Step #0 - "deploy gateway": 0325363c9dcf: Download complete Step #0 - "deploy gateway": 0325363c9dcf: Pull complete Step #0 - "deploy gateway": cfe0bb10a3dc: Verifying Checksum Step #0 - "deploy gateway": cfe0bb10a3dc: Download complete Step #0 - "deploy gateway": cfe0bb10a3dc: Pull complete Step #0 - "deploy gateway": Digest: sha256:0a4a22993c7380cc57e145112a22e0cc9ccb2dfb1e1ec376e0ee6d141179b04c Step #0 - "deploy gateway": Status: Downloaded newer image for gcr.io/righm9/kustomize:latest Step #0 - "deploy gateway": gcr.io/righm9/kustomize:latest Step #0 - "deploy gateway": Running: gcloud container clusters get-credentials --project="righm9" --zone="asia-northeast1-a" "sample-cluster" Step #0 - "deploy gateway": Fetching cluster endpoint and auth data. Step #0 - "deploy gateway": kubeconfig entry generated for sample-cluster. Step #0 - "deploy gateway": configmap/nginx-conf unchanged Step #0 - "deploy gateway": service/gateway unchanged Step #0 - "deploy gateway": deployment.apps/gateway created Finished Step #0 - "deploy gateway" Starting Step #1 - "deploy echo" Step #1 - "deploy echo": Already have image (with digest): gcr.io/righm9/kustomize Step #1 - "deploy echo": service/echo unchanged Step #1 - "deploy echo": deployment.apps/echo created Finished Step #1 - "deploy echo" PUSH DONE ----------------------------------------------------------------------------------------------------------------------- ID CREATE_TIME DURATION SOURCE IMAGES STATUS b22a262a-6792-427f-aba8-c19b09d1b2a3 2020-05-03T13:58:39+00:00 18S gs://righm9_cloudbuild/source/1588514316.06-6d59d2dd01774271bd0131c108cbf44b.tgz - SUCCESS

これだけです。

ワークロードを見てみると Push されていることがわかりますね。

production の kustomization.yaml では GCR に Push したイメージを使うようにベースの定義にパッチしています。

apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization
bases:
- ../../base
patchesJson6902:
- path: patch.yaml
  target:
    kind: Deployment
    name: echo
    group: apps
    version: v1

最後に gateway の IP にアクセス＆動作確認してみます。

(もうアクセスできません)

無事動いたのでおしまい。

参考

https://qiita.com/maruware/items/a646500795dc0427cadc