コンテンツへスキップ

今回の環境

Ubuntu 21.04 192.168.10.211 ControlPlane 2vCPU 3GBメモリ 16GB SSD
Ubuntu 21.04 192.168.10.212 WorkerNode 1vCPU 1GBメモリ 16GB SSD
Ubuntu 21.04 192.168.10.213 WorkerNode 2vCPU 2GBメモリ 16GB SSD

Kubernetes のバージョンは1.22です。

VMWare ESXi 6.7U2上に構築しています。
スペックはわざとバラバラにしてみました。ちょっとケチりすぎたかも。

基本的に公式ドキュメントに沿って作業していきます。

https://kubernetes.io/ja/docs/setup/production-environment/tools/kubeadm/install-kubeadm/

nftablesではなくiptablesを使うよう変更

# レガシーバイナリがインストールされていることを確認してください
sudo apt-get install -y iptables arptables ebtables

# レガシーバージョンに切り替えてください。
sudo update-alternatives --set iptables /usr/sbin/iptables-legacy
sudo update-alternatives --set ip6tables /usr/sbin/ip6tables-legacy
sudo update-alternatives --set arptables /usr/sbin/arptables-legacy
sudo update-alternatives --set ebtables /usr/sbin/ebtables-legacy

Dockerをインストール

https://kubernetes.io/ja/docs/setup/production-environment/container-runtimes/

HTTPS越しのリポジトリの使用をaptに許可するために、パッケージをインストール

sudo apt-get update && sudo apt-get install -y \
apt-transport-https ca-certificates curl software-properties-common gnupg2

Docker公式のGPG鍵を追加

sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

Dockerのaptレポジトリを追加

sudo add-apt-repository \
"deb [arch=amd64] https://download.docker.com/linux/ubuntu \
$(lsb_release -cs) \
stable"

 

バージョン指定が利かなかったので外しています

sudo apt-get update && sudo apt-get install -y \
containerd.io \
docker-ce \ docker-ce-cli

デーモンをセットアップ

sudo cat > /etc/docker/daemon.json <<EOF
{
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
"max-size": "100m"
},
"storage-driver": "overlay2"
}
EOF
※Permission Deniedでファイルが出来なければsudo viで普通に作る
sudo mkdir -p /etc/systemd/system/docker.service.d

dockerを再起動

sudo systemctl daemon-reload
sudo systemctl restart docker

kubeadm、kubelet、kubectlのインストール

https://kubernetes.io/ja/docs/setup/production-environment/tools/kubeadm/install-kubeadm/#kubeadm-kubelet-kubectl%E3%81%AE%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB

sudo apt-get update && sudo apt-get install -y apt-transport-https curl
curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -

cat <<EOF | sudo tee /etc/apt/sources.list.d/kubernetes.list
deb https://apt.kubernetes.io/ kubernetes-xenial main
EOF

sudo apt-get update && sudo apt-get install -y kubelet kubeadm kubectl
sudo apt-mark hold kubelet kubeadm kubectl

sudo apt-get update && sudo apt-get upgrade

swapを無効に

sudo swapoff -a

再起動したとき元に戻らないよう、swap.imgをコメントアウト

sudo vi /etc/fstab

#swap.img none swap sw 0 0

Project CalicoをKubernetesで使ってみる:構築編 を参考にkubeadmの操作

sudo kubeadm init --apiserver-advertise-address=192.168.10.211 --pod-network-cidr=192.168.0.0/16

CNI(Container Network Interface)はCalicoを使う予定で、--pod-network-cidr で指定しているIPアドレス範囲は、CALICO_IPV4POOL_CIDRの値に合わせています。

https://docs.projectcalico.org/reference/node/configuration

Your Kubernetes control-plane has initialized successfully! のあとに、クラスタに参加させるためのkubeadmコマンドが表示されます。

kubeadm join 192.168.10.211:6443 --token ********************* \
--discovery-token-ca-cert-hash sha256:***************************************************************
kubectlをroot以外のユーザーでも実行できるように
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

他2台のWorkerNodeでもswapの無効化とkubeadm join ~を実行してクラスタに参加させます。

CNIのインストールを行います。

Installing Addonsのページでは大量に紹介されているのですが、前述の通りCalicoを選択。
Google Cloud のGKEでもCalicoを使っているらしく、似た環境にしたいためです。

CalicoQuickStartを参考に。

kubectl create -f https://docs.projectcalico.org/manifests/tigera-operator.yaml
kubectl create -f https://docs.projectcalico.org/manifests/custom-resources.yaml

tigera-operator.yaml をkubectl createすると実行はできますが、下記のWarningが出ます。

Warning: policy/v1beta1 PodSecurityPolicy is deprecated in v1.21+, unavailable in v1.25+

Kubernetes1.21以降PodSecurityPolicyは非推奨で、1.25から正式に廃止されるとのこと。
ちなみに、policy/v1ではPodSecurityPolicyは存在しません。
PodSecurityPolicyの置き換えは議論中らしいのでそのまま使うことに。

上のふたつのyamlをcreateしてからPodの様子を見てみます。

$ kubectl get pods -n calico-system
NAME READY STATUS RESTARTS AGE
calico-kube-controllers-bdd5f97c5-zq5tp 1/1 Running 0 9h
calico-node-nl5mt 1/1 Running 0 9h
calico-node-vgjb2 1/1 Running 0 9h
alico-node-wrmtn 1/1 Running 0 9h
calico-typha-788bf594d7-fjt54 1/1 Running 0 9h
calico-typha-788bf594d7-tvld2 1/1 Running 0 9h
calico-typha-788bf594d7-x5pcr 1/1 Running 0 9h

STATUSがすべてRunningになっていたらOK

Nodeの様子も確認します。

$ kubectl get pods -n calico-system
NAME READY STATUS RESTARTS AGE
calico-kube-controllers-bdd5f97c5-zq5tp 1/1 Running 0 9h
calico-node-nl5mt 1/1 Running 0 9h
calico-node-vgjb2 1/1 Running 0 9h
calico-node-wrmtn 1/1 Running 0 9h
calico-typha-788bf594d7-fjt54 1/1 Running 0 9h
calico-typha-788bf594d7-tvld2 1/1 Running 0 9h
calico-typha-788bf594d7-x5pcr 1/1 Running 0 9h

もしNotReadyになっていたらkubectl describe nodesやsystemctl status kubectlで何が起きているか確認し、トラブルシュートしていきます。

 

Google Cloudを使ったアプリケーション開発において、「簡単にデプロイされているアプリのバージョンを確認したい」という要望があったので、gitのCommit IDやpushしたタグをコンテナに詰める方法をメモっておきます。

なお、メインはCloud Buildのため、Cloud RunとSource Repogitriesについては省略しています。

ディレクトリ構成

┣cloudbuild
┃┗cloudbuild.yaml
┗container
 ┣Dockerfile
 ┗html
  ┗index.html

cloudbuild/cloudbuild.yamlの中身(の一部)

steps:
  - name: gcr.io/cloud-builders/docker
    args:
      - build
      - '--no-cache'
      - '-t'
      - '$_GCR_HOSTNAME/$PROJECT_ID/$REPO_NAME/$_SERVICE_NAME:$COMMIT_SHA'
      - container
      - '-f'
      - container/Dockerfile
      - '--build-arg'
      - COMMIT_SHA=$COMMIT_SHA
      - '--build-arg'
      - TAG_NAME=$TAG_NAME
    id: Build
    (長いので以下略/Cloud RunをWebコンソールから作ったときに作成されるものと同じ)

container/Dockerfile の中身

FROM nginx

COPY ./html /usr/share/nginx/html

ARG COMMIT_SHA
ARG TAG_NAME

ENV COMMIT_SHA ${COMMIT_SHA:-local}
ENV TAG_NAME ${TAG_NAME:-local}

RUN echo ${COMMIT_SHA} > /usr/share/nginx/html/commit.txt
RUN echo ${TAG_NAME} > /usr/share/nginx/html/tag.txt

--build-arg を使ってCOMMIT_SHAとTAG_NAMEを渡します。

ビルド時にARGで受け取った後、環境変数に格納して公開ディレクトリのテキストファイルに書き出しています。

1.0.2のタグが付いたCommit IDが42e23d5のコミット

上記画像の場合、[URL]/commit.txtにアクセスすると、「42e23d574a162804813b1a5dee1da7cb8247f734」
[URL]/tag.txtにアクセスすると、「1.0.2」のテキストが表示されます。

必要なものは以下の3つです。

・サーバに設置済みのWordPress
Two-Factorプラグイン
・セキュリティキー

セキュリティキーはAmazonでYubico で検索すると色々出ます。
指紋認証やNFC対応があると高くなりますが、3500円程度のもので大丈夫です。

今回使用したのはこちら。(MicroSDカードはサイズの比較用)

まずは、WordPressの管理画面からTwo-Factorプラグインをインストールして有効化します。

次に、管理画面の「ユーザー」から「プロフィール」ページへ移動します。

プロフィールページ下部に「Two-Factor 設定」と「セキュリティキー」の項目が追加されているを確認したら、FIDO U2F Security Keysの有効・メインのチェックボックスを有効にして更新ボタンを押します。

セキュリティキーをUSBポートに指して、正常に認識したことを確認します。
「新しいキーを登録」をクリックして、セキュリティキーを登録します。

無事セキュリティーが登録できました。(リネームや削除も可能)

試しにログアウトして、再度管理画面にログインしてみましょう。
ログインページでパスワードを入力後にセキュリティキーのチェックページに遷移します。

同時にこのようなウィンドウが表示されるので、セキュリティキーにタッチします。

いつものダッシュボードに遷移したら正常完了です。

MINI Hardening Project #3.5@OWASP Kansai
https://minihardening.connpass.com/event/152553/

今回、Panasonic WonderLabで開催された MiniHardening 3.5に参加しました。
「詳細な競技内容は発信禁止」とのことなので詳細は書けませんが一般的な話として。

脆弱性のあるソフトウェアのアップデート
不必要なサービスは止める
バックアップ大事、リストアまで確認すべし
余計な権限は付けない、必要の無いユーザーは消す
パスワードは強固に、出来れば接続制限も
ファイアウォール無効ダメ、出来ればOutboundも制限する

こういった、普通やろ?と思われる事柄が、Hardeningでは身をもって体験できます。
体で覚える情報セキュリティ(インシデントレスポンス)といったところでしょうか。
今回は競技時間も長かったため、約5時間「コレ放っておくとヤバイ!」な事象が次々起こるのをひたすら捌き続ける(捌けるとは言っていない)感じでした。

私はLinuxの操作と一部のCMSなら少しは自分で動けたのですが、知らない分野(特にアプリケーション)がよわよわなので課題が山積み…というかLinuxすら最近Docker/Kubernetesばかり触っているため、Linux力の低下を実感しました。

次々と事件が起きるためオペレーションミスや判断ミスも多々発生し、悔しいことも多いですが、それも含めて色々と良い経験になりました。

以上、Hardeningはインシデントレスポンスという珍しいイベントを体験できる、楽しく学べる貴重な勉強会だと思います。サーバーを構築・管理する人には強くおすすめします。

出来れば最初はMicro、次にMini、そして本家のステップが望ましいとは思いますが、開催自体が多くはないので近くの地域で開催されていたら思い切って飛び込むと良いと思います。

最後に、OWASP Kansai・MINI Hardening Projectの運営の皆様、ありがとうございました。🙇

ダウンロードとインストール

  1. ISCのダウンロードページからCurrent-Stableのところからダウンロード
    https://www.isc.org/download/
  2. BINDInstall.exe を管理者として実行し、インストーラを起動
  3. ディレクトリやオプション指定の画面ではTools Onlyにのみチェックを入れ、Installボタンを押し、インストール
  4. Visual C++ランタイムのインストールを求められる場合も同意してインストール

パスを通す

環境変数のPathにdig.exeのインストールディレクトリを追加するため、 ファイル名を指定して実行 (Windowsキー+R )画面に以下を入力する

rundll32 sysdm.cpl,EditEnvironmentVariables

C:\Program Files\ISC BIND 9\bin にインストールされているはずなので、ファイルを確認の上、Path に上記のパスを追加。

コマンドプロンプトからdigを実行できるか確認する。

Windows 10 用のリモート サーバー管理ツール
https://www.microsoft.com/ja-JP/download/details.aspx?id=45520

Windows 10(64bit) は WindowsTH-RSAT_WS_1803-x64.msu を選択

PowerShellを起動

whoami/fqdn

RSAT for Windows 10 で追加される機能 (ja-JP)
https://social.technet.microsoft.com/wiki/contents/articles/32010.rsat-for-windows-10-ja-jp.aspx
"Active Directory Module for Windows PowerShell"をインストールするのが目的

hoge(OU)に含まれるメンバー一覧を表示する

Get-ADGroupMember -Identity "hoge"