k3s 클러스터를 HAProxy와 Keepalived로 구성하는 고가용성 가이드

k3s 고가용성(HA) 구성: HAProxy와 Keepalived 사용 가이드

아키텍처 개요

• 여러 대의 k3s 서버 노드 (일반적으로 3대 이상)

• 로드 밸런싱을 위한 HAProxy

• 고가용성을 위한 Keepalived (가상 IP 관리)

• 여러 대의 k3s 에이전트 노드 (선택사항)

1. 환경 준비

필요한 서버 구성

• k3s 서버 노드: 최소 3대 (예: server1, server2, server3)

• 가상 IP(VIP): 클러스터 액세스용 (예: 10.200.200.130)

초기 설정

127.0.0.1 localhost
127.0.1.1 master-1

10.200.200.131 k3s.test.com

# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

2. keepalived 설치(optional)

Keepalived 설치 및 구성

# Keepalived 설치
sudo apt install -y keepalived

# Keepalived 구성 (마스터)
sudo cat > /etc/keepalived/keepalived.conf << EOF
vrrp_script check_haproxy {
    script "killall -0 haproxy"
    interval 2
    weight 2
}

vrrp_instance VI_1 {
    state MASTER
    interface ens160
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass <CHANGE_KEEPALIVED_AUTH_PASS>
    }
    virtual_ipaddress {
        10.200.200.130
    }
    track_script {
        check_haproxy
    }
}
EOF

# Keepalived 시작
sudo systemctl restart keepalived
sudo systemctl enable keepalived

# Keepalived 설정 (백업)
sudo cat > /etc/keepalived/keepalived.conf << EOF
vrrp_script check_haproxy {
    script "killall -0 haproxy"
    interval 2
    weight 2
}

vrrp_instance VI_1 {
    state BACKUP
    interface ens160
    virtual_router_id 51
    priority 99
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass <CHANGE_KEEPALIVED_AUTH_PASS>
    }
    virtual_ipaddress {
        10.200.200.130
    }
    track_script {
        check_haproxy
    }
}
EOF

sudo systemctl restart keepalived
sudo systemctl enable keepalived

hosts 파일 수정

127.0.0.1 localhost
127.0.1.1 master-1

10.200.200.130 k3s.test.com

# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

3. k3s 서버 설치

첫 번째 k3s 서버 노드 설치

curl -sfL https://get.k3s.io | INSTALL_K3S_EXEC="server" \
	K3S_KUBECONFIG_MODE="644" \
	sh -s - --flannel-backend=vxlan \
	--tls-san=k3s.test.com \
	--cluster-init \
	--token <CHANGE_K3S_CLUSTER_TOKEN>

나머지 k3s 서버 노드 설치

curl -sfL https://get.k3s.io | sh -s - server \
  --token=<CHANGE_K3S_CLUSTER_TOKEN> \
  --tls-san=k3s.test.com \
  --write-kubeconfig-mode=644 \
  --server=https://k3s.test.com:6443

4. HAProxy 설정(optional)

HAProxy 설치 및 구성

# HAProxy 설치
sudo apt update
sudo apt install -y haproxy

# HAProxy 구성
sudo cat > /etc/haproxy/haproxy.cfg << EOF
global
    log /dev/log local0
    log /dev/log local1 notice
    daemon

defaults
    log global
    mode tcp
    option tcplog
    timeout connect 5000
    timeout client 50000
    timeout server 50000

frontend k3s_frontend
		mode tcp
    bind 10.200.200.130:6443
    default_backend k3s_backend

backend k3s_backend
		mode tcp
    option tcp-check
    balance roundrobin
    server master-1 10.200.200.131:6443 check
    server master-2 10.200.200.132:6443 check
    server master-3 10.200.200.133:6443 check
EOF

# HAProxy 재시작
sudo systemctl restart haproxy
sudo systemctl enable haproxy

4. 클러스터 확인 및 에이전트 노드 추가

kubeconfig 파일 수정

# kubeconfig 파일에서 127.0.0.1을 k3s.test.com으로 변경
sudo sed -i 's/127.0.0.1/k3s.test.com/g' /etc/rancher/k3s/k3s.yaml

# 변경 확인
cat /etc/rancher/k3s/k3s.yaml | grep server

# 어느 서버 노드에서든 실행
sudo kubectl get nodes

curl -sfL https://get.k3s.io | INSTALL_K3S_EXEC="agent" \
 K3S_URL=https://k3s.test.com:6443 \
 sh -s - --token <CHANGE_K3S_CLUSTER_TOKEN>

5. 주의사항 및 팁

• 네트워크 방화벽: k3s 서버 간 통신을 위해 필요한 포트(6443, 8472 등) 오픈 필요

• 데이터베이스: 기본적으로 SQLite를 사용하나 대규모 클러스터의 경우 외부 데이터베이스(MySQL, PostgreSQL) 권장

• 보안: 실제 배포 시 더 강력한 인증 및 암호화 설정 필요

• 모니터링: 클러스터 상태 모니터링을 위한 도구 설정 권장

6. 로컬에서 k3s 접속

k3s.yaml 파일 가져오기

# 마스터 노드에서 kubeconfig 파일 복사
scp <pieroot>@k3s-master:/etc/rancher/k3s/k3s.yaml ./k3s.yaml

# 확인 및 필요시 수정
sed -i 's/127.0.0.1/k3s.test.com/g' ./k3s.yaml

# 또는 파일 내용 확인
cat ./k3s.yaml | grep server

hosts 파일 수정

# macOS와 Windows에서 hosts 파일 수정하기

# macOS의 경우:
sudo nano /etc/hosts
# 아래 줄 추가:
10.200.200.130 k3s.test.com

# Windows의 경우:
# 메모장을 관리자 권한으로 실행한 후 C:\Windows\System32\drivers\etc\hosts 파일을 열고
# 아래 줄 추가:
10.200.200.130 k3s.test.com

1. 터미널 열기: Applications > Utilities > Terminal 또는 Spotlight(⌘+Space)에서 'Terminal' 검색

2. hosts 파일 열기: sudo vi /etc/hosts 명령어 실행 (관리자 암호 입력 필요)

3. hosts 파일 편집: 파일 하단에 10.200.200.130 k3s.test.com 추가

4. 변경사항 저장: ESC 입력 후 :wq 로 저장 및 나가기

1. 관리자 권한으로 메모장 실행: 시작 메뉴에서 '메모장' 검색 > 마우스 오른쪽 버튼 클릭 > '관리자 권한으로 실행'

2. hosts 파일 열기: 메모장에서 File > Open으로 이동 > C:\Windows\System32\drivers\etc\hosts 입력 > 파일 형식을 'All Files (.)'로 변경 > Open 클릭

3. hosts 파일 편집: 파일 하단에 10.200.200.130 k3s.test.com 추가

4. 변경사항 저장: File > Save 메뉴 선택

1. ping 테스트: 터미널 또는 명령 프롬프트에서 ping k3s.test.com 실행하여 10.200.200.130 IP로 응답하는지 확인

2. kubectl 접속 테스트: kubectl --kubeconfig=./k3s.yaml cluster-info 명령으로 클러스터 접속 확인

KUBECONFIG 설정

export KUBECONFIG=./k3s.yaml

kubectl 구성 및 접속 테스트

# 클러스터 정보 확인
kubectl cluster-info

# 노드 목록 확인
kubectl get nodes

# 네임스페이스 확인
kubectl get ns

주의사항

• 보안: kubeconfig 파일은 클러스터 관리 권한을 가지고 있으므로 안전하게 보관해야 합니다.

• 네트워크: 로컬 시스템에서 k3s.test.com(또는 VIP)으로 접근 가능해야 합니다. 필요시 로컬의 /etc/hosts 파일을 수정하세요.

• 인증서: TLS 인증서 관련 문제가 발생하면 kubeconfig 파일에서 인증서 설정을 확인하세요.

• 명령행 도구: kubectl 버전이 서버 버전과 호환되는지 확인하세요.

정리

핵심 정리