IKE VPN 비밀 통로: VPN 터널 생성과 키 교환의 핵심 과정 이해하기
IKE가 뭐길래 VPN이 “비밀 대화”를 시작할 수 있을까
VPN을 “비밀 통로”라고 많이들 부르잖아요. 근데 통로만 뚫어놓고 자물쇠(암호키)가 없으면 그냥 문 열린 지하도예요. IKE(Internet Key Exchange)는 바로 그 자물쇠를 “서로 안전하게 맞춰보는 과정”을 담당하는 프로토콜입니다. ktword 자료에 따르면 IKE는 IPsec에서 보안연관(SA, Security Association)을 만들기 위한 복합 키 교환 프로토콜이고, Diffie-Hellman 같은 키 교환과 공개키 방식을 활용하며 UDP 500/4500 포트를 사용해요. (ktword, http://www.ktword.co.kr/test/view/view.php?no=2284)
제가 2023년에 베트남(호치민) 지사-서울 본사 간 IPsec VPN 붙이던 현장에서, IKE Phase 1 제안(암호군) 하나 안 맞아서 터널이 2시간째 안 올라오던 적이 있거든요.
여기서 SA는 “우리 앞으로 어떤 알고리즘으로, 어떤 키로, 얼마나 자주 키를 갈아끼우면서 통신할지” 같은 약속 묶음이라고 보면 됩니다. 즉 IKE는 “약속(정책) + 신원확인(인증) + 키 만들기”를 자동으로 처리해주는 협상 담당 매니저예요.
실무에서 이 SA/IKE 협상 개념이 중요한 이유는, 트래픽이 안 붙을 때 원인이 “회선”이 아니라 “서로 약속이 안 맞아서”인 경우가 생각보다 흔하거든요.
키 교환이 실제로 굴러가는 2단계(Phase 1, Phase 2) 구조
IKE는 크게 2단계로 나뉘는데요. TechTarget 정의에 따르면 IKE는 IPsec 보안 연결 협상을 담당하고, Phase 1과 Phase 2로 보안 통신을 설정하며 Diffie-Hellman과 인증서(X.509) 같은 수단을 자주 사용한다고 정리돼요. (TechTarget, https://www.techtarget.com/searchsecurity/definition/Internet-Key-Exchange)
Phase 1: “우리끼리 안전하게 얘기할 비밀 회의실”부터 만들기
1단계의 목표는 “IKE SA”를 만드는 거예요. 쉽게 말해, 앞으로 협상 메시지(키/정책 이야기)를 주고받을 때 도청당하지 않도록 보호되는 채널을 먼저 깔아요.
이때 하는 일은 대략 이런 흐름입니다.
서로 “내가 지원하는 암호 알고리즘/해시/인증 방식” 제안
Diffie-Hellman으로 “공유 비밀값” 만들기(서로의 재료를 섞어서 같은 반죽을 만드는 느낌인데, 옆에서 봐도 레시피는 안 보이게)
PSK(사전공유키)나 인증서로 “너 누구냐” 인증
결과적으로 IKE SA 성립: 이제부터 2단계 협상을 더 안전하게 진행 가능
Phase 2: “이제 진짜 데이터(트래픽) 잠그는 자물쇠” 만들기
2단계에서는 실제 사용자 데이터가 지나갈 “IPsec SA”를 협상해요. 즉, ESP/AH 같은 보호 방식, 암호 알고리즘, 키 수명, 트래픽 셀렉터(어떤 통신을 터널로 보낼지) 등을 정해서 “데이터 암호화의 실전 세팅”을 끝냅니다.
Palo Alto Networks 문서에 따르면 IKE는 1단계에서 SA 형성과 보안 서비스 제안을 하고, 2단계에서 프로토콜/알고리즘을 협상해 데이터 전송을 위한 SA를 완성한다고 설명해요. (Palo Alto Networks, https://docs.paloaltonetworks.com/network-security/ipsec-vpn/administration/ipsec-vpn-basics/internet-key-exchange-ike-for-vpn)
참고로 IKEv2 동작과 메시지 교환은 IETF 표준 문서인 RFC 7296에 정리돼 있어서, 장비 벤더가 달라도 “이 정도까지는 공통으로 맞춰야 한다”는 기준점이 되기도 해요.
IKEv1의 모드: 메인 모드 vs 어그레시브 모드, 그리고 퀵 모드
IKEv1을 얘기할 때 “모드”가 자주 나오는데요. 이게 처음 보면 메뉴판 같아서 헷갈립니다. 핵심만 잡으면 간단해요.
Cisco 문서에 따르면 IKEv1은 2단계 구조이며, 1단계에서 안전한 인증 터널을 만들고 2단계에서 데이터 암호화 매개변수를 협상합니다. 또한 1단계 협상 방식으로 기본 모드(Main Mode)와 적극 모드(Aggressive Mode)가 언급돼요. (Cisco, https://www.cisco.com/c/ko_kr/support/docs/security-vpn/ipsec-negotiation-ike-protocols/217432-understand-ipsec-ikev1-protocol.html)
메인 모드(Main Mode): 6번 주고받고, 신원도 더 숨김
메시지를 6번 교환하는 대신, 인증 과정에서 중요한 정보가 보호(암호화)되는 쪽에 더 신경을 써요.
“천천히 가더라도 정석대로, 신분증은 봉투에 넣어서 제출” 느낌입니다.
어그레시브 모드(Aggressive Mode): 3번만에 빨리, 대신 노출이 생길 수 있음
네이버 블로그 자료에 따르면 어그레시브 모드는 3단계로 빠르지만 ID가 노출될 수 있는 단점이 있고, 메인 모드는 6단계로 인증까지 암호화된다고 정리돼요. (네이버 블로그, https://m.blog.naver.com/wnrjsxo/221079015713)
즉 “빨리 문 열어달라고 소리치면(정보를 빨리 내면) 빨리 들어가긴 하는데, 주변 사람들이 뭐라고 했는지 들을 수 있다” 쪽에 가까워요. 환경마다 다르지만, 보안 관점에서 무조건 빠른 게 좋은 건 아니죠.
퀵 모드(Quick Mode): Phase 2는 이걸로만 간다
IKEv1의 2단계(IPsec SA 협상)는 흔히 퀵 모드라고 부릅니다. 여기서 실제 데이터 보호용 키가 만들어지고, 어떤 트래픽을 보호할지 최종 합의가 이뤄져요.
UDP 500/4500은 왜 자꾸 나오냐: NAT 때문인 경우가 많아요
IKE는 UDP로 메시지를 주고받는 게 일반적이고, 포트 500 또는 4500이 자주 등장합니다. ktword 자료에 따르면 IKE는 UDP 500 또는 4500을 통해 키를 전달한다고 정리돼요. (ktword, http://www.ktword.co.kr/test/view/view.php?no=2284)
UDP 500: “기본 IKE 통신”
UDP 4500: NAT 환경에서 흔히 쓰이는 “NAT Traversal(우회)” 쪽과 엮여서 등장하는 경우가 많아요
집 공유기 뒤, 회사 방화벽 뒤처럼 NAT가 끼면 IP/포트가 중간에서 바뀌잖아요. 그러면 “서로 같은 상대랑 얘기 중”이라는 전제가 흔들릴 수 있어서, 이를 감안한 방식으로 4500이 쓰이는 경우가 많습니다. (세부 동작은 장비/설정에 따라 달라질 수 있어요.)
흔한 오해 3가지: IKE를 알면 VPN이 덜 신비로워져요
Palo Alto Networks 자료에 따르면 IKE는 “양 끝단이 합의된 키와 암호화 방법으로 암복호화할 수 있도록” 만드는 프로토콜이라고 설명하거든요. (Palo Alto Networks, https://docs.paloaltonetworks.com/network-security/ipsec-vpn/administration/ipsec-vpn-basics/internet-key-exchange-ike-for-vpn) 이 관점에서 오해를 정리해보면요.
오해 1) “IKE가 데이터를 암호화한다”
IKE는 협상/인증/키 교환 담당이고, 실제 데이터 보호는 IPsec(보통 ESP)이 맡는 구조예요. IKE는 “자물쇠 맞추기”, IPsec은 “문 잠그고 지키기”에 가깝습니다.
오해 2) “키는 한 번 만들면 끝”
IKE는 키 교체(재협상)도 지원해요. 키를 계속 같은 걸 쓰면 위험해질 수 있으니, 수명(lifetime) 같은 정책으로 주기적으로 바꾸는 구성이 일반적입니다.
오해 3) “IKEv1이든 v2든 그냥 똑같다”
ktword와 네이버 블로그 자료에서는 IKEv2가 IKEv1의 문제점을 보완해 효율성과 보안성이 강화됐다고 요약해요. (ktword, 네이버 블로그) 다만 실제 선택은 장비 지원, 상호운용성, 기존 구성 등을 같이 봐야 해서 “무조건 v2가 정답”이라고 단정하긴 어렵고, 환경마다 달라질 수 있어요.
마무리: IKE를 한 문장으로 정리하면
다만, 이 글은 “IKE가 뭘 하는지”를 큰 그림으로 이해하는 데 초점을 둔 거라서, 장비 벤더별 구현 차이(예: 제안 우선순위, NAT-T 처리, 로그 표기)는 케이스마다 다를 수 있습니다.
IKE는 “VPN 터널을 만들기 전에, 서로를 확인하고(인증), 어떤 방식으로 잠글지 합의하고(알고리즘/정책), 실제로 쓸 열쇠를 안전하게 만들어서(키 교환) IPsec이 데이터를 암호화할 준비를 끝내는 프로토콜”이에요. (TechTarget 자료의 정의처럼 IKE는 IPsec 협상과 보안 채널 설정의 표준으로 널리 설명됩니다.)
VPN이 느리다/안 붙는다/자꾸 끊긴다 같은 이슈도, 알고 보면 1단계(인증/제안 불일치)에서 삐끗하거나 2단계(트래픽 셀렉터/암호군 불일치)에서 어긋나는 경우가 많거든요. IKE의 2단계 구조만 머릿속에 넣어두면, VPN이 더 이상 “마법”이 아니라 “절차”로 보이기 시작할 거예요.