VPN 연결 인증 과정부터 암호화까지, 연결 버튼 뒤 숨은 5단계

“연결” 버튼 한 번에, VPN은 뭘 그렇게 바쁘게 할까요?

VPN 앱에서 “연결” 누르면 화면엔 초록불 하나 켜지지만, 뒤에서는 작은 이사(주소 옮기기)와 금고 포장(암호화) 작업이 동시에 벌어지거든요. Microsoft Azure 자료에 따르면 VPN은 내 기기와 원격 VPN 서버 사이에 “암호화된 디지털 연결”을 만들고, 그 결과 IP 주소 마스킹(겉으로 보이는 인터넷 주소 바꾸기)도 가능해요. (Microsoft Azure 자료에 따르면)

제가 2021년에 베트남(호치민) 출장 중 호텔 와이파이에서 사내 VPN 붙이다가, 인증서 만료 때문에 연결이 7번 연속 실패했던 적이 있는데요, 그때 “버튼 한 번” 뒤에 단계가 얼마나 많은지 뼈저리게 느꼈습니다.

1단계: “서로 누구냐” 확인부터 합니다 (인증)

연결 버튼을 누르면 제일 먼저 하는 건 “너 진짜 우리 편 맞아?” 확인이에요. 보통 사용자 이름/비밀번호, 인증서, 또는 회사 계정 같은 방식으로 신원을 확인하죠. 이 과정이 깔끔하게 끝나야 다음 단계로 넘어갑니다.

실무에서 이 인증을 대충 넘기면, “암호화는 됐는데 엉뚱한 서버랑 손잡은” 상태가 될 수 있어서 보안도 사용성도 둘 다 터지기 쉽거든요.

여기서 현실적인(?) 윈도우 얘기 하나만 해볼게요. Microsoft Q&A에 따르면 Windows 10에서 VPN 연결 시 자격 증명(아이디/비번) 입력 창이 떴다가 다른 곳을 클릭하면 창이 사라지고 다시 안 뜨는 문제가 보고된 적이 있어요. 그래서 설정 메뉴(설정 > 네트워크 및 인터넷 > VPN)로 들어가 연결하면 회피되거나, CredentialUIBroker.exe를 종료하는 식의 우회가 제안되기도 했고요. (Microsoft Q&A 자료에 따르면)

즉, “연결이 안 된다”가 꼭 네트워크 문제만은 아니라는 거죠. 가끔은 창이 삐진 겁니다.

비유로 보면

헬스장 출입구에서 회원증 찍는 단계예요. 회원 확인이 안 되면 락커룸(터널)로 못 들어가잖아요.

2단계: “비밀 통로(터널)”를 팝니다 (터널링)

인증이 되면, 이제 VPN의 본업인 “터널링(tunneling)”이 시작돼요. 쉽게 말해 인터넷 위에 인터넷을 하나 더 까는 느낌인데요. 내 기기에서 나가는 데이터가 바로 인터넷으로 흩어지는 게 아니라, “VPN 서버까지 가는 전용 통로”로 먼저 들어가요.

나무위키의 설명을 빌리면, 단말이 VPN 프로토콜로 라우터(혹은 VPN 서버)까지 연결을 시도해 논리적으로는 집 공유기에 붙는 것 같은 구조로 이해할 수 있다고 해요. (나무위키 자료에 따르면)

정리하면, 내 PC/폰이 “가상의 공유기”를 하나 더 만든 셈이고, 그 공유기의 역할을 VPN 서버가 해주는 거예요.

3단계: 데이터에 “자물쇠”를 채웁니다 (암호화)

터널만 있다고 안전해지는 건 아니잖아요. 그래서 VPN은 보통 트래픽을 암호화해서, 중간에서 누가 훔쳐보더라도 내용이 안 보이게 만들어요. Surfshark 설명에 따르면 VPN은 인터넷 트래픽을 암호화하고 IP 주소를 숨겨 제3자의 감시나 데이터 수집을 어렵게 한다고 해요. (Surfshark 자료에 따르면)

여기서 포인트는 “공용 와이파이” 같은 환경이에요. 카페 와이파이는 누구나 같은 공간에 붙어 있으니, 도청 시도 자체가 상대적으로 쉬운 편이거든요(환경마다 다를 수 있어요). VPN의 암호화는 이런 구간에서 특히 체감이 큽니다.

비유로 보면

엽서를 보내는 게 아니라, 봉투에 넣고 봉인해서 보내는 거예요. 배달하는 사람(중간 경로)은 주소만 알지, 내용은 못 봅니다.

4단계: 내 IP가 “VPN 서버 주소”로 갈아입습니다 (라우팅/출구)

자, 이제 중요한 장면. 웹사이트 입장에서 “누가 접속했냐”를 보면, 원래는 내 집(내 IP)에서 온 걸로 보이는데요. VPN을 켜면 “VPN 서버가 대신 나가주는 구조”라서, 사이트에는 VPN 서버의 IP가 보이게 됩니다. Microsoft Azure 자료에서도 VPN이 IP 주소 마스킹을 가능하게 한다고 설명하죠. (Microsoft Azure 자료에 따르면)

이 “출구가 바뀐다”는 개념은 IETF에서 표준으로 다루는 IPsec(예: RFC 4301) 같은 문서에서도 터널/정책 기반으로 트래픽을 어디로 태울지 정의하는 방식으로 설명되는, 네트워크 쪽에선 아주 정석적인 아이디어예요.

이때 내 트래픽 흐름은 대략 이렇게 바뀝니다.

• VPN 끔: 내 기기 → ISP(통신사) → 웹사이트

• VPN 켬: 내 기기 → (암호화된 터널) → VPN 서버 → 웹사이트

그래서 지역 제한 콘텐츠 접근, 검열 우회 같은 얘기가 나오는 건데(가능 여부는 서비스/국가/정책에 따라 다를 수 있어요), 핵심 원리는 “출구가 바뀐다”는 거예요.

5단계: 연결 유지(Keepalive)와 재협상도 몰래 합니다

연결이 됐다고 끝이 아니고요. VPN은 연결이 살아있는지 주기적으로 확인(keepalive)하고, 필요하면 키(암호화에 쓰는 비밀값)를 다시 맞추는 재협상도 합니다. 사용자는 가만히 유튜브 보는데, 뒤에서는 “통로 무너지지 말라고” 지지대 점검을 계속 하는 셈이죠.

이 단계는 서비스/프로토콜에 따라 방식이 다르고, 네트워크가 불안정하면 자주 끊겼다 붙는 느낌이 날 수 있어요(환경마다 다를 수 있어요).

흔한 오해 3가지: VPN을 “투명망토”로 보면 곤란해요

다만, 이 글은 “일반적인 상용 VPN이 버튼 한 번 눌렀을 때 벌어지는 전형적인 흐름”을 기준으로 정리한 거라서, 회사 보안정책(항상 켜짐, 분할 터널링 금지 등)이나 프로토콜 구성에 따라 체감 동작은 달라질 수 있습니다.

Surfshark 쪽에서도 “VPN이 완전한 익명성을 보장하진 않는다”는 취지로 설명해요. (Surfshark 자료에 따르면) 오해가 특히 많은 포인트만 딱 3개로 정리해볼게요.

1) “VPN 켰으니 100% 익명”

아니에요. 로그인(구글/인스타), 쿠키, 브라우저 지문 같은 건 VPN과 별개로 나를 추적할 수 있어요. VPN은 “네트워크 경로에서의 가림막”이지, 내 행동 전체를 지워주는 지우개는 아닙니다.

2) “VPN은 무조건 속도 빨라짐”

가끔 빨라지는 경우도 있지만(경로가 더 나을 때), 보통은 암호화/우회 경로 때문에 지연이 늘 수 있어요. 특히 서버가 멀면 체감이 나죠.

3) “VPN은 그냥 앱 하나”

겉은 앱인데, 속은 네트워크 설정(라우팅)과 보안(인증/암호화)이 같이 움직이는 종합 세트예요. 그래서 OS 팝업(자격 증명 창) 같은 데서도 문제가 나고, 회사 VPN은 정책 때문에 더 복잡해질 수 있습니다.

핵심만 한 줄로 정리하면

“연결” 버튼을 누르는 순간 VPN은 (1) 사용자 인증을 하고, (2) 인터넷 위에 비밀 통로(터널)를 만들고, (3) 그 안을 암호화로 잠근 다음, (4) 웹사이트로 나가는 출구(IP)를 VPN 서버로 바꿔서 트래픽을 대신 내보내는 구조예요. Azure와 Surfshark 자료가 말하는 “암호화 연결 + IP 마스킹”이 바로 이 흐름에서 나옵니다. (Microsoft Azure 자료에 따르면)

원하시면 다음 글 느낌으로 “회사 VPN(사내망 접속) vs 상용 VPN(개인정보/우회)”이 실제 라우팅에서 어떻게 다르게 보이는지도, 그림으로 더 쉽게 풀어드릴게요.