1930년대 초, 폴란드의 한 청년 수학자가 실제 기계를 한 번도 만져보지 못한 채 오직 순열 이론과 몇 장의 기밀 문서만으로 독일군 암호기의 내부 배선을 재구성해냈다. 그로부터 10년 가까이 지난 후, 영국 블레츨리 파크의 낡은 저택에서는 수백 대의 전기기계식 장치가 밤낮으로 돌아가며 대서양을 오가는 U보트의 위치를 읽어냈다. 이 두 장면 사이에는 하나의 연속된 이야기가 있다 — “에니그마”라 불린 암호기를 둘러싼, 폴란드에서 시작해 영국에서 완성된 지적 전쟁의 기록이다. 이 글은 그 기술적 원리부터 폴란드 암호국의 선구적 성과, 블레츨리 파크와 앨런 튜링의 기여, 실제 전장에서 “울트라” 정보가 만들어낸 구체적 결과, 그리고 튜링 개인이 감내해야 했던 최후까지를 순서대로 따라간다.
기술 원리 — 왜 에니그마는 풀기 어려웠나
에니그마는 로터(회전자) 방식의 전기기계식 암호기였다. 각 로터는 지름 약 10cm의 원반으로 양면에 26개의 전기 접점이 있고, 내부 배선이 하나의 문자를 다른 문자로 치환하는 역할을 했다. 타자기처럼 키를 누를 때마다 최소한 가장 오른쪽 로터가 한 칸씩 회전해 접점 경로가 바뀌었기 때문에, 같은 문자를 연속으로 입력해도 매번 다른 문자로 암호화되는 다표식(polyalphabetic) 치환이 이루어졌다. 단순한 알파벳 치환표와는 차원이 다른 복잡성이었다.
여기에 더해 플러그보드(Steckerbrett)가 있었다. 이는 전류가 로터를 거치기 전후로 문자 쌍을 서로 바꿔 끼우는 장치로, 로터를 하나 더 추가하는 것보다 암호학적으로 더 강력한 효과를 냈다. 최대 13쌍까지 연결할 수 있었지만 2차대전 중 실전에서는 보통 10쌍이 사용되었고, 플러그보드 설정만으로도 약 150조 가지의 조합이 생겼다. 여기에 로터 선택·순서·시작 위치까지 모두 합치면 하루치 설정 가능 경우의 수는 약 1.59×10²⁰ — 대략 1.59해에 달했다.
마지막으로 반사판(Umkehrwalze)이 있었다. 이 부품은 마지막 로터를 통과한 전류를 다시 반대 경로로 되돌려 보내는 역할을 했는데, 덕분에 같은 설정의 에니그마 두 대만 있으면 한쪽에서 암호화한 문장을 다른 쪽에 그대로 입력해 복호화할 수 있었다 — 암호화와 복호화가 동일한 조작이 되는 자기역원 구조였다. 그런데 이 구조에는 치명적인 부작용이 하나 있었다. 반사판 때문에 에니그마는 어떤 문자도 그 문자 자신으로는 절대 암호화하지 않았다. 훗날 암호 해독자들이 “예상되는 평문 조각”을 대조해 나갈 때, 이 특성은 결정적인 단서가 된다.
에니그마의 설정 — 로터 순서, 시작 위치, 플러그보드 연결 등 — 은 코드북을 통해 배포되었고 보통 하루 단위로 바뀌었다. 각 메시지는 그날의 기본 설정 위에 무작위로 선택한 시작 위치를 다시 사용하는 이중 절차를 거쳤는데, 이 절차의 허점 — 특히 메시지 키를 반복해서 전송하는 관행 — 이 초기 폴란드 해독진에게 결정적인 실마리를 제공하게 된다.
폴란드의 선구적 기여 — 해독의 첫 문을 연 사람들
에니그마 해독의 역사를 영국만의 이야기로 기억하는 것은 정확하지 않다. 그 첫 문을 연 것은 폴란드였다. 1929년 1월, 폴란드는 포즈난 대학교에 언어학이 아닌 순수수학에 기반한 암호학 강좌를 개설했고, 여기서 선발된 학생 중 한 명이 마리안 레예프스키였다. 그는 1929년 3월, 23세의 나이로 졸업한 뒤 참모본부 암호국(Cipher Bureau)에 들어가 일하며 강의도 병행했다.
1932년 말, 레예프스키는 실제 에니그마 기계를 단 한 번도 보지 못한 상태에서 독일 군용 에니그마의 내부 배선을 수학적으로 재구성하는 데 성공했다. 순열(치환) 이론과 군론(group theory)을 암호분석에 적용한 최초의 인물 중 한 명이었던 그는, 프랑스 정보기관을 통해 전달된 독일 암호국 직원 한스틸로 슈미트의 기밀 문서 — 1932년 12월 9~10일경 입수된 자료 — 덕분에 미지수를 크게 줄일 수 있었다. 이는 어디까지나 프랑스가 확보해 넘겨준 실마리를 폴란드의 수학적 재능이 완성시킨 결과였다.
이후 폴란드 암호국의 성과는 계속 이어졌다. 1934~35년 레예프스키는 순열의 주기 구조를 색인화하는 “사이클로미터”와 카드 카탈로그 방식을 고안했고, 1938년 1월 무렵에는 그의 팀이 에니그마 감청 통신의 약 75%를 해독하고 있었다. 1938년 10월에는 레예프스키가 설계한 “봄바(bomba)” — 에니그마 6대를 전기적으로 묶은 장치 — 가 등장해, 같은 해 11월 중순까지 하루치 키를 약 2시간 만에 찾아낼 수 있었다. 그러나 1939년 1월 1일 독일이 플러그보드 연결 수를 5~8개에서 7~10개로 늘리면서 봄바의 효과는 급감했고, 재정이 넉넉지 않았던 폴란드는 봄바를 충분히 증설할 수 없었다. 이때 헨리크 지갈스키가 플러그보드 수에 좌우되지 않는 수작업 대안, 이른바 “지갈스키 시트”(천공 시트)를 고안해 대응했다.
그리고 결정적인 순간이 찾아온다. 전쟁 발발 5주 전인 1939년 7월 25일, 폴란드 암호국은 바르샤바 인근 피리(Pyry)에서 프랑스·영국 정보 대표단을 만나 자신들의 성과 전체 — 재구성한 에니그마 복제기, 봄바 설계, 지갈스키 시트 기법까지 — 를 아낌없이 공개했다. 폴란드 측에서는 암호국장 그비도 랑에르, 레예프스키, 지갈스키, 유지 로지츠키가, 프랑스 측에서는 귀스타브 베르트랑과 앙리 브라크니에가, 영국 측에서는 알라스테어 데니스턴과 딜윈 녹스 등이 자리했다. 이 회동이 없었다면 영국의 에니그마 해독은 상당 기간 지연되었을 것이라는 평가가 있을 만큼, 피리 회동은 이후 블레츨리 파크의 성공을 가능케 한 토대였다.
폴란드 함락 이후에도 레예프스키의 여정은 계속되었다. 그는 프랑스 파리 인근 PC 브루노(1939년 10월~1940년 6월), 이어 비시 프랑스 지역 카딕스(1940년 9월~1942년 11월)에서 암호 작업을 이어갔고, 스페인과 포르투갈을 거쳐 1943년 8월 3일에야 영국에 도착했다. 그러나 그때부터는 에니그마가 아니라 독일 SS·SD의 하급 수기 암호 작업에 배치되었다. 1946년 11월 15일 제대해 폴란드로 돌아간 그는, 소련 지배하의 정치적 상황 때문에 20년 가까이 자신의 업적에 대해 침묵해야 했고, 1967년에야 회고록을 폴란드 군사역사연구소에 제공할 수 있었다. 1980년 2월 13일 사망한 그는 바르샤바 포옹스키 군묘지에 안장되었다.
블레츨리 파크와 튜링 — 다른 길로 이어받은 해독
앨런 튜링은 1938년 채용되어 몇 차례의 예비 강좌를 거친 뒤, 영국이 독일에 선전포고한 다음 날인 1939년 9월 4일 블레츨리 파크에 도착했다. 그리고 도착 후 몇 주 안에 전기기계식 “봄브(Bombe)”의 설계에 착수했다.
여기서 짚어야 할 중요한 사실이 있다. 튜링의 봄브는 분명 폴란드의 봄바를 발전시킨 것이지만, 접근 방식은 근본적으로 달랐다. 폴란드의 방식은 독일 측이 메시지 키를 반복 전송하던 절차적 허점에 의존했는데, 독일이 1938~39년 사이 이 절차를 바꾸면서 폴란드식 공격은 더 이상 통하지 않게 되었다. 튜링은 대신 “크립(crib)” — 특정 위치에 나올 것으로 예상되는 평문 조각 — 을 이용한 전혀 새로운 공격법으로 봄브를 설계했다. 그는 에니그마가 어떤 문자도 자기 자신으로는 암호화하지 않는다는 반사판의 특성을 활용해, 크립이 놓일 수 없는 위치를 하나씩 배제해 나가며 가능한 로터 설정의 범위를 좁혀갔다. 폴란드의 유산 위에서, 그러나 폴란드의 방법이 막힌 지점에서 전혀 다른 길을 찾아낸 것이었다.
1940년에는 고든 웰치먼이 봄브에 “대각선판(diagonal board)”을 추가했다. 에니그마 플러그보드 연결의 대칭성을 이용한 이 장치는 봄브의 처리 능력을 크게 끌어올려, 더 짧은 크립으로도 유효한 결과를 얻을 수 있게 만들었다. 최초의 봄브 — “빅토리”라는 이름이 붙었다 — 는 1940년 3월 18일 블레츨리 파크에 설치돼 가동을 시작했다. 1941년 말에는 튜링을 비롯한 해독진이 인력과 자원 부족을 호소하며 처칠 총리에게 직접 서한을 보냈고, 처칠은 “ACTION THIS DAY(오늘 안에 처리)”라는 지시로 곧바로 화답했다. 전쟁이 끝날 무렵에는 200대 이상의 봄브가 가동되고 있었으며, 수백 명의 여성 해군보조부대(WRNS) 요원과 왕립공군 요원들이 그 운용에 투입되었다.
울트라의 실전 기여 — 암호 해독이 전장을 바꾼 순간들
이렇게 해독된 고위급 암호 정보에는 “울트라(Ultra)”라는 이름이 붙었다. 1941년 6월부터 영국군 정보기관이 사용한 이 명칭은, 당시 영국의 최고 보안등급보다도 더 민감한 정보라는 뜻에서 붙여진 것이었다.
울트라가 실제 전장에서 어떤 차이를 만들었는지는 몇 가지 구체적 사례로 확인할 수 있다. 1941년 5월 9일, 영국 구축함 HMS 불독이 독일 잠수함 U-110을 나포하며 에니그마 기계와 코드북을 확보했다. 이는 영국이 해군용 에니그마를 처음으로 깨는 데 기여했고, 같은 해 5월 15일부터 블레츨리 파크는 해군작전정보센터(OIC)에 독일 U보트와 수상함의 위치·동향에 관한 해독 정보를 제공하기 시작했다. 이를 근거로 호송선단이 위험 구역을 피해 우회하면서, 1941년 여름 동안 U보트 공격은 크게 줄었다.
하지만 승리가 계속되지는 않았다. 1942년 2월, 독일 해군이 4로터 에니그마 — “샤크(Shark)” 또는 “트리톤(Triton)” 암호로 불렸다 — 를 도입하면서 블레츨리 파크는 U보트 통신을 다시 읽을 수 없게 되는 암흑기를 맞았다. 이 암흑을 깬 것은 다시 한번 목숨을 건 나포 작전이었다. 1942년 10월 30일, 구축함 HMS 페타드가 이집트 포트사이드 북쪽 약 70해리 해상에서 10시간에 걸친 폭뢰 공격 끝에 U-559를 침수·나포 직전 상태로 몰아넣었다. 프랜시스 패슨 대위와 콜린 그레이지어 수병이 침몰해가는 잠수함 안으로 들어가 기상 단신 암호책과 단신 신호책을 회수했고, 16세의 급양병 토미 브라운이 이를 배 밖으로 전달했다. 그러나 잠수함이 갑자기 다시 가라앉으면서 패슨과 그레이지어는 끝내 빠져나오지 못하고 익사했다.
이들이 목숨과 맞바꿔 회수한 문서는 1942년 11월 24일 블레츨리 파크에 도착했고, 이를 바탕으로 1942년 12월 13일 “샤크” 암호가 다시 뚫렸다. U보트 위치를 재추적할 수 있게 된 영국 해군은 호송선단을 다시 우회시켰고, 1943년 1~2월 호송선단 손실은 절반으로 줄었다. 패슨과 그레이지어는 1943년 9월 14일 런던 가제트에 발표된 조지 크로스 훈장을 사후 추서받았다.
울트라 정보는 대서양 전투 외에도 영국 본토 항공전의 공습 사전 경보, 몽고메리·웨이벨 휘하 북아프리카 전역, 지중해에서의 추축군 보급선 격침, 노르망디 상륙작전 준비 등 여러 국면에서 활용되었다. 다만 대서양 전투의 승리를 울트라만의 공으로 단정하기는 어렵다. 역사가들 사이에서는 1943년 봄 실전 배치된 영미 공동개발 센티미터파 레이더 등 다른 기술적 요인이 얼마나 비중을 차지했는지를 두고 여전히 이견이 있다. 1993년 10월 19일, 케임브리지 대학 컴퓨터연구소 배비지 강당에서 열린 강연에서 영국 정보사(史) 공식 역사가 해리 힌슬리 경은 “내 결론은 (울트라가) 전쟁을 최소 2년, 아마도 4년 단축시켰다는 것이다 — 대서양·지중해·유럽 전선에서”라고 밝혔다. 이는 어디까지나 힌슬리 개인의 추정치이며, 이후 다른 블레츨리 파크 출신 암호학자들로부터 근거와 세부 내용에 대해 이견이 제기되기도 했다.
이 모든 성과는 종전 후 약 29년 동안 철저히 비밀에 부쳐졌다. 1974년 프레더릭 윈터보덤이 저서 《The Ultra Secret》를 펴내면서 블레츨리 파크의 에니그마 해독 사실이 처음으로 대중에 공개되었고, 이는 이후 정보사 연구라는 새로운 역사학 분야를 여는 계기가 되었다.
튜링의 최후 — 승리 이후의 침묵
전쟁이 끝난 뒤 튜링을 기다린 것은 명예가 아니라 형사 처벌이었다. 1952년, 튜링은 동성애 행위(“중대 외설 행위”)로 기소되어 유죄 판결을 받았다. 당시 영국에서 동성 간 성행위는 불법이었다. 실형을 피하기 위해 그는 호르몬 치료 — 흔히 “화학적 거세”로 통칭되는 처치 — 를 받아들였고, 이 유죄판결로 보안 인가를 잃으면서 전쟁 중 그토록 크게 기여했던 암호 해독 관련 일을 더는 할 수 없게 되었다.
1954년 6월 7일, 튜링은 41세의 나이로 청산가리 중독으로 사망했다. 검시는 자살로 결론지었지만, 전기 작가와 지인들 사이에서는 이 결론에 이견이 있으며 남아 있는 증거가 사고사와도 부합한다는 지적도 있다 — 어느 한쪽으로 단정할 수 없는 채로 남아 있는 문제다.
명예 회복은 오랜 시간이 지나서야 찾아왔다. 2009년, 영국 총리 고든 브라운은 튜링이 받은 처우에 대해 “끔찍한 방식으로 대우받았다”며 공식 사과했다. 2013년 12월에는 엘리자베스 2세 여왕이 극히 드물게 사용되는 “왕실 특사권”을 발동해 튜링을 사후 사면했다 — 법무장관 크리스 그레일링의 요청에 따른 조치였다. 그리고 2017년, 이른바 “튜링법”이 제정되어 과거 동성애 관련 법률로 유죄판결을 받았던 다른 남성들도 소급 사면되었다.
유산 — 두 나라가 함께 완성한 승리
블레츨리 파크에는 마리안 레예프스키, 헨리크 지갈스키, 유지 로지츠키 세 사람을 기리는 폴란드 기념비가 세워져 있다. 이들은 1930년대 대부분의 기간 동안 에니그마를 해독해 훗날 블레츨리 파크가 이룬 성공의 토대를 놓았고, 이들의 성과가 없었다면 영국의 에니그마 해독은 수년간, 어쩌면 영원히 지연됐을 수도 있다는 평가를 받는다. 블레츨리 파크 공식 기록 또한 폴란드가 1930년대에 이룬 에니그마 연구가 영국 암호 해독에 매우 중요한 역할을 했으며, 지갈스키가 개발한 시트 체계가 독일 측 메시지 절차의 약점을 짚어내 1940년 1월 영국의 에니그마 해독 성공의 토대가 되었다고 명시하고 있다.
에니그마를 둘러싼 이야기는 결국 어느 한 나라만의 승리담이 아니다. 포즈난의 강의실에서 시작된 폴란드 수학자들의 집요한 재구성 작업이 없었다면, 피리에서의 그 여름날 오후에 폴란드가 자신들의 모든 것을 아낌없이 넘겨주지 않았다면, 블레츨리 파크의 튜링과 웰치먼이 크립 기반의 새로운 방법으로 그 바통을 이어받지 못했다면, 그리고 이름조차 알려지지 않은 채 침몰하는 잠수함 속으로 뛰어든 패슨과 그레이지어 같은 이들이 없었다면 — 이 이야기는 전혀 다른 결말을 맞았을지 모른다. 서로 다른 나라, 서로 다른 시기, 서로 다른 방법이 하나의 성과로 이어진 이 기록은, 지식과 용기가 어떻게 국경을 넘어 이어질 수 있는지를 보여주는 사례로 오늘날까지 회자되고 있다.
참고 자료
- Wikipedia — Enigma machine, en.wikipedia.org/wiki/Enigma_machine
- Wikipedia — Marian Rejewski, en.wikipedia.org/wiki/Marian_Rejewski
- Wikipedia — Bombe, en.wikipedia.org/wiki/Bombe
- Wikipedia — Ultra (cryptography), en.wikipedia.org/wiki/Ultra_(cryptography)
- Wikipedia — Alan Turing, en.wikipedia.org/wiki/Alan_Turing
- Wikipedia — Colin Grazier, en.wikipedia.org/wiki/Colin_Grazier
- GCHQ — Alan Turing, gchq.gov.uk/person/alan-turing
- Bletchley Park — Polish Memorial, bletchleypark.org.uk/markers/polish-memorial
- Bletchley Park — Early Days / 6 Facts About the Bombe, bletchleypark.org.uk/our-story/early-days
- Warfare History Network — The Codebreakers’ War in the Atlantic, warfarehistorynetwork.com
- Sir Harry Hinsley, “The Influence of ULTRA in the Second World War” (1993년 케임브리지 강연 텍스트), cix.co.uk/~klockstone/hinsley.htm