오늘 베가엑스 팀원분들과 청첩장 모임을 마치고 현님과 함께 지하철을 타게 되었다. 어쩌다가 홍성대의 수학의 정석 얘기가 나왔는데, 현님은 수학의 정석을 싫어한다고 하셨다. 나는 의아했다. 보통의 이과 사람들은 수학의 정석을 좋아하던데 왜 싫어하실까? 현님에게 이유를 한번 물어봤다. 현님이 말했다. “수학책이면 어떤 내용의 증명은 여기서는 생략하고 추후 ~부분에서 다룰 것이다라고 해야되거든요” 나는 더 의아해졌다. 아니, 증명을 생략하고 넘어가는 게 좋다는 말인가? 아니었다. 현님이 지적한 포인트는 증명을 생략했음에도 부분에도 불구하고, 그러한 언급조차 없이 마치 당연한 사실처럼 서술한 부분이 많고 그래서 수학의 정석은 허술한 책이라는 것이었다. 나는 속으로 생각했다, ‘아니 다른 소설 책도 아니고 수학의 정석이 논리가 허술한 책이라고?’ 이런 일반적인 수준을 넘어서는 치밀함이 현님이 진정한 수학도임을 보여주고 있었다.
대화를 더 나누다 보니, 수학 전반에 관한 이야기가 나왔다. 현님은 수학이 지나치게 위험 부담이 큰 학문이라고 생각하셨다. 수학에서는 연속체 가설이란 게 있다고 한다. 연속체 가설은 ‘원소의 개수가 자연수의 개수보다 많고 실수의 개수보다 적은 그런 오묘한 집합이 존재하지 않는다’라는 가설인데, 지금의 수학의 공리 체계로는 이 가설을 증명할 수도 반증할 수도 없다고 밝혀졌다고 한다. 이런 사실이 알려지기 전 증명 가능 여부가 불확실한 상태에서 수많은 수학자들이 이 문제를 풀기 위해 도전했을 것이다. 하지만 지금처럼 이게 증명도 반증도 불가능하다고 밝혀져 버린 이후에는, 이들의 수고는 모두 물거품이 되고 말았다. 아직 남아있는 인류의 난제 중 하나인 리만 가설은 증명 가능 여부가 아직 알려지지 않아, 많은 사람들이 증명을 시도하고 있다. 하지만 이 역시도 비슷한 역사를 반복할지 모른다. 내가 지금 하고 있는 일이 시간이 지난 후 애초부터 달성 불가능한 일이라고 밝혀질지 모르는 그 극단적인 불확실함 속에서도, 그 미지의 세계로 무작정 뛰어드는 것이 수학의 길이다.
듣다 보니 또 다른 생각이 떠올라 나는 말을 이었다. “제가 생각하는 수학의 또다른 어려움은 수학이 깃발꽂기 싸움이란 거에요. 어떤 놀라운 발견 이뤄내더라도, 그게 조금 먼저 다른 사람이 나와 같은 발견이 했었다는 게 밝혀지면, 그 인정을 받지 못하게 되니까요.” 물론 어느 분야든 첫번째가 되는 것은 중요하다. 하지만 수학만큼은 아니다. 자연과학이나 사회과학은 수학과는 다르게 실험을 필요로 한다. 과학에서도 물론 어떠한 이론을 처음 제시하는 것이 중요하다. 하지만 2등을 한다고 해서 그 실험의 데이터까지 무의미하게 되지는 않는다. 과학에서는 100% 증명이란 것이 없기 때문에, 데이터는 많을 수록 좋다. 하지만 수학은 다르다. 같은 이론의 두번째 증명은 너무나도 확실하게 아무런 쓰임이 없게 될 수 있다. 2등을 아무도 기억하지 못하는 상황을 이보다 더 극명하게 보여주는 분야가 있을까?
수학은 흥미롭고 아름다운 분야이다. 여태까지 수학의 매력에 반한 사람은 수없이 많았다. 하지만, 현님의 말에 따르면, 수학에 특별한 재능을 가지고 태어났음에도 불구하고, 별다른 성과 없이 평생을 쓰고 가버린 분들이 정말 많다고 한다. 현님은 이러한 너무나 큰 위험 때문에, 순수 수학자의 길을 걷는 다는 것은 매우 극단적인 선택이라고 보았다. 하지만 또 그렇기 때문에, 수학이 참말로 낭만적인 학문인 것 같다고 생각했다.