통섭(統攝)의 시대, 수학과 과학철학의 본질을 읽는다!

현재 지식인 사회에서 통섭(統攝)에 대한 논의가 한창이다. 자연과학을 중심에 놓고 인문과학과 사회과학 등 인간 지식을 모두 통합하자는 통섭 개념에 학계는 물론 재계와 정계마저도 관심을 보이고 있다. 사회생물학의 창시자이자 하버드 대학교 교수인 에드워드 윌슨의 consilience 개념의 번역어로 최재천 이화여대 석좌 교수가 처음 제시한 이 용어는 이제 한국 사회의 지식 혁명을 주도하는 단어로 자리 매김되어 가고 있다.
에드워드 윌슨과 최재천 교수가 제시한 의미에서 통섭은 자연과학이 중심에서 서서 인문학과 사회과학 그리고 예술과 종교 등을 견인해 가는 개념이다. 심리학과 철학은 생물학과 뇌과학을 바탕으로 해서 발전하게 되고 사회학은 사회생물학과 정보 이론(본질적으로는 열역학)으로 통합된다. 20세기의 물질 문명 발전에서 자신의 힘을 증명해 온 자연과학과 공학은 그 자신감을 바탕으로 21세기 지식 통합을 선도할 것이다. 이것이 통섭 개념의 중심이다.
그러나 21세기 지식 대통합의 중심이 될 자연과학은 정말로 확실한 지식일까? 이것은 지식 통합의 중심에서 배제될지도 모른다는 두려움을 가진 인문학자와 사회학자 등의 트집 잡기가 아니다. 20세기에 수학을 포함한 자연과학은 물질 문명의 발전에서 자신의 권능을 확실하게 보여 주었다. 그러나 동시에 자연과학의 맹목성, 확실성, 엄밀성이 의심받고 도전을 받은 시대이다.
핵무기의 위협과 환경 파괴는 과학의 맹목성에 대한 의구심을 불러일으켰고, 유전공학의 고도 발전은 과학 연구의 윤리성에 대한 회의를 가져왔다. 과학자와 국가 권력의 결합은 과학과 사회의 관계에 대한 새로운 문제 의식을 낳았다. 과학 내적으로도 양자역학의 불확실성의 원리와 괴델의 불완정성의 정리는 과학적 인식론과 수학적 방법론에 일대 위기를 불러왔다. 통섭 개념 등장 이전부터 현대의 과학자들이 자신 있게 흔들어 온 지식의 대통합 깃발 이면에는 과학자의 고립 혹은 과학의 고립(사회로부터, 동료로부터)에 대한 불안감, 과학 자체의 확실성에 대한 불안감이 똬리를 틀고 있는 것이다.
이런 상황에서 수학과 자연과학의 확실성과 엄밀성을 그 근저에서부터 다시 살펴본 고전을 읽는 것은 통섭 논의에 살을 붙이고 피를 흐르게 하는 데 도움을 줄 수 있을 것이다. 이번에 (주)사이언스북스에서 ?사이언스 클래식?의 7권과 8권으로 펴낸 모리스 클라인(Morris Klein)의 ?수학의 확실성(Mathematics: The Loss of Certainty)?와 노우드 러셀 핸슨(Norwood Russell Hanson)의 ?과학적 발견의 패턴(Patterns Of Discovery)?은 각각 수학과 과학의 확실성과 엄밀성 그리고 방법론을 재검토하는 고전이다.

?수학의 확실성?
괴델의 불완전성 정리 이후 확실성을 상실한 수학의 미래를 짚은 고전

뉴욕 대학교 쿠란트 수리 과학 연구소의 교수로 재직했으며 다양한 수학 대중서로 천문학 분야의 칼 세이건에 맞먹는 명성을 누린 응용 수학자 모리스 클라인의 대표작인 ?수학의 확실성?은 피타고라스와 유클리드에서 시작된 서양 수학의 역사를 훑으면서 모든 지식 체계의 전범이자 다른 모든 학문의 확실성을 보장해 주는 학문의 여왕으로 군림했던 수학이 어떻게 자신의 확실성조차 명확하게 주장하지 못하고 다른 학문과의 연결 고리를 잃어버리게 되었는지 수학의 흥망성쇠를 보여 준다.
모리스 클라인은 2500년의 장대한 수학사를 난해한 수식 거의 없이 우아하게 설명해 간다. 유클리드가 ?기하학 원론?을 지으면서 가졌던 꿈, 즉 몇 가지 확실한 공리에서 수많은 정리와 수학적 사실을 유도해 낼 수 있는 거대한 연역적 지식 체계를 구축하고자 하는 아이디어가 어떤 사회적, 문화적, 지적 배경 속에서 형성되었으며, 그 아이디어가 역사의 발전과 인간 지식 체계의 변화 속에서 어떻게 좌절을 맛봤는지 생생하게 보여 준다.
그러나 모리스 클라인은 물리학에서 경제학까지 온갖 학문 분야에서 활용되고 있는 수학의 막강한 힘을 부인하지 않는다. 하지만 모리스 클라인은 그 힘이 수학을 위한 수학만을 추구하는 순수 수학에서 나온 것이 아니라 자연, 즉 외부 세계를 탐구하는 다른 과학 분야와의 끊임없는 교류 속에서 나온 것이라고 주장한다. 물리학을 비롯한 다른 자연 탐구 영역과 “플라토닉”한 관계를 유지하는 순수 수학은 영구히 “불임(不姙)”일 수밖에 없다는 모리스 클라인의 통렬한 비판과 수학은 자연을 탐구하는 인간의 지식 활동인 자연과학에서 독립된 신성하고 별난 학문 체계가 아니라 일부라는 지적은 수학에 대한 기존의 선입견을 송두리째 뒤흔든다.
특히 순수 수학의 고립, 위기를 다룬 13장, 14장, 15장은 지극히 논쟁적이며 흥미진진한 논의로 가득 차 있다. 모리스 클라인은 순수 수학의 위기를 내적, 외적으로 지적하며 수학의 생동성을 복원하기 위해서는 다른 분과 학문과의 교류, 소통이 필요함을 역설한다.
2005년 서울 대학교 선정 ‘서울대학생을 위한 고전 100선’ 중 하나로 토머스 쿤의 ?과학 혁명의 구조?, 아이작 뉴턴의 ?프린키피아? 등과 함께 선정되기도 했던 이 책은 통섭의 시대에 수학의 본질을 다시 되짚어 보고자 하는 독자들에게 훌륭한 수학 안내서가 될 것이다.

?과학적 발견의 패턴?
현대 물리학의 최신 성과를 바탕으로 과학 철학의 새로운 지평을 제시한 고전

인디애나 대학교, 예일 대학교 철학과 교수로 재직하면서 미국 과학철학의 기초를 닦은 천재 과학철학자 노우드 러셀 핸슨의 ?과학적 발견의 패턴?은 갈릴레오와 케플러부터 뉴턴을 거쳐 현대 양자 물리학까지 물리학자들의 연구 방법론을 분석하면서 과학 연구가 정보를 축적하는 단순한 귀납이나 제일원리에서 유도해 내는 순수한 연역에 의해서 만들어지는 것이 아니라, 문제를 발견하면 가설을 제시하고 가설(이론)에 근거한 실험을 통해 가설을 검증하고 보다 발전된 가설, 즉 이론을 구축해 나가는 진행형의 과정임을 보여 준다. 따라서 과학은 완성된 체계로 존재하는 것이 아니라 언제나 미완성의 체계로 존재한다.
노우드 러셀 핸슨은 이 책에서 근대 고전 물리학과 현대 양자역학이 탄생한 과정을 치밀하게 분석하면서 관찰이 무엇이고, 이론은 어떻게 생겨나며, 이 둘의 관계가 무엇인지, 그리고 모든 과학의 밑바탕을 이루는 인과성의 본질의 본질이 무엇인지 파헤친다.
과학사적 연구 성과들을 바탕으로 핸슨은 과학적 발견이 관찰 정보를 집적해 놓은 곳에서 자연발생적 귀납을 통해 이루어지는 것도 아니며 제1원리에서 연역하거나 논리적 반증을 통해서 이론적으로 이루어지는 것도 아닌, 훨씬 더 복잡하고 역동적이며 심오한 지적 투쟁의 과정임을 보여 준다. ‘관찰이 이론의 등에 업혀 있다’는 관찰의 이론 의존성을 과학 철학적으로 명확히 한 이 책은 패러다임 개념의 아버지 토머스 쿤, 임레 러커토시 등 후대 과학 철학자들에게 지대한 영향을 끼쳤고 과학의 객관성과 인과성을 비판적으로 바라보는 현대 과학 철학의 출발점 중 하나로 평가받고 있다.


?수학의 확실성?
수학사의 흥망성쇠에서 수학의 본질을 읽는다!

엄청난 책이다. 모리스 클라인이 들려주는 이야기는 긴장감 넘치고 드라마틱하다. 모리스 클라인은 정말 뛰어난 수학 이야기꾼이다. -뉴욕 타임스

수학은 마치 나무처럼 성장한다. 작은 뿌리에서 시작해 위로만 올라가지 않는다. 가지가 위로 뻗어 올라가고 잎사귀가 자라는 만큼 뿌리는 밑으로 파고 내려간다. …… 수학에서 근본적인 연구에 관한 한 최종적 완성이란 있을 수 없으며 따라서 첫 시작점도 존재하지 않는다. -본문에서

모든 시대의 과학자들을 괴롭혀 온 문제가 있다. 수학은 경험과는 무관한 인간 사고의 산물이다. 그런데 왜, 물리적 현실 속의 대상물들과 완벽하게 합치되는 것일까? 인간 이성은 경험에 의존하지 않고 순수한 사고만으로도 사물의 속성을 발견해 낼 수 있는 것일까? -본문에서

시시포스에게는 이 형벌이 언젠가는 끝나리라는 헛된 희망조차 없다. 수학자들에게는 완벽한 기초를 마련하려는 본능적 의지와 용기가 있다. 그들의 고군분투는 영원히 계속될는지 모른다. 그들 역시 시시포스처럼 결코 성공하지 못할 가능성도 있다. 하지만 현대의 시시포스들은 희망을 버리지 않고 노력할 것이다. -본문에서

유클리드 이후 수학은 완전한 진실의 학문이자 모든 학문의 여왕으로서 군림해 왔다. 수학은 그 자체로 의심의 여지가 없는 진리이며 자연 세계를 정확하게 설명하는 도구라는 믿음은 갈릴레오와 뉴턴을 거치며 확고해졌다. 그러나 수학의 확실성에 대한 이러한 믿음은 19세기를 거쳐 20세기에 들어서면서 흔들리기 시작했다.
유클리드 기하학 체계의 절대성을 뒤흔든 민코프스키의 비유클리드 기하학, 수학 체계의 완전성에 대한 희망을 완전하게 깨어 버린 괴델의 불완전성의 정리, 인간이 아니라 컴퓨터만이 증명할 수 있었던 4색 지도의 문제 같은 새로운 문제들은 수학의 확실성을 위기로 몰아넣었다. 이제 우리는 수학이 완전무결한 것이 아님을 안다.
이 책은 탄생 이후 학문의 여왕으로 군림해 온 수학의 확실성이 붕괴되는 과정을 다룬다. 그러나 동시에 확실성의 위기 속에서 수학의 확실성을 정립하기 위해 노력해 온 수학자들의 지적 영웅담이기도 하다.
세상 만물을 수로 설명한 피타고라스에서 시작하여 유클리드를 거쳐 수학과 과학을 결합한 갈릴레오와 뉴턴, 그리고 수학의 확실성을 의심하기 시작한 19세기의 민코프스키와 칸토어, 수학이 완전하지 않다고 선언한 괴델까지 수학사를 장식한 지적 영웅들이 클라인의 필치 속에서 생생하게 부활한다. 인간 지성의 자부심을 지키기 위해 싸워 온 수학의 역사를 소개한 이 책을 통해 이 책에서 독자들은 궁극적 의문을 풀기 위해 분투하는 인간 지성의 원동력이 무엇인지 발견하게 될 것이다.
1장 ?수학의 창세기? 이 장에서는 피타고라스 학파와 유클리드의 수학을 살피면서 공리와 연역적 추론 위에 완전무결한 지식 체계를 세우자는 아이디어의 형성사를 소개한다. 점, 선, 면 같은 도형과 수학적 공리와 정리를 이데아 세계의 지식으로 찬양한 플라톤에서 치밀한 연역 논리로 고대 기하학 체계를 완성한 유클리드의 업적을 소개하는 동시에 고대 수학이 당시에 중요시되었던 건축, 광학 등의 실용적인 지식 체계에 뿌리를 두고 형성되었음을 보여 준다.
2장 ?수학적 진리의 개화? 이 장에서는 수학적 진리 탐구가 수학적 질서에 따라 세상을 창조한 하느님의 뜻을 밝히는 일이라는 생각이 수학의 발전에 어떤 영향을 끼쳤는지 살핀다. 이러한 종교적 정당화가 케플러와 데카르트, 갈릴레오의 학문 연구의 중심이었음과, 수학이 다른 모든 학문의 토대를 제공하는 학문의 여왕으로서 칭송받게 한 힘이었음을 구체적 사례를 들어 설명한다.
3장 ?자연은 수학으로 씌어진 책이다? 이 장에서는 수학자는 세상을 질서 있게 창조한 하느님의 구상을 드러내는 존재이며 따라서 수학은 신성한 학문이라는 생각을 극단적으로 완성한 아이작 뉴턴 이후 대부분의 자연철학자들이 가지게 된 생각, 자연 법칙은 수학 법칙이라는 생각이 형성된 역사를 쫓는다. 수학이 모든 학문과 과학의 모범이자 근거로서 자리 매김되는 과정이 이 장에서 다뤄지고 있다.
4장 ?첫 번째 위기 : 수학적 진리의 퇴색?에서는 19세기에 유클리드 기하학의 약점을 지적하면서 비유클리드 기하학과 무리수와 음수, 복소수를 다루는 산술 이론의 발전이 수학의 확실성을 위협하게 된 정황을 들려준다.
5장 ?논리적 주제의 비논리적 발건? 이 장에서는 유클리드에서 뉴턴과 오일러까지 수학이 승승장구하는 이면에서 수학의 확실성을 위협하는 맹아가 하나둘 싹튼 과정을 소개한다. 피타고라스 학파와 유클리드가 정면으로 다루지 않은 무리수와 음수가 인도와 아라비아 수학과 대수학의 발전 과정을 거치면서 서양 수학사에 도입된 사정이 상세하게 소개된다. 우리가 아무 생각 없이 편하게 쓰는 무리수와 음수를 17, 18세기의 위대한 수학자들은 그렇게나 불편해 했다는 것을 발견하게 된다.
6장 ?비논리적 발전 : 해석학이라는 수렁? 이 장에서는 역사상 가장 위대한 과학자이자 수학자로 불리는 뉴턴과 위대한 수학자이자 철학자 라이프니츠가 만들어 낸 미분적분학이 실은 아주 엉성한 기초 위에 만들어진 학문이었음을 생생하게 보여 준다. 다른 수학자들의 연구와 발견에는 그토록 엄밀하게 비판적이었던 두 사람이 자신의 미분, 적분 연구에서는 아주 엉성했음이 다양한 사례를 통해 소개되고 미적분학과 해석학의 수많은 약점을 수정하려 했던 수학자들의 노력이 그려진다.
7장 ?비논리적 발전 : 1800년경의 상황?에서는 수학의 확실성이 수학의 여러 분야에서 표면화되기 시작한 19세기 초의 상황을 스케치한다. 복소 함수론의 등장, 비유클리드 기하학이 제기한 문제들, 해석학의 비논리성 등에 대한 논쟁 등이 상세하게 소개된다.
8장 ?비논리적 발전 : 낙원의 문턱에 서다?에서는 19세기 초반에 제기된 수학의 확실성에 대한 문제를 해결하기 위해 치열하게 노력한 19세기 수학자들의 노력이 그려져 있다. 미적분학을 극한 개념을 통해 재구축한 코시와 바이어슈트라스, 무리수와 복소수 개념을 정립한 해밀턴과 데데킨트 그리고 칸토어, 비유클리드 기하학의 무모순성을 증명해 기하학에서의 혼란을 해소한 가우스, 리만, 보여이, 기호논리학을 창시해 논리학의 수학화를 시도한 조지 불과 프레게, 그리고 19세기 수학의 모든 성과를 모아 대수학, 기하학, 해석학 등 수학의 모든 분야를 완전한 지식 체계를 구축하고자 한 다비트 힐베르트까지 천재적 수학자들의 지적 영웅담이 펼쳐진다.
9장 ?실낙원 : 이성의 새로운 위기? 8장에서 전개된 19세기 수학자들의 영웅적인 노력은 수학자들을 확실성의 낙원을 안내하는 듯했다. 그러나 수학의 확실성을 추구한 바로 그 수학자들에 의해 다시금 수학의 확실성이 위헙받기 시작한다. 이 장에서는 칸토어의 집합론이 낳은 역설에서 시작된 문제들이 표면으로 부상해 수학의 확실성을 뒤흔든 이야기가 전개된다.
10장 ?논리주의 대 직관주의?와 11장 ?형식주의와 집합론?에서는 칸토어의 역설이 낳은 위기를 극복하고자 한 수학자들의 여러 가지 시도들 중 주된 네 가지 방향의 시도를 소개한다. 수학을 논리학으로 환원코자 한 러셀과 화이트헤드 같은 논리주의자와 수학적 진실은 인간의 직관에 바탕을 두고 있어 논리주의자들의 논리학 환원은 무의미하다는 브라우베르 등의 직관주의, 그리고 직관을 바탕으로 한 수학적 형식 공리들을 바탕으로 수학을 형식화하면 수학의 확실성을 보장할 수 있다고 믿은 힐베르트의 형식주의, 집합론을 바탕으로 수학 지식 체계를 재구축하자고 한 집합론주의 등 수학의 확실성을 복원하기 위한 계획안을 두고 경쟁한 수학자들의 논쟁사를 개관한다.
12장 ?대재앙? 논리주의, 직관주의, 형식주의 그리고 집합론주의의 치열한 논쟁은 칸토어를 자살로 내몰고, 힐베르트와 그의 제자인 헤르만 바일 사이를 찢어 놓는 등 수많은 학문적, 사적 분란을 낳았다. 그러나 이 모든 논란은 수학의 확실성을 완성하자는 공통된 꿈(유클리드 시대에서부터 이어진 것이다.)을 전제로 한 것이다. 하지만 12장에서는 이 꿈이 쿠르트 괴델이라는 젊은 천재 수학자에 의해 완전히 붕괴하는 과정을 보여 준다. 모리스 클라인은 수학의 확실성을 둘러싼 논쟁의 전개 과정을 다음과 같이 날카롭게 풍자한다.

20세기 수학 기초론의 발전 과정은 다음과 같은 비유로 적절하게 요약될 수 있을 듯싶다. 라인 강둑에 수백 년 된 아름다운 성이 서 있다. 성 지하에 사는 부지런한 거미들이 거미줄로 거미집을 정교하게 지어 놓았다. 어느 날 세찬 바람이 불어 거미집이 부서졌다. 거미들은 미친 듯이 실을 뽑아 거미집을 고쳤다. 그것은 거미들이 성이 무너져 내리지 않게 지탱해 주는 것은 자기들이 지은 거미집이라고 생각했기 때문이다. -본문에서

13장 ?수학의 고립?, 14장 ?수학은 어디로 가는가?, 15장 ?자연의 권위?에서는 20세기 괴델이 수학자들에게 안겨 준 대재앙 전후 순수 수학자들의 활동을 추상화, 일반화, 세분화, 공리화의 역사로 압축적으로 설명하면서 다른 학문 분과와의 소통 단절, 수학자들의 자만을 비판하고 수학의 생명력을 회복하기 위해서는 수학이 자연을 탐구하는 인간 활동의 일부임을 깨달아야 한다고 지적하고 있다.