Name: 신호와 소음
Rating: 9.50 (8 reviews)
Author: 네이트 실버

상품상세정보
ISBN	9791165213862(1165213869)
쪽수	824쪽
크기	162 * 232 * 51 mm /1293g 판형알림
이 책의 원서/번역서	The Signal and the Noise / Silver, Nate

책소개

이 책이 속한 분야

경제/경영 > 경제일반 > 경제전망

이 책의 주제어

돌아온 예측 천재의 ‘더 정확한 예측을 위한 제안’

2012년 미국 대선에서 오바마가 승리한 직후, 정치 예측 블로그 파이브서티에이트FiveThirtyEight.com를 운영하는 네이트 실버의 화제작 《신호와 소음》은 일약 베스트셀러로 떠오른다. 통계와 확률의 세계를 파고들어 미래예측의 패러다임을 뒤흔든 이 책에서, 네이트 실버는 데이터가 폭발적으로 늘어나고 소음으로 가득한 이 세상에서 진짜 신호를 가려내는 방법을 다양한 분야에서 탐사한다.
수많은 사람이 갖가지 예측을 쏟아놓지만, 이들 예측 대다수는 사회에 엄청난 비용만 안긴 채 실패로 돌아간다. 이유는 간단하다. 우리 대다수가 확률과 불확실성을 제대로 이해하지 못하기 때문이다. 인간은 신호를 포착하려고 애쓰지만 ‘자신감 넘치는 예측’을 ‘더 정확한 예측’으로 착각한다. 하지만 때로 자기과신은 실패의 원인이 된다. 불확실성을 지금보다 더 온전하게 이해한다면, 우리의 예측은 한결 정확해질 것이다. 족집게 같은 예측을 선보이며 ‘예측의 천재’로 급부상한 네이트 실버도 2016년 트럼프의 대선 승리로 그 명성이 한차례 흔들렸다. 힐러리를 공개 지지하던 실버는 타 매체나 조사기관에 비해 트럼프의 당선 가능성을 상대적으로 높게(28.6%) 예측하며 끊임없이 ‘트럼프가 판을 뒤집을 가능성’을 경고했으나 극적인 반전을 결정적으로 내다보지는 못했다. 이번 개정판의 서문에는 당시의 과정과 더불어 본격적인 팬데믹의 시기에 예측 전문가로서 갖는 소회와 성찰, 각오가 드러나 있다.
2020년에 이르러 전 세계를 휩쓴 코로나19 팬데믹을 목도하며, 실버는 다시 한번 뼈아프게 《신호와 소음》 초판에 담았던 예의 질문을 던진다. “전문가의 예측은 왜 이토록 자주 빗나가며, 어떻게 하면 좀 더 신뢰할 수 있는 예측이 가능할까?” 이어 개정판 서문을 통해 ‘좀 더 나은 확률적 사고’에 필요한 것으로 ‘느리게 생각하기thinking slow’와 ‘대세 편승을 경계하기’라는 두 가지 역량을 꼽는다. 예측은 역설적이다. 자신의 예측 능력을 겸손하게 생각하면 할수록, 그리고 자기가 저지르는 실수에서 기꺼이 더 많은 것을 배우려는 마음먹을수록, 더 많은 정보를 지식으로 바꿀 수 있고 우리 손에 있는 데이터는 미래를 내다보는 통찰로 바뀔 것이라고 네이트 실버는 다시 한번 강조한다.

분명하게 밝히지만 내가 이 책에서 주장하려는 것은 누군가가 나서서 코로나19가 전 세계적인 팬데믹 재앙이 될 것임을 여러 달 전에 예측했어야 한다거나 트럼프의 승리가 확실하다고 예측했어야 한다는 게 아니다. 매우 중요한 결과가 빚어질 일들이 일어날 가능성이 상당히 높은데도 이런 리스크들이 거의 대부분 무시되고 만다는 것이 내가 주장하려는 점이다. 이렇게 되는 이유가 뭘까?

상세이미지

｜추천사｜여기에 당신의 미래가 보인다 _ 송길영
｜개정 서문｜더 나은 확률적 사고를 위한 두 가지 제안
필수지만 어려운 일, ‘느리게 생각하기’｜대세 편승을 경계하라
｜들어가며｜신호와 소음
정보 폭발의 빛과 그림자｜컴퓨터 시대의 ‘생산성 역설’｜빅데이터 시대의 약속과 함정｜왜 미래는 늘 우리를 놀래는가｜예측을 위한 해법｜우리가 다룰 것들

Ⅰ. 예측에 대한 근본적인 의문들
1. 금융위기│경제 붕괴를 둘러싼 예측의 대실패
불행에 관한 최악의 예측｜“그들은 음악이 멈추길 바라지 않았던 거죠”｜신용평가사들이 일을 제대로 망친 방법｜1막: 주택 거품, 내 집을 둘러싼 환상｜2막: 레버리지, 하우스푸어를 양산하다｜인터미션: ‘공포’는 ‘탐욕’의 새 이름｜3막: 파멸, 새로운 상황이 펼쳐지다｜네 가지 예측 실패의 공통점｜실패한 예측의 공식: 표본 외 예측의 문제｜무엇을 배울 수 있을까

2. 정치│내가 선거 결과를 맞힌 비법
정치학자들은 TV에 나오는 전문가 패널들보다 나을까?｜더 나은 예측을 위한 올바른 태도: 여우가 돼라｜왜 고슴도치는 TV 패널로 더 환영받을까?｜엉터리 예측이 횡행하는 이유｜정치 예측에 뛰어들다｜여우의 원칙 1: 확률적으로 생각하라｜여우의 원칙 2: 날마다 새로운 예측을 하라｜여우의 원칙 3: 합의를 구하라｜‘마법의 탄환’식 예측을 믿지 마라｜질적 정보에 가중치를 두는 방법｜객관적이 되기는 쉽지 않다

3. 야구│야구 경기는 왜 모든 ‘예측’의 모델이 되는가
야구 예측 시스템을 구축하다｜세상에서 가장 풍성한 데이터세트｜노화곡선: 그 선수는 언제까지 뛸 수 있을까｜‘계산기’와 ‘직감’의 싸움｜페코타 대 스카우터: 스카우터 승｜보이지 않는 요소｜빨리 달리고 세게 던진다고 이기는 건 아니다｜게임의 이름은 ‘정보’｜페드로이아의 미래가 어두웠던 이유｜그리고 그는 어떻게 역경을 이겨냈나｜머니볼의 진정한 교훈과 야구의 미래

Ⅱ. 움직이는 과녁을 맞혀라!
4. 기상│예측의 성공 스토리, 기상 예보의 진전
슈퍼컴퓨터는 정말 쓸모가 있을까｜기상 예보의 아주 간략한 역사｜매트릭스, 새로운 기상 예측법의 탄생｜토네이도와 농구 선수의 공통점｜사람의 눈은 아직 중요하다｜기상청의 성공과 민간업체의 도전｜더 나은 예측은 어떻게 만들어지는가?｜경쟁이 예측을 더 엉망으로 만들 때｜오차보정이 필요한 순간｜태풍의 눈과 카오스의 원뿔

5. 지진│필사적으로, 신호를 찾아서
발밑이 흔들릴 때 우리가 하는 일｜마법의 두꺼비와 성배 찾기｜지진은 어떻게 움직이는가: 멱법칙 분포｜소음 속에서 우리를 유혹하는 신호｜실패한 예측의 행진｜진퇴양난｜과적합에 주목하라｜동일본 대지진은 과적합의 대표 사례｜우리는 지진에 관해 어디까지 알 수 있을까｜신호와 소음이 빚어내는 아름다움｜과학은 언제나 시험 중이다

6. 경제 예측│불확실성, 변동성, 편향에 대처하는 법
불확실성에 관해 얘기해야 하는 이유｜경제학자들은 이성적인가?｜“그 누구도 단서를 가지고 있지 않습니다”｜인과관계 없는 상관관계｜경제 예측은 움직이는 표적을 맞히는 문제｜소음투성이 경제 데이터｜나비효과｜편향이 합리적 선택일 때｜편향에 대처하는 두 가지 대안

7. 전염병│모든 모델은 빗나가지만 몇몇 모델은 유용하다
‘신종플루 대실패’의 후속편인가?｜외삽이 위험해질 때｜자기충족적 예측과 자기부정적 예측｜‘정교한’ 단순함｜심플루SimFlu｜예측이 빗나갈 수밖에 없을 때 해야 할 일

Ⅲ. 예측의 질을 높여 미래를 포착하는 법
8. 베이즈 정리│조금씩 조금씩 덜 틀리는 법
이기는 도박꾼은 어떻게 베팅하는가｜토머스 베이즈의 별난 유산｜확률과 진보｜베이즈 정리의 간단한 수학｜거짓 양성 문제｜빈도주의가 베이즈주의를 반박하다｜맥락 없는 데이터는 무용지물이다｜베이즈주의 도박사, 밥｜진리로 수렴하는 베이즈주의

9. 체스│컴퓨터가 인간처럼 미래를 내다볼 수 있을까
체스를 두는 컴퓨터｜체스, 예측, 그리고 휴리스틱｜카스파로프와 딥블루｜게임이 시작되다｜체스 선수의 딜레마: 폭이냐 깊이냐｜전략 대 전술｜종말의 첫 조짐｜기계가 인간을 이기다｜체스 고수를 버벅거리게 만드는 법｜버그일까, 비장의 무기일까?｜컴퓨터가 잘하는 것｜구글 검색 엔진: 대규모 시행착오가 가능할 때｜기술의 사각지대를 넘어서

10. 포커│상대의 허풍을 간파하는 법
포커 드림의 시작｜패 읽기의 기술｜확률적으로 사고하라｜슈뢰딩거의 포커 패｜상대를 혼란스럽게 하는 법｜예측의 파레토법칙｜고수와 호구: 포커 거품의 경제학｜거품이 꺼지다｜운이냐 실력이냐｜착각의 늪｜우리가 평정심을 잃는 이유｜결과보다 과정에 초점을 맞춰라

Ⅳ. 보이지 않는 손이 세상을 움직인다
11. 주식│개인이 결코 시장을 이길 수 없다면
웰컴 투 베이즈랜드｜베이즈주의의 ‘보이지 않는 손’｜예측시장: 힐러리 주식을 사고팔다｜집단 예측의 이점과 한계｜ 효율적 시장 가설의 기원｜“과거의 수익률은 미래의 결과와 무관합니다”｜차트를 믿지 마세요｜효율적 시장 가설의 세 형태: 약형, 준강형, 강형｜효율적 시장 가설의 통계검정｜효율적 시장이 비이성적 과열을 만나다｜대세 편승｜왜 우리는 다른 사람을 따르는가?｜자기과신과 승자의 저주｜왜 거품은 쉽게 꺼지지 않을까｜가격은 옳지 않다｜소음 트레이더｜착시와 패턴｜인지적 지름길｜질서와 무질서의 투쟁

12. 지구온난화│건강한 회의론의 풍토가 필요하다
인과관계를 찾아서｜온실효과는 존재한다｜“로켓공학처럼 복잡한 얘기가 아니라고요”｜세 가지 회의론｜지구온난화 예측에 관한 예측가 비평｜모든 기후학자들이 동의하는 것｜컴퓨터 예측 모델을 의심하다｜기후과학과 복잡성｜모델은 얼마만큼 복잡해야 할까?｜기후 예측의 불확실성 요소 세 가지｜관측과 기록｜‘뜨거운 여름’이 올 것입니다｜불확실성은 예측의 본질이다｜‘지구냉각화’가 알려주는 것｜예측과 과학은 긴밀하게 연결된다｜기온 기록에 관한 불편한 진실｜불확실성 추정이 필수인 또 한 가지 이유｜“우리는 길거리 패싸움 중입니다”｜과학과 정치 사이에서

13. 테러│진주만 공습과 9·11테러의 공통점
신호는 있었지만 무엇을 뜻하는지 몰랐다｜‘낯선 것’과 ‘있을 법하지 않은 것’｜9·11테러는 ‘알려진 미지’였을까?｜엄청난 대규모 공격｜테러의 수학: 멱법칙 분포｜테러를 정의하고 측정하다｜진도 9짜리 테러｜테러에 관해 ‘크게 생각하기’｜왜 쇼핑몰은 공격하지 않을까｜테러 예방을 위한 이스라엘의 전략｜테러리스트의 신호를 읽는 법

｜나가며｜예측은 어떻게 가능한가
확률적 사고: 베이즈주의에 익숙해지기｜출발점을 인식하고 편견을 줄여나가라｜시도하고, 실수하라｜예측 가능성에 대한 인식
｜옮긴이의 말｜세상을 바라보는 새로운 눈
｜주석｜

책 속으로

이런 모든 상황을 감안할 때 코로나바이러스는 예측의 실패라기보다는 전문가의 지침 및 그에 따른 행동의 실패였다. 온갖 세부사항이 잘못되었고 불확실성이 높기도 했지만 무엇보다도 커다란 방향 자체가 올바르지 못했던 것이다.
이 책의 내용 대부분은 어째서 전문가들의 예측이 그토록 자주 빗나가는지, 아울러 어떻게 하면 좀 더 신뢰할 수 있는 예측이 가능할지를 다룬다. 그러나 2012년에 이 책의 초판이 출간된 뒤로도 전문가들이 상당히 높은 확률로 세상을 바꾸는 대사건이 일어날 것을 예측했지만, 이런 예측들이 대체로 무시되거나 잘못 받아... 더보기

출판사 서평

정치, 경제, 스포츠, 기후, 전쟁, 테러, 전염병, 도박…
소음이 가득한 세상에서 의미 있는 신호를 찾아라
경제위기 대처에서 질병퇴치 역량의 확보에 이르기까지, 이제 모든 것은 미래를 얼마나 정확하게 예측할 수 있느냐, 즉 예측의 질이 얼마나 향상될 수 있느냐에 달려 있다. 삶의 속도가 점점 빨라지고 예상을 뛰어넘는 사건이 늘어날수록 우리는 예전보다 더 자주, 더 신속하게 계획과 전략을 세워야 한다.
네이트 실버는 ‘더 나은’ 즉 더 정확한 예측을 한 사람들에게 공통으로 나타나는 요소를 파악하기 위해 국립기상연구소에서 메이저... 더보기

정치, 경제, 스포츠, 기후, 전쟁, 테러, 전염병, 도박…
소음이 가득한 세상에서 의미 있는 신호를 찾아라
경제위기 대처에서 질병퇴치 역량의 확보에 이르기까지, 이제 모든 것은 미래를 얼마나 정확하게 예측할 수 있느냐, 즉 예측의 질이 얼마나 향상될 수 있느냐에 달려 있다. 삶의 속도가 점점 빨라지고 예상을 뛰어넘는 사건이 늘어날수록 우리는 예전보다 더 자주, 더 신속하게 계획과 전략을 세워야 한다.
네이트 실버는 ‘더 나은’ 즉 더 정확한 예측을 한 사람들에게 공통으로 나타나는 요소를 파악하기 위해 국립기상연구소에서 메이저리그 야구장으로, 포커판에서 주식시장으로, 국회의사당에서 NBA 경기장으로 다양한 분야를 누비며 예측의 성공 사례뿐 아니라 실패 사례까지 찾아간다. 이 책을 쓰기 위해 노벨 경제학상 수상자 조지 애컬로프, 래리 서머스 전 재무장관, 도널드 럼스펠드 전 국방장관 등 미국을 움직이는 리더들을 인터뷰했고, 프로 도박사나 스카우터., 기상예보관, 전염병 전문가 등의 전문인들을 심도 있게 취재했으며, 관련 분야 논문과 기사들을 샅샅이 찾아 공부했다(엄청난 분량의 주註를 참고하기 바란다).

COVID-19 팬데믹, 2016년 미국 대선에서 우리가 놓친 것은 무엇인가?
지구온난화와 기상이변 같은 21세기의 과제를 확률적 사고로 해결할 수 있을까?
프로 스포츠와 포커판의 예측 고수들에게 어떤 예측 기술을 배울 수 있을까?
주식이나 부동산 시장에서 거품은 왜 그렇게 잘 깨지지 않는가?

각 분야의 선구자들이 남긴 혁신의 성과가 설혹 미미하더라도 우리는 그들이 구사한 방법론들로부터 많은 것을 얻을 수 있다. 어떻게 하면 확률적으로 생각하는 법을 익힐 수 있을까? 베이즈라는 18세기 영국인의 통찰을 응용해서 지구온난화와 기상이변 같은 21세기의 과제를 해결할 수 있을까? 미래에 대해서 더 많이 알게 되면, 현재의 의사결정을 더 현명하게 할 수 있을까?

움직이는 과녁을 맞히는 예측의 과학과 기술
“수많은 예측이 실패하는데 왜 어떤 예측은 적중할까?” 날마다 엄청난 데이터가 생성되는 ‘빅데이터’ 시대에 왜 많은 예측이 그토록 심하게 빗나갈까? ‘빅데이터 시대’를 맞아 인류는 엄청난 양의 데이터와 맞닥뜨렸지만, 그만큼 쓸모없는 ‘소음’도 어마어마하게 많아졌기 때문이다. 《신호와 소음: 불확실성 시대, 미래를 포착하는 예측의 비밀》에서 말하는 데이터 분석의 관건이란, 이 ‘소음’들을 효과적으로 제거해 의미 있는 ‘신호’를 찾아내는 것이다. 책은 크게 두 부분으로 나뉜다. 1부와 2부에서는 예측에 따르는 문제를 진단하고, 3부와 4부에서는 베이즈주의적 해법을 적용하고 탐구한다.
1부에서는 최근의 금융위기를 둘러싼 예측의 실패, 야구 분야의 예측 성공, 접근방법론에 따라 예측의 성공과 실패가 갈리는 정치 분야를 다룬다. ‘예측’에 내재하는 가장 근본적인 몇 가지 의문을 깊이 탐구한다.
2부에서는 기상 변화, 지진 예측, 경제 동향, 전염병 확산 등을 둘러싸고 몇 가지 역동적 체계를 하나씩 들여다본다. 내로라하는 과학자들이 오랜 시간에 걸쳐 이 체계들을 연구하고 있지만, 체계 자체가 역동적인 까닭에 예측은 한층 어렵고 까다롭다. 그런 만큼 이들 분야에서 예측이 언제나 잘 맞을 수는 없다.
3부에서는 통계 확률 기법을 이용한 해결책에 주목한다. 네이트 실버가 신호와 소음을 구분하기 위해 사용하는 도구 중 가장 중요한 것은 통계학의 ‘베이즈 정리(Bayes’s theorem)’다. 이는 사전 확률을 도출한 뒤 새 정보가 나오면 가장 가능성 있는 것을 골라 적용해 사후 확률을 개선해 나가는 방법이다. 베이즈 정리를 활용해서 승승장구하는 프로 스포츠 도박사를 소개하는 데 이어 체스와 포커 게임을 다룬다. 스포츠와 게임은 명확한 규칙을 따른다는 점에서 우리의 여러 예측 기술을 검증하는 실험실 역할을 톡톡히 해낸다. 우리는 이들 분야를 통해 무작위성과 불확실성을 좀 더 온전하게 이해하고, 정보를 지식으로 변환하는 방식도 통찰할 수 있을 것이다.
4부에서는 베이즈 정리를 좀 더 실존적인 유형의 문제에 적용하여 지구온난화, 테러, 금융시장 거품 문제를 다룬다. 이들은 사회 전체에 위협적인 과제임은 물론 예측 전문가들에게는 까다로운 과제다. 해결방법이 전혀 없지는 않다. 이 같은 과제에 기꺼이 맞설 각오가 서 있기만 하다면, 우리가 사는 나라와 우리의 경제권 그리고 우리의 지구는 지금보다 한층 안전한 곳이 될 수 있다.
이 책은 네이트 실버의 예측 철학과 기법을 보여줌과 동시에 불확실한 미래를 어떻게 받아들이고 대응해야 하는지에 대해 깊은 성찰을 던져준다. 세상의 지각변동을 가져오는 모든 요소를 시시각각 눈여겨보는 오피니언 리더와 끝없이 시장과 소비자의 욕망을 예측해야 하는 기업가는 물론, 사회 변동에 깊은 관심을 가진 독자, ‘빅데이터’ 시대의 실상과 그에 맞춰 ‘살아남는’ 법에 관심 있는 모든 사람에게 유용한 지침서가 될 것이다.

미래예측의 패러다임을 바꾼 핵심적 통찰
실버는 한 분야를 파면서 세부사항은 무시한 채 큰 아이디어를 추구하는 사람보다는 여러 분야의 지식을 아우르며 다양한 시도를 하는 사람, 실수를 인정하는 자아비판이 가능하며 복잡한 상황과 정보를 잘 견디고 조심스러우면서 이론보다는 실제 관찰을 중시하는 사람이 더 ‘나은’ 예측을 한다고 말한다.
미래예측은 마술 같은 방식으로 이루어지지 않는다. 저자는, 우선 손에 넣을 수 있는 정보나 대다수 사람이 경험을 통해 도출해낸 공동의 결론, 상식 등을 이용해 신중하게 예측한 뒤 그 결론의 불완전성을 인정한 채로 천천히 작더라도 새로운 정보를 모아야 한다고 말한다. 이어서 그것이 진실을 담은 신호인지 의미 없는 소음인지 구별하고 이를 바탕으로 예측의 진위를 평가해야 한다. 예측할 수 없는 것이 존재함을 인정하는 겸손함과 예측할 수 있는 것을 예측하는 용기, 그리고 그 차이를 아는 지혜가 필요하다.
때로 예측에서 중요한 것은 절대적 정확성이 아니라 ‘경쟁 속에서의 상대적 정확성’이다. 경쟁은 더 나은 예측의 필수 요소다. 그러나 예측하는 이가 그릇된 목적을 추구한다면 예측은 오히려 경쟁 때문에 빗나가버리거나 심지어 처참한 결과를 낳기도 한다. 예측가 스스로가 아직은 자신이 초보적인 수준이며 예측이 위험한 과학이라는 사실을 정확하게 인식할 때 좀 더 정확한 예측이 나온다. 예측가의 동기는 정치적인 목적이 아니라 진리 추구이며, 이들은 진리에 조금이라도 더 가까이 다가가게 해주는 수많은 세부사항을 안다. 이런 태도를 가질 때 예측가는 비로소 소음에서 신호를 가려낼 수 있다. 닫기

Klover 리뷰 (0)

북로그 리뷰 (17) 전체보기 쓰러가기

도서 구매 후 리뷰를 작성하시면
결제 90일 이내 300원, 발송 후 5일 이내 400원, 이 상품의 첫 리뷰 500원의 포인트를 드립니다.
포인트는 작성 후 다음 날 적립되며, 도서 발송 전 작성 시에는 발송 후 익일에 적립됩니다.
북로그 리뷰는 본인인증을 거친 회원만 작성 가능합니다.
(※ 외서/eBook/음반/DVD/GIFT 및 잡지 상품 제외) 안내

신호와 소음 jj**ghya | 2021-01-30 | 추천: 0 |

현재 우리는 매우 편리한 세상에서 살아가고 있다. 마치 분신처럼 가지고 다니는 휴대전화에는 언제 어디서든 필요한 정보를 얻을 수 있기에 버릇처럼 들여다보고 있는지도 모르겠다. 그러나 과연 이 정보들을 모두 믿어도 되는 것일까? 반대로 우리가 정보 속에 노출된 것은 아닐까? 책 표지에도 나와 있듯이 우리는 매우 복잡하고 불확실성의 시대에 살아가고 있다. 기본적으로 이 책은 미래를 예측하는데 어떤 사고를 거쳐서 예측을 할까에 대한 이야기이다. 최근 '빅데이터'란 단어를 심심치 않게 접할 수 있다. 이 책은 말 그대로 엄청난 정보의 ... 더보기

현재 우리는 매우 편리한 세상에서 살아가고 있다. 마치 분신처럼 가지고 다니는 휴대전화에는 언제 어디서든 필요한 정보를 얻을 수 있기에 버릇처럼 들여다보고 있는지도 모르겠다. 그러나 과연 이 정보들을 모두 믿어도 되는 것일까? 반대로 우리가 정보 속에 노출된 것은 아닐까?
책 표지에도 나와 있듯이 우리는 매우 복잡하고 불확실성의 시대에 살아가고 있다. 기본적으로 이 책은 미래를 예측하는데 어떤 사고를 거쳐서 예측을 할까에 대한 이야기이다. 최근 '빅데이터'란 단어를 심심치 않게 접할 수 있다. 이 책은 말 그대로 엄청난 정보의 홍수 속에서 우리는 어떻게하면 '소음'을 걸러내고 '신호'를 취할 것인가를 알려준다. 우리가 살면서 접하는 정치, 경제, 야구, 기상, 전염병 등 다양한 분야에서 흥미롭게 사례를 소개하면서 많은 예측들이 틀리는 과정과 어떻게 하면 예측의 질을 높일지를 탐구한다. 예측이 실패하는 이유는 정보의 양이 부족해서가 아니다. 또한 정보가 많다고 예측이 쉬워지는 것은 아니다. 정보가 많아질수록 그 많아지는 양보다 훨씬 소음의 양은 증가한다. 우리는 많은 편견과 데이터를 겸허하게 수용하지 않음으로써 예측에 문제가 발생한다. 저자는 새로운 정보가 들어오면 그에 맞게 예측을 끊임없이 갱신하라고 강조한다. 이에 대한 방법론으로 이 책의 핵심 메시지가 될 수 있는 베이즈 정리를 소개한다. 베이즈주의적 관점은 미래를 100퍼센트 확실하다는 식으로 보지 않는다. 다소 주관적일수 있지만 베이즈주의적 관점은 합리성을 '개연성(확률)'과 관련된 문제로 본다. 이러한 사고에는 인간은 자기 믿음에 완벽한 객관성, 합리성, 정확성을 결코 지닐수 없어서 그저 덜 주관적이고, 덜 비합리적이며, 덜 잘못되려고 노력한다. 따라서 베이즈주의적 관점은 세상에 대해 당신이 갖는 주관적 인식이 진리에 대한 어림짐작에 지나지 않음을 인정하라고 요구한다. 중요한 것은 '우리가 아는 것'이 아니라 '우리가 아는 것과 우리가 안다고 생각하는 것 사이의 차이'다. 이 책에서는 이 둘 사이의 간극을 좁힐 수 있는 방법으로 결국 베이즈 정리를 제안했다. 확률적인 사고를 함으로써 베이즈주의에 익숙해질 수 있다.

이 책을 읽으면서 내가 잘 몰랐던 분야에 대해서 의외로 잘못 생각했던 부분들도 많아서 많은 사람들이 편견으로 인해 잘못알고 있는 부분이 많겠구나라는 생각이 들었다. 여기에서 소개되고 있는 경제나 정치, 기후변화 등은 선형적으로 이해하기 힘든 복잡계의 영역이다. 사실 복잡계에서 정확한 예측을 한다는 것은 사실상 불가능하다. 하지만 저자는 그렇다고해서 예측조차 시도하지 않는다면 학자로서 자격이 없다고 한다. 다만 100퍼센트 정확하진 않지만 확률적인 사고를 함으로써 우리의 결정들이 크게 틀리는 일을 줄이고자 하는 것이 목적이다. 결국 우리가 살아가면서 이 책에 나온 것처럼 베이즈주의적으로 사고를 한다면 많은 시행 착오를 줄일 수 있을 것이란 생각이 들었다.

*** 위 서평은 출판사로부터 책을 제공받아 작성하였습니다 ***

닫기
신호와 소음 ar**kis | 2021-01-29 | 추천: 0 |

어릴 때 지붕 위에 TV 안테나가 있었다. 잘 나오는 TV가 바람이라도 불었던 날이면 여지없이 화면은 선명하지 않았다. 그러면 집 안에 있는 누군가는 밖으로 나가서 화면이 선명해질 때까지 이리저리 안테나 방향을 맞춰야 했다. 안테나가 명확한 신호를 잡으면 TV 화면은 선명했다. 그렇지 못하면 Noise 가득한 TV를 봐야만 했다. 과거를 돌이켜볼 때 처음으로 경험한 '신호와 소음'이지 않을까. 지금도 명확한 신호를 포... 더보기

어릴 때 지붕 위에 TV 안테나가 있었다.

잘 나오는 TV가 바람이라도 불었던 날이면 여지없이 화면은 선명하지 않았다.

그러면 집 안에 있는 누군가는 밖으로 나가서 화면이 선명해질 때까지 이리저리 안테나 방향을 맞춰야 했다.

안테나가 명확한 신호를 잡으면 TV 화면은 선명했다. 그렇지 못하면 Noise 가득한 TV를 봐야만 했다.

과거를 돌이켜볼 때 처음으로 경험한 '신호와 소음'이지 않을까.

지금도 명확한 신호를 포착하면 의사결정을 내리가 쉽다.

주식투자를 하는 사람이라면 기업이 매출이나 순이익이 증가한다는 신호를 남들보다 먼저 예상할 수 있다면 투자 수익을 올릴 수 있다.

신호는 항상 지나고 나서 바둑 경기처럼 복기를 해보면 어떤 것이 신호였는지를 알게 된다.

그나마 분석을 통해서 신호를 알게 되면 다행이다.

그래야 다음에 비슷한 상황이 오면 놓치지 않으니 말이다.

오늘날 과거 안테나와 같은 역할은 무엇이 있을까?

데이터가 석유를 대체해서 돈이 되는 시대다.

빅데이터로부터 의미 있는 신호를 읽어내는 기업과 그렇지 못한 기업의 가치는 상상 이상의 차이를 보인다.

기업뿐만 아니라 우리는 하루에도 수많은 소음 속에서 살고 있다.

TV에서 걸러지지 않은 뉴스라든가, 인터넷상에서 유포되는 가짜 뉴스에서 제대로 된 신호를 포착하는 것은 여간 힘든 일이 아니다.

오히려 소음을 생산하는데 일조하는 경우도 있으니 말이다.

그만큼 개인이 수많은 소음으로부터 신호를 포착하는 것은 어려운 일이다.

'신호와 소음'의 저자 네이트 실버(nate Silver)와 같이 자신이 좋아하는 메이저리그 야구선수의 성적을 예측하는 시스템을 만들었거나, 카지노 게임에서 돈도 잃어보면서 통계학에 대한 전문 지식을 쌓지 않은 사람이라면 말이다.

그럼에도 불구하고 가능하면 예측을 할 수 있는 연습을 해야 되지 않겠는가.

책에 소개된 내용 중에서 예측을 위한 유형으로 여우와 고슴도치를 비교한 내용이 있다.

여우와 고슴도치 중에서 누가 더 나은 예측을 할까?

고슴도치는 거창한 생각, 곧 세상에 대한 지배적 원칙, 물리학 법칙이자 사회의 모든 상호작용을 실질적으로 뒷받침하는 것처럼 작동하는 거대한 원칙을 믿으며, 긴장하고 성급하며 경쟁적인 A형 행동양식 유형에 속한다.

여우는 사소한 생각들을 믿으며 또 문제를 해결하려면 다양한 접근이 필요하다고 여기는, 관심이 사방팔방으로 뻗치는 산만하기 짝이 없는 유형이다.

여우는 뉘앙스의 차이, 불확실성, 복잡성, 배치되는 의견 등에 좀 더 관대한 경향이 있다.

위의 내용으로만 보면 과거에는 고슴도치형이 더 적합해 보인다.

그렇지만 빅데이터 시대에는 더 나은 예측을 위해서는 여우가 되어야 한다.

여우의 태도와 고슴도치의 태도 비교를 보면서 자신의 유형을 분석해 보는 것은 의미 있는 일이다.

여우의 원칙에 비유해서 한 예측 모델 원칙 세 가지를 소개한다.

1. 확률적으로 생각하라

2. 날마다 새로운 예측을 하라

3. 합의를 구하라

더 정확하게 예측할 수 있는 길은 스스로의 한계를 인식하는 것이다.

이것이 여우처럼 생각하는 법이지 않을까.

신호와 소음 관련 내용에 대해서 찾아보다가

가장 이상적인 관계를 나타내는 표가 있어서 가져왔다.

우리가 메시지를 전달할 때는 Noise는 적게, 신호는 많이 전달을 해야 한다.

들을 때도 가능한 Noise를 거를 수 있는 여우가 되어야 한다.

속도를 늦추고 의심하라!

이 핵심 메시지가 저자가 우리에게 전달하는 내용이지 않을까.

***

본 서평은 출판사로부터 도서를 제공받아 작성한 것입니다.

닫기
신호와 소음 ka**808 | 2021-01-28 | 추천: 0 |

불확실성의 시대, 미래를 포착하는 예측의 비밀 ... 더보기

불확실성의 시대, 미래를 포착하는 예측의 비밀

예측이 실패하는 이유는 데이터의 부족이 아니다. 정보가 많다고 해서 예측이 쉬어지는 것은 아니다. 정보가 하나둘 많아지면 오히려 불필요한 소음의 양도 늘어난다는 점을 간과해선 안 된다. [신호와 소음]은 넘치는 정보에서 쓸모 있는 정보 가려내기, '신호' 에서 '소음' 을 제거해 의미를 발견하는 것의 중요성을 역설한다. (p. 6) -추천사 中-

빅데이터라고 불리는 시대에 살고 있으면서 '신호' 와 '소음' 을 구별해낼 수 있다는 것은 얼마나 대단하고 또 얼마나 필요한 능력인가. 중요성은 이미 충분히 그리고 대부분 체감했으리라 여겼다. 그래서 '신호' 에서 '소음' 을 제거하는 방법을 찾길 기대하며 책장을 펼쳤다.

이 책의 내용 대부분은 어째서 전문가들의 예측이 그토록 자주 빗나가는지, 아울러 어떻게 하면 좀 더 신뢰할 수 있는 예측이 가능할지를 다룬다. 그러나2012년에 이 책의 초판이 출간된 뒤로도 전문가들이 상당히 높은 확률로 세상을 바꾸는 대사건이 일어날 것을 예측했지만, 이런 예측들이 대체로 무시되거나 잘못 받아들여지는 사례의 수는 점점 늘어나기만 했다.(p. 13) 이 책 전체의 목적은 사회가 더 나은 예측을 할 수 있는 방법을 설명하는 것이다. 그러나 불확실성 아래에서 해야 하는 더 나은 추정은 단순한 추측과는 전혀 다른 차원의 일이다. 어떤 의사결정권자가 현재 시점에서 동원할 수 있는 정보를 토대로 해서 믿는 것이 무엇인지 묻는 것, 이런 접근 방식이 그 사람이 신탁의 사제라도 되는 것처럼 여기는 것보다는 더 나은 패러다임이다. (p. 28) -서문 中-

2012년의 초판을 읽은 것은 아니나 이번 개정판이 크게 달라진 것 같지는 않다. 다루고 있는 예시들에서 년도가 2012을 지난 것들은 거의 없었기 때문이다. 최신 예시는 대부분 '트럼프' 관련 한 것들이었다. 아마도 트럼프 낙선 이후 제대로 트럼프 당선에 대한 비판을 하고자, '예측' 이 가장 크게 빗나갔던 사례를 다루고자 개정판을 낸 듯 싶다.

인간의 생물학적 본능은 정보가 홍수처럼 넘쳐나는 현대 세상에 언제나 멋들어지게 적응하지는 않는다. 여러 편견을 알아차리려고 적극적으로 나서지 않는 한, 새로 보태지는 정보가 우리에게 가져다주는 편익은 최소한에 머물거나 어쩌면 오히려 줄어들지도 모른다. (p. 62) 신호는 진리다. 소음은 우리가 진리에 다가서지 못하게끔 우리의 정신을 산만하게 한다. 이 책은 이것들에 관한 이야기다. (p. 69) -들어가며 中-

이 책이 신호에서 소음을 걸러내는 방법을 간명하게 알려주길 기대했다. 하지만 어마무지한 두께에서 내내 의미들만 설명되어졌다면 읽지 못했을지도 모르겠다. 다행?인지 이책은 대부분 신호 보다는 소음에 대한 이야기들을 주로 하고 있다. 따라서 대충 걸러가며 읽게 되는 책이었다. 첫번째 소음은의 주제는 '금융위기'다.

과거의 데이터는 미국의 주택가격이 일제히 하락할때 어떤 일이 일어날지에 대해 아무것도 얘기해주지 않는다. 주택가격 폭락은 표본 외 사건이었고, 신용평가사들이 운용하던 모델들은 이런 조건 아래에서 지급불능의 위험을 산정하는 데 아무 소용이 없었다. (p. 114) 그들의 예측은 완전히 빗나갔다. 이는 당신이 쏜 총알이 과녁 한가운데에 적중하지 않았는데도 언제나 대체로 비슷한 지점을 맞혔다는 사실을 들어, 다시 말해 정확하지는 않지만 정밀하다는 점만 가지고서 자기가 명사수라고 주장하는 셈이다. (p. 115)

소수점 둘째자리까지 정밀하게 한 예측지수는 표본 외 사건에 대해 아무런 예측을 해주지 못한 셈이 되었다. 즉 정밀한 수치이긴 했으나 정확하게 표적의 중심을 맞추진 못했다는 말이다. 그동안의 데이터로는 그동안 한번도 발생하지 않은 일에 대해 예측은 커녕 소음만 만들어냈을 뿐이었다. 그랬기에 '금융위기'가 터졌다. 금융위기는 정치권자들의 선택과도 밀접한 관계가 있었다.

고슴도치와 여우는 이사야 벌린이 러시아 소설가 레프 톨스토이에 대해 쓴 에세이 [고슴도치와 여우]에서 따온 표현이다.(벌린은 이 제목을 그리스 시인 아르킬로코스가 쓴 '여우는 사소한 것을 많이 알지만 고슴도치는 중요한 것 한 가지를 안다'라는 구절에서 따왔다.) 톨스토이나 아름다운 문장을 특별하게 좋아하는 사람이 아니라면 벌린의 에세이를 읽을 이렇다 할 이유는 없다. 벌린의 에세이가 담고 있는 기본 발상은, 작가와 사상가를 크게 고슴도치와 여우라는 두 범주로 나눌 수 있다는 것이다. (p. 126)

미국에서 있었던 선거 결과를 바탕으로 저자는 '여우처럼 생각하는 법을 배워야 한다'고 주장한다. 언론매체에는 대부분 한가지 주장을 과하게 열심히 하는 고슴도치적 전문가들이 득세하고 이들을 보다보면 여론은 이들이 주는 쓸데없는 소음을 신호처럼 받아들익 되기 쉽다. 그러니 여우처럼 의심하고 여우처럼 사소한 정보들에 대해 관심을 가져서 여우처럼 자신만의 확률을 계산해보라고 저자는 말한다. 여우처럼 저자 본인이 했던 직접적 경험담이 '야구'이야기인 셈이다. 저자는 메이저리그의 야구선수들 성적을 예측하는 프로그램으로 인생역전을 경험했다.

경쟁이 어떤 곳보다 치열한 프로스포츠 세계에서 예측을 가장 잘할수 있으려면 무엇보다 스스로 혁신가가 되어야 한다. (중략) 아무도 생각하지 못한 발상을 하기란 어렵다. 좋은 발상을 하기란 더더욱 어렵다. 좋은 발상을 했더라도 곧장 다른 사람들이 달려들어 그걸 베끼기 때문이다. (p. 211) 훌륭한 혁신가는 일반적으로 매우 크게 생각하고 동시에 매우 작게 생각한다. 새로운 발상은 때로 문제의 가장 미세하고 구체적인 데서, 보통 사람들은 귀찮아서 피하려 드는 데서 생겨난다. (p. 212)

일상에서 보통사람들이 좋은 발상에 대해 경험해볼 수 있는 영역은 아마도 '기상예측' 이 아닐까. 폭설, 폭염, 폭우 같은 재난에 가까운 기상을 경험할때마다 우리는 기상청을 마구 힐난한다. 하지만 기상청은 분명 최대한 신호를 잡아내려 하고 있는 중이다.

기상 예측의 과학은 기상이 제기하는 온갖 복잡성이라는 어려움을 헤치고 나아가는 성공 스토리다. 이 책을 읽으면서 알게 되겠지만, 예측에서 이 같은 경우들은 규칙들보다는 예외에 속한다. 그럼에도 미국 국립기상청은 종종 폄하될뿐더러 민간업체로부터 강력한 도전을 받고 있다. 경쟁이 불가피하다 하더라도 문제는 이 경쟁이 불공정하게 전개된다는 데 있다. (p. 245)

일기예보가 틀리고 기상청이 욕먹는 것은 한국이나 미국이나 매한가지인가보다. 하지만 기상청 예보는 성공스토리라고 저자는 말한다. 기상예보는 점점 잘 맞고 있다. 눈에 직접적으로 보이는 체감할 수 있는 성공스토리이다. 심각한 위험은 기상보다는 오히려 '지진'에 있었다.

통계학에서는 소음을 신호로 잘못 인식하는 행위를 가리켜 '과적합'이라고 부른다. (p. 298) 과적합은 '엎친데 덮치는' 격이다. 과적합 모델은 연구논문에서는 '더 나은 것'으로 보이지만 실제 현실에서는 '더 나쁜' 성적을 거둔다. 그리고 후자의 특성 때문에 실제 현실에서는 예측하는 데 동원될 경우 호된 대가를 치른다. (p. 304) 지진은 기본적으로 '복잡한' 현상이다. (p. 310) 그 과정은 너무 복잡한 나머지 특정 수준을 넘어서서 예측할 길이 없다. 그런데 복잡한 과정들은 충분히 거리를 두고 바라보면 질서와 아름다움을 낳는다. 나는 이 책에서 신호와 소음이라는 표현을 매우 느슨하게 사용하지만, 사실 두 단어는 전자공학에서 나온 용어다. (p. 311)

지진에서 '과적합' 사례를 찾는 것은 역사속에서 엄청난 대지진을 찾아보면 된다. 지진은 예측불가능한 영역같아 보였고 실수들만 차곡차곡 쌓아오는 분야 같았다. 하지만 저자는 '기술은 퇴보하는 일 없이 언제나 발전'한다며 그러한 실패들 속에서도 분명 '신호'를 지진 신호를 찾아낼 날이 올것이라 희망한다. 과적합 실패담이 어디 지진에서 뿐이겠는가 실생활에서 더 심각하게 체감되는 분야는 '경제 예측' 이다.

경제 예측가들은 하치하우스가 그렇듯 세 가지 근본적 문제에 부닥친다. 첫째, 경제 통계안으로 인과관계를 결정하기란 매우어렵다. 둘째, 경제는 항상 움직이기 때문에 지금의 경제 주기에서 유효한 경제 행위가 미래의 경제 주기에서는 전혀 효과가 없을 수 있다. 셋째, 경제 전문가들의 예측이 형편없었던 것 만큼이나 이들이 다루어야 하는 데이터 역시 썩 훌륭하지 않다. (p. 328) 설령 그 모든 문제를 해결한다고 해도 경제 전문가들에게는 여전히 문제가 남는다. 고정되지 않고 움직이는 표적을 맞혀야 하는 문제다. 미국을 비롯해 세계 각국의 경제는 항상 진화한다. 그리고 서로 다른 경제변수 사이의 관계는 시간이 흐름에 따라 계속해서 바뀔 수 있다. (p. 334)

빅데이터 시대에 소음은 엄청나게 경제분야를 물들인다고 하면서도 저자는 그럼에도 불구하고 통계적 추론은 이론으로 뒷받침될 때, 또는 적어도 근본 원인에 대한 좀 더 깊은 생각으로 뒷받침될 때 훨씬 더 강력해진다고 말한다. 다만 지나친 자신감은 금물, 예측가들이 우리가 사는 세상에 잠복해 있는 온갖 위험을 온전하게 그리고 명시적으로 드러내지 못할 정도로 위축감을 느낄 때 위험은 음험한 모습을 드러낼거라고 저자는 당부한다. 지금 우리가 맞닥뜨린 음험한 위험은 바로 '전염병' 아닐까.

예측은 목적이 아니라 수단이다. 예컨대 예측은 모든 과학에서 가설 검증에 매우 핵심적인 역할을 한다. 통계학자 조지 박스는 이렇게 말했다. "모든 모델은 빗나간다. 그러나 몇몇 모델은 유용하다" 모든 모델은 우주의 미니어처이며, 당연히 그래야 한다. (p. 395) 좋은 모델은 설령 빗나간 예측을 내놓는다 해도 유용할 수 있다. 오조노프는 이렇게 말했다. "우리가 하는 모든 예측은 빗나갈 수밖에 없다는 사실을 명심해야 합니다. 그러기에 얼마나 빗나갔는지, 빗나갔을 때는 어떻게 해야하는지 이해하고 빗나갔을 때 발생할 수 있는 비용을 최소화하는 것이 예측과 관련해서 우리가 해야 하는 일입니다" (p. 396)

빗나간 예측도 사후수습으로 유용할 수 있다는 것을 우리는 '코로나' 사태로 절절이 체감하는 중이다. 비록 빗나갈 지라도 "예측'은 중요하다. 그렇다면 과연 이런 예측은 어떻게 할 수 있다는 말인가? 저자는 '베이즈 정리' 를 강조한다.

토머스 베이즈는 1701(또는 1702)년에 태어난 영국의 목사다. 베이즈는 통계학의 전 영역에 이름을 남기고 저 유명한 불멸의 정리에도 이름이 아로새겨져 있지만, 정작 그의 삶은 거의 알려져있지 않다.(중략) 베이즈는 불리한 출신 배경과 부족한 저술 경력에도 왕립학회 회원으로 선출되었다. 아마도 왕립학회의 토론회에서 내부 비평가나 조정자 역할을 한 듯싶다. (중략) 베이즈는 신이 진정으로 자비심이 넘치는 존재라면 어떻게 이 세상에 고통과 사악함이 존재할 수 있겠는가 하는 오래된 질문을 탐구했다. 그는 인간의 불완전성을 신의 불완전성으로 오해해서는 안 된다는 결론을 내렸다. (p. 414) 베이즈는 신의 완벽함과 무결성을 믿었다. 그뿐만 아니라 자연은 일정하고 예측할 수 있는 법칙에 따라 움직인다고 말하는 아이작 뉴턴의 저작도 신봉했다. (p. 415) 베이즈주의적 관점은 합리성을 '개연성(확률)'과 관련된 문제로 본다. (중략) 베이즈는 인간이 결점투성이라고 해서 이를 신이 실수한 것이거나 실패한 것으로 오해하면 안 된다고 했다. 우리가 불완전하다는 사실을 인정하는 것이야말로 구원의 길로 나아가는 첫걸음이라는 말이다. (p. 416) 확률과 예측, 그리고 과학적 진보의 밀접한 연관성은 이처럼 18세기들어 베이즈와 라플라스 덕분에 온전히 이해되기에 이르렀다. (p. 417) 베이즈 정리의 철학적 토대는 놀라우리만큼 풍부한 데 비해 그 수학적 형식은 굉장히 간단하다. (중략) 베이즈 정리는 조건부확률과 관련이 있다. 어떤 사건이 일어났다는 전제 아래 이론이나 가설이 참이나 거짓일 확률을 따진다는 말이다. (p. 418)

'베이즈 정리'에 대해서는 다른 수학책이나 통계관련 책에서도 자주 언급된다. 하지만 그때도 이해하지 못한 정리였듯이 이번에도 이해하긴 어려웠다. 다만 베이즈 정리가 나오기까지의 과정을 보니 '미국식' 사고방식을 좀더 뚜렷이 느끼게 되었다. 서양의 추론 방식은 대부분 '연역식' 이다. 주제를 먼저 세우고 입증해나가는 방식이다. 따라서 예측 이라는 방식으로 학문이 발전해온 셈이기도 하다. 그리고 그러한 예측엔 '종교적 믿음' 이 깔려 있기 쉬웠다. 그래서 '시크릿' 이라는 자기계발서가 선풍적인 인기를 끌었겠구나 하는 그책을 읽은지 몇년만의 깨달음이 찾아오기도 했다. 하지만 여전히 나는 '베이즈 정리' 의 주관적 확률에 대해 도무지 어떻게 받아들여야할 지 모르겠다.

베이즈 정리는 또한 우리 주변 세상에 대해, 특히 사람들이 확률이나 가능성의 문제로 좀처럼 생각지 않는 문제들까지 확률적으로 생각하라고 요구한다. (중략) 기본적으로 베이즈 정리는 '인식론적' 불확실성, 곧 우리 지식의 한계를 다룬다. (p. 426) 피셔와 그의 동시대 사람들은 '베이즈 정리'자체에 대해서는 별문제를 느끼지 않았다. '베이즈 정리'는 그저 단순한 수학적 실체일 뿐이기 때문이다. 피셔를 비롯한 그들이 두려워한 건 '베이즈 정리'가 적용되는 방식이었다. 특히 그들은 베이즈주의의 사전확률이라는 발상을 문제 삼았다. 그들이 보기에는 사전확률이 지나치게 주관적이었다. '실험 전에 어떤 것이 발생할 가능성을 미리 정해둬야 한다니, 그것도 주관적으로! 이런 설정이 과학의 객관성을 어떻게 훼손하지 않겠는가?' 이것이 피셔와 그의 동시대인들이 바라보던 사전확률의 문제였다. (p. 431)

내가 보기에도 그랬다. '사전확률' 이라고 하지만 사실 확률이 아니라 개인적으로 예상하는 기대수치인 셈이었다. 그런 주관적 수치를 어떻게 확률 이라고 할 수있는걸까... 그런 주관적 수치로 임의적으로 설정한 사전확률을 바탕으로 계산한 예측이 어떻게 확실하게 맞다고 할 수 있게 되는 것일까... 베이즈정리는 여전히 내게 이해가 안가는 확률통계처리 방법이었다.

그러나 무엇보다도 큰 문제는 피셔의 통계 철학이었다. 그의 통계방식은 실험의 객관적 순수성을 강조한다. 모든 가설은 데이터만 충분하게 주어진다면 완벽한 결론으로 검증될 수 있다는 게 이 방식의 가정이다. 하지만 이런 순수성을 확보하려면 베이즈주의적 사전확률의 발상이나 뒤죽박죽인 실제 세상의 온갖 맥락에 대한 필요성을 부정해야만 한다. 이 방법론은 우리가 설정한 가설의 타당성에 대해 우리에게 생각하도록 권장하지도 않고 요구하지도 않는다. (p. 436)

데이터들만을 바탕으로 한 통계만 신뢰할 수 없다는 것도 안다. AI에게 언어능력을 키워주기 위해 인터넷세상에서 스스로 학습하도록 시켰더니 올바른 언어보다 욕지거리들만 잔뜩 배워서 인공지능의 언어능력은 스스로학습이 아닌 올바른 언어를 입력해주는 것으로 하기로 했다는 이야기를 들은 적이 있다. 데이터들이 많다고 해서 그 많은 데이터들이 맞는 것은 아니다. 진짜보다 가짜가 많으면 통계는 가짜를 진리로 계산해낸다. 따라서 단순한 통계는 오히려 신뢰성이 없다. 나는 통계도 베이즈정리도 다 믿을 수가 없게 되버리고 말았다.

사실 베이즈주의의 한 가지 특성은 우리에게 더 많은 증거와 데이터가 주어지면 우리가 가진 믿음들은 저절로 진리를 향해 수렴한다고 보는 데 있다. (p. 442) 내가 피셔의 통계적 접근법의 문제점을 지적했지만, 이 같은 내용은 신기한 게 아니다. (중략) 그런데 최근 들어 존경받는 통계학자들이 빈도주의 통계학을 학부에서 더 이상 가르쳐서는 안 된다고 주장하기 시작했다. (중략) 나는 (중략) 결국 베이즈주의자가 승리할 것으로 예측한다. (p. 444)

결국 '믿음' 의 문제였다. 믿으면 모든 것이 이루어지리라는 '시크릿' 이라는 책의 확률적 정리가 '베이즈정리'인 셈이다. 답이 없어 보이는 한계에 다다른 기분이다. 그 돌파구를 찾기 위해 저자는 최신 기법을 예로 들기 시작한다. 첫번째 예시는 인공지능과 인간과의 '체스'경기다. 그 다음은 포커 였다.

컴퓨터 체스 프로그램들은 이런 방식으로 체스를 둔다. 가능한 거의 모든 수를 최소한의 깊이로 검토하다가 가장 유망한 수에 자원을 집중한다. 이 방식은 매우 베이즈주의적이다. (p. 489) 포커를 할 때 우리는 자신의 의사결정 과정을 제어하지만 어떤 카드가 내 손에 들어오게 하거나 바닥에 깔리게 제어하지는 못한다. (p. 547) 결과에 초점을 덜 맞출수록 더 나은 결과를 얻을 수 있다는 역설이 성립한다. (p. 548) 해결책에 가장 가까운 것은 신호와 소음 모두 이 우주에서 뺄 수 없는 요소임을 깨닫고서 이들에 대해 전혀 흔들림 없는 마음의 평정 상태를 유지하며, 각각의 실체를 파악하고 평가하는 데 온 힘을 기울이는 것이다. (p. 548)

예측을 하는 구체적 방법에 있어서 통계를 지나 믿음의 문제로 가버렸다. 구체적 예시들은 또다시 베이즈정리의 주관적 확률을 지지하는 듯 보인다. 그리고 저자는 더 나아가 전 세계적으로 '보이지 않는' 것에 대해 좀더 큰 예시들을 제시한다. 바로 '보이지 않는 손' 이다.

사실 자본주의와 베이즈 정리는 같은 지적 전통 속에서 나타났다. 애덤 스미스와 토머스 베이즈는 같은 시대를 살았으며, 두 사람 다 스코틀랜드에서 교육을 받았고 철학자 데이비드 흄의 영향을 받았다. 스미스의 '보이지 않는 손'도 베이즈주의적 과정이라 생각할 수 있다.(중략) 우리 믿음을 지속적으로 업데이트하면서 점검 개선하고, 사람들 사이에 그 믿음에 이견이 있을 때는 내기를 한다는 점에서 서로 같기 때문이다. 이 둘은 기본적으로 '대중의 지혜'의 강점을 취하는 합의 추구 과정이다. 따라서 시장은 이런저런 예측을 하는 데 특히 좋은 방법이라 할 수 있다. 바로 주식시장이 그렇다. (p. 554) '거품이 왜 생기는가 하는 질문에 대한 대답은, 시장이 지속적으로 상승하는 걸 모든 사람이 바라기 때문입니다' (p. 591) 그런데 분명한 것은 만약 우리가 '시장은 오류 없이 무결점으로 돌아가며 시장의 가격은 언제나 옳다'는 가정을 갖고 있다면 결코 거품을 탐지할 수 없을 것이라는 점이다. (p. 611)

'보이지 않는 손' 이라는 시장경제의 기본 원리를 보여줌과 동시에 인간의 믿음이 바탕이 된 '베이즈주의' 를 보여줄 수 있는 예시로 '주식시장'은 적절하다. 코로나 사태로 경제가 침체될때 개미들이 주식시장에서 어떤 움직임을 보여주었는지 생각해보면 정말로 아주 적절한 사례다. 그리고 또한번 절감할 수 있다. 시장의 가격은 항상 옳지는 않았다. '보이즈 않는 손' 이 시장에서만 있다고 생각한다면 오산이다. 다음 예시는 '지구 온난화' 문제다.

인과관계에 대한 기본적 이해가 있다면 지구온난화를 둘러싼 여러 주장을 의심할 근거는 충분하다. (중략) 그러나 예측은 현상 뒤에 숨은 원인을 온전하게 이해할 때 훨씬 더 강력해진다. 우리는 지구온난화의 원인을 상당한 수준으로 이해하고 있다. 그 원인은 바로 온실효과다. (p. 616) 불확실실은 예측의 본질적 요소로, 타협이 불가능하다. (p. 662) 그러나 불확실성을 조심스럽고도 명시적으로 계량화해야 하는 또 다른 이유가 있다. 과학적 진보에는 특히 베이즈 정리를 전제한다면이것이 필수다. (p. 663) 고장난 정치제도는 미국의 미래를 어둡게 한다. (p. 670) 내가 아이디어들의 건강한 토너먼트와 철창 속에서 치러지는 정치라는 격투기 가운데 하나를 골라야 한다면 어떤 것을 선택해야 할지는 빤하다. 특히 내가 올바른 예측을 하고 있다고 믿는다면 더더욱 그렇다. (p. 671)

지구온난화 문제는 비교적 정확한 과학적 토대들로 확실한 지향점을 보여주지만 정치적 합의는 불확실성에 미래를 걸기 일쑤였다. 그리고 그 불확실성에 건 정치적 합의는 때론 '테러'로 돌아오기도 했다.

진주만 공습과 9.11테러 - 신호는 있었지만 무엇을 뜻하는지 몰랐다. (p. 675) 테러에 대해 더 자세히 살펴보기 전에 먼저 테러가 무엇인지 정확하게 정의할 필요가 있다. 테러를 정의하기란 매우 까다롭다. 블라드미르 레닌은 '테러의 목적은 공포를 조장하는 데 있다' 라고 말했다. 이 발언에는 깊은 통찰이 담겨 있다. 테러리스트들은 최대한 많은 사람을 죽이는 게 목적이 아니다. 이들은 공포를 극대화해서 대중을 조종하려 한다. 파괴와 살인은 이 목적을 이루기 위한 '수단'일 뿐이다. (p. 694) 테러리스트와 사회 사이에는 일종의 균형이 있을 수 있다. 자유와 보안 사이의 어느 지점에 놓여 있는 균형이며, 균형의 무게중심은 시간과 장소에 따라 다양하게 달라질 수 있다. (p. 712) 테러를 사전에 포착하지 못한 실패의 가장 중요한 원인은 상상력의 부족이다. 예측을 할 때는 호기심과 회의론 사이에서 절묘한 균형을 취할 필요가 있다. (p. 718)

결국 '예측' 은 상상력이 필요한 영역이었다. 따라서 주관적 가설확률을 토대로 한 베이즈정리는 또다시 실용성을 획득한다. 저자는 '완벽한 예측은 불가능하다는 사실을 기꺼이 인정' 하고 '우리가 알지 못하는 것에 대해 더 많이 앎으로써 좀 더 정확한 예측을 할 수 있다' 고 책을 마무리 한다. 700페이지가 넘는 이 두껍고 거대한 책을 통해 얻은 결론은 결국 '신호와 소음'을 구별하는 방법을 알아냈다기 보다는, '신호와 소음'을 구별하기 위해 노력해야 한다 는 것이다. 이 결론을 설마 이 두꺼운 책을 읽기 전에 몰랐을까?;;;

정보량은 기하급수적으로 늘어나고 있다. 그러나 유용한 정보는 상대적으로 적다. 다시 말해 소음에 대한 신호의 비율이 점점 작아지고 있다. 우리에게는 이 둘을 구분할 수 있는 더 나은 방법이 필요하다. 중요한 것은 '우리가 아는 것' 이 아니라 '우리가 아는 것과 우리가 안다고 생각하는 것 사이의 차이' 다. 이 책은 지금까지 이 둘 사이의 간극을 좁힐 수 있는 방법을 제안했다. 처음에는 도약을 크게 하고 그다음부터는 작은 발걸음을 부지런히 놀려라. '큰 도약' 이란 바로 예측과 확률에 대해 베이즈주의적으로 생각하는 것이다. (p. 721) 베이즈주의 원칙을 가장 쉽게 적용하는 방법은 수없이 많은 예측을 하는 것이다. (p. 727) 베이즈정리 아래서는 누구든 자기 견해나 믿음을 더 많이 검증하려들 것이고, 이 과정이 반복될수록 위에 열거한 문제점들을 더빠르게 극복하고 실수를 통해 배워나갈 수 있을 것이다. (p. 729) -나가며 中-

정말이지 두꺼워도 너무 두꺼웠던 이 양장본의 커다랗고 두꺼운 책의 결론은 어쩌면 서문에 이미 다 나와 있는 셈이었다.

나는 [신호와 소음]이라는 이 책의 내용을 자동차에 붙이는 스티커에 들어갈 정도로 압축한다면 무엇이 될까 하는 생각을 종종 했다. 그리고 '확률적으로 생각하라' 가 가장 적절할 것 같다는 결론을 내렸다. 그런데 이번에는 거기에다 스티커 하나를 더 추가하면 좋겠다는 생각이 든다. 이 스티커의 내용은 이렇다. "속도를 늦추고 의심하라" (p. 38) -서문 中-

결국 '신호' 와 '소음' 을 구별해내는 특별한 비법 같은 건 없었다. 각자가 꾸준히 생각하고 의심하고 예측해보는 실수와 실패를 통해 경험치가 상승한다는 것뿐.

- 리뷰어스클럽에서 책만 제공받아 주관적으로 작성한 글입니다.

닫기
[도서협찬] 신호와 소음 ge**444 | 2021-01-23 | 추천: 0 |

처음에 책을 받아보고 두께에 아주 놀랐다.그리고 너무나 방대한 자료에 2번째 놀랐다.책의 마지막 주석 참조한 자료 부분이책 전체의 1/7 가량은 되는 것처럼 보인다. 예전에 앨빈 토플러의 "제3의물결"을 보았을 때받았던 느낌과 같은 충격을 받았다.그만큼 "신호와 소음"에는 방대한 내용을 담고 있다. 각 챕터는 아래와 같다.크게 4개의 챕터로 나뉘어지고거기서도 아래 명칭으로 소챕터로 구분된다.1. 금융위기, 정치, 야구2. 기상, 지진, 경제예측, 전염병3. 베이즈정리, 체스, 포커4. 주식, 지구온난화, ... 더보기

처음에 책을 받아보고 두께에 아주 놀랐다.그리고 너무나 방대한 자료에 2번째 놀랐다.책의 마지막 주석 참조한 자료 부분이책 전체의 1/7 가량은 되는 것처럼 보인다.

예전에 앨빈 토플러의 "제3의물결"을 보았을 때받았던 느낌과 같은 충격을 받았다.그만큼 "신호와 소음"에는 방대한 내용을 담고 있다.

각 챕터는 아래와 같다.크게 4개의 챕터로 나뉘어지고거기서도 아래 명칭으로 소챕터로 구분된다.1. 금융위기, 정치, 야구2. 기상, 지진, 경제예측, 전염병3. 베이즈정리, 체스, 포커4. 주식, 지구온난화, 테러

정말 다양한 주제에 대해서 다루고 있고개인 취향을 주식 챕터를 좀 더 집중해서 보았다."과거의 수익률은 미래의 결과와 무관합니다.""차트를 믿지 마세요"

각 챕터는 그 소재를 통해 분석을 해주는 것이고저자의 생각 핵심은 마지막 나가는 말"예측은 어떻게 가능한가"에 나와 있다.

우리가 해결해야 하 과제는 언제나 우리 능력 범위의한계 지점에 아슬아슬하게 걸쳐 있는 법이다.

중요한 것은 '우리가 아는 것'이 아니라'우리가 아는 것과 우리가 안다고 생각하는 것 사이의 차이'다.이 책은 지금까지 이 둘 사이의 간극을좁힐 수 있는 방법을 제안했다.

확률적 사고: 베이즈주의에 익숙해지기베이즈 정리의 핵심은 사건이 일어날 가능성에 대한 확률적 표현이다.

확률적 사고의 미덕은 확률적으로 생각하면무조건 앞으로만 나아가는 게 아니라 잠시 걸음을 멈추고 서서데이터를 살펴보게 된다는 데 있다.자신의 믿음에 잘못된게 없는지 생각할 수 있다는 말이다.

출발점을 인식하고 편견을 줄여나가라시도하고, 실수하라

예측은 아주 아주 중요하고, 그 때문에 더욱 어렵다.소음에서 신호를 분리하려면 과학적 지식과자기인식을 동시에 갖추어야 한다.우리가 예측할 수 없는 것에 대한 겸손함과예측할 수 있는 것을 예측할 수 있는 용기그리고 이 둘 사이의 차이를 아는 지혜가 필요하다.
닫기
신호와 소음 : 확률적 사고의 중요성 ap**ori09 | 2021-01-20 | 추천: 0 |

나날이 세계가 복잡해지는 가운데, 나에게 꼭 필요한 정보를 찾기란 쉽지 않습니다. 우리는 매일 빅데이터 시대의 혜택을 누리면서도 어떤 정보를 믿고 거를지에 대한 문제에 봉착하고 범람하는 정보의 장에서 정확한 정보를 찾아 헤맬 수밖에 없는 삶을 삽니다. 어떤 것이 중요한 신호가 되고 어떤 것이 소음에 지나지 않는지를 구별하는 능력이야말로 이 시대에 꼭 필요한 재능인 것 같습니다. 예측도 마찬가지입니다. 많은 사람들이 자신의 일을 두고 예측을 ... 더보기

나날이 세계가 복잡해지는 가운데, 나에게 꼭 필요한 정보를 찾기란 쉽지 않습니다. 우리는 매일 빅데이터 시대의 혜택을 누리면서도 어떤 정보를 믿고 거를지에 대한 문제에 봉착하고 범람하는 정보의 장에서 정확한 정보를 찾아 헤맬 수밖에 없는 삶을 삽니다. 어떤 것이 중요한 신호가 되고 어떤 것이 소음에 지나지 않는지를 구별하는 능력이야말로 이 시대에 꼭 필요한 재능인 것 같습니다.

예측도 마찬가지입니다. 많은 사람들이 자신의 일을 두고 예측을 한다고 말하지만 단순히 예상하는 것에 지나지 않습니다. 요즘 이슈가 되고 있는 주식만 놓고 보더라도 사람들은 오늘 당장 주식이 오를지 내릴지를 예측하려고 애쓰지만 정확한 데이터와 근거에 기반한 것 없이 판단하기 때문에 늘 예상에 그치면서 슬픈 결과를 떠안게 됩니다.

통계학자 네이트 실버의 예측에 관한 저서로 <신호와 소음>은 이러한 불확실성 시대를 살아가는 사람들에게 많은 의미를 전달하고 있습니다. 그는 이 책을 통해서 통계가 가장 널리 적용되는 분야인 정치, 경제, 야구, 기후, 전염병, 도박 등을 살펴보며 어떻게 올바른 신호와 그릇된 소음을 구별할 것인지를 논합니다. 그는 예측의 성공과 실패 사례들을 파헤치면서 예측이라는 문제에 당면하는 과제들을 비중 있게 다룹니다.

이 중 평소에 관심 있었던 금융과 경제 분야의 예측에 대한 이론들이 상당히 흥미로웠습니다. 저자는 전 세계 금융위기를 야기했던 2008년 미국 발 서브프라임 모기지 사태를 예로 들며 데이터를 평가할 때 핵심 맥락을 무시하면 어떤 결과를 만들어내는지, 예측 실패의 대가가 얼마나 큰 지를 알려줍니다. 우리나라까지 여파가 상당했던 금융위기를 되돌아보면서 예측 실패는 대부분 잘못된 확신에서 비롯되고 과거에 잘못 내린 판단의 문제점을 극복했다고 착각할 때 나타난다는 저자의 의견에 동의하지 않을 수 없었습니다.

또한 경제예측에서는 맹점으로 작용하는 불확실성과 변동성, 편향을 분석합니다. 경제는 역동적인 체계라서 끊임없이 변하며 데이터가 충분하지 못한 경우가 많기 때문에 경제예측은 쉽지 않고 움직이는 표적을 맞히는 문제라고 시사합니다. 그리고 경제 전문가들이 예측에 실패하는 원인으로 자기 과신에 물든 예측을 하며 불확실성을 솔직하게 말하지 못하고 편향된 예측을 하기 때문이라고 합니다. 지나친 자신감은 예측 실패와 깊은 관련이 있다는 저자의 조언처럼 비단 경제뿐만이 아니라 다른 분야의 예측에서도 경계해야겠습니다.

저자는 이 밖에도 역동적인 체계 때문에 예측이 어려운 분야들을 다루면서 예측의 문제점을 지적하고 정확한 예측의 중요성을 한 층 강조하고 있습니다. 그는 이 책을 통해 신호와 소음을 구별하는 도구로써 '베이즈 정리'를 제시합니다. '베이즈 정리'는 조건부 확률로 어떤 사건이 일어났다는 전제 아래 어떤 가설이 참이나 거짓일 확률을 따지는 것입니다. 베이즈 정리는 사건이 일어날 가능성에 대한 확률적 사고방식으로 사후에 일어날 확률을 사전에 일어날 확률로 확인할 수 있습니다. 저자는 이러한 방식을 '베이즈주의'라고 하며 더 많은 증거와 데이터가 주어지면 베이즈주의는 진리를 향해 수렴한다고 합니다. 책 전체에 걸쳐 관통하는 그의 논점은 확률적 사고방식을 바탕으로 편견을 줄여나가고 수많은 예측을 해보라는 것입니다. 자신의 견해나 믿음을 더 많이 검증해보려고 하는 시도를 통해서 정확한 예측에 다가갈 수 있다고 조언합니다.

통계 확률 기법을 이용하여 카지노와 포커에서 큰돈을 번 경험과 대선 결과를 정확히 예측하여 유명해진 그는 <신호와 소음>을 통해서 예측에 대한 남다른 통찰력을 보여줍니다. 총 824 페이지에 달하는 방대한 분량의 책인데도 불구하고 생활과 밀접한 분야들을 다루고 있어 지루할 틈 없이 읽었습니다. 평소에 야구나 도박에 대해 잘 몰랐던 저도 이 책을 읽으면서 예측의 기술을 배울 수 있었고 통계학 전문가인 저자의 해박한 지식에 감탄하지 않을 수 없었습니다. 미래를 예측하는 일은 상당히 까다롭고 어렵지만 그럼에도 불구하고 정확히 예측하고자 하는 인간의 욕망은 끊임없습니다. 그가 강조한 확률적 사고, 즉 베이즈주의적인 사고를 꾸준히 연마하여 정확한 예측에 다가가고 소음이 가득한 세상에서 의미 있는 신호를 선별하도록 노력해야겠습니다. 자신이 예측하는 미래가 실현되길 바라는 모든 이들에게 이 책을 추천합니다.

* 출판사로부터 무료로 책을 제공받아

직접 읽고 쓴 리뷰입니다.

닫기

문장수집 (0) 문장수집 쓰기 나의 독서기록 보기
※구매도서의 문장수집을 기록하면 통합포인트 적립 안내

문장수집 안내

문장수집은 고객님들이 직접 선정한 책의 좋은 문장을 보여주는
교보문고의 새로운 서비스입니다.

마음을 두드린 문장들을 기록하고 좋은 글귀들은 "좋아요"하여 모아보세요.

구매 후 90일 이내에 문장수집을 남겨주시면 100P,
해당 도서의 최초 작성자라면 200P를 적립해드립니다.

※포인트는 발송완료 후 익일 적립되며, 취소/반품/절판/품절
도서는 제외됩니다.

스토리K 총 1건의 스토리K가 있습니다.

[북캐스트]

2021 불확실성 시대, 미래를 포착하는 예측의 비밀

2021-01-14 | 조회: 12

교환/반품/품절안내

※ 상품 설명에 반품/교환 관련한 안내가 있는 경우 그 내용을 우선으로 합니다. (업체 사정에 따라 달라질 수 있습니다.)

교환/반품/품절안내
반품/교환방법	마이룸 > 주문관리 > 주문/배송내역 > 주문조회 > 반품/교환신청 , [1:1상담>반품/교환/환불] 또는 고객센터 (1544-1900) ※ 오픈마켓, 해외배송주문, 기프트 주문시 [1:1상담>반품/교환/환불] 또는 고객센터 (1544-1900)
반품/교환가능 기간	변심반품의 경우 수령 후 7일 이내, 상품의 결함 및 계약내용과 다를 경우 문제점 발견 후 30일 이내
반품/교환비용	변심 혹은 구매착오로 인한 반품/교환은 반송료 고객 부담
반품/교환 불가 사유	소비자의 책임 있는 사유로 상품 등이 손실 또는 훼손된 경우 (단지 확인을 위한 포장 훼손은 제외) 소비자의 사용, 포장 개봉에 의해 상품 등의 가치가 현저히 감소한 경우 예) 화장품, 식품, 가전제품(악세서리 포함) 등 복제가 가능한 상품 등의 포장을 훼손한 경우 예) 음반/DVD/비디오, 소프트웨어, 만화책, 잡지, 영상 화보집 소비자의 요청에 따라 개별적으로 주문 제작되는 상품의 경우 ((1)해외주문도서) 디지털 컨텐츠인 eBook, 오디오북 등을 1회 이상 다운로드를 받았을 경우 시간의 경과에 의해 재판매가 곤란한 정도로 가치가 현저히 감소한 경우 전자상거래 등에서의 소비자보호에 관한 법률이 정하는 소비자 청약철회 제한 내용에 해당되는 경우 (1) 해외주문도서 : 이용자의 요청에 의한 개인주문상품으로 단순변심 및 착오로 인한 취소/교환/반품 시 ‘해외주문 반품/취소 수수료’ 고객 부담 (해외주문 반품/취소 수수료 : ①서양도서-판매정가의 12%, ②일본도서-판매정가의 7%를 적용)
상품 품절	공급사(출판사) 재고 사정에 의해 품절/지연될 수 있으며, 품절 시 관련 사항에 대해서는 이메일과 문자로 안내드리겠습니다.
소비자 피해보상 환불지연에 따른 배상	상품의 불량에 의한 교환, A/S, 환불, 품질보증 및 피해보상 등에 관한 사항은 소비자분쟁해결 기준 (공정거래위원회 고시)에 준하여 처리됨 대금 환불 및 환불지연에 따른 배상금 지급 조건, 절차 등은 전자상거래 등에서의 소비자 보호에 관한 법률에 따라 처리함