데이터는 예측하지 않는다 느낀점

---

독서 후 남기고 싶은 부분만 발췌, 기록한 일기​

​​책 : 데이터는 예측하지 않는다
저자 : 김송규
독서 : 7 - 89

데이터 분석을 제대로 하려면 어떻게 해야 할까

2년 넘게 다양한 장르의 책을 읽다 보니 비슷한 내용도 많은 것 같아서 도서관 책장에 있는 신간 중에 한 번도 보지 않은 분야의 책을 뽑아왔다. 그러다 보니 뽑힌 것이 김송규 교수님의 '데이터는 예측하지 않는다'였다.

데이터 분석의 경우는 사실 오래전부터 해왔던 것이었다. AI, 빅데이터 등의 이슈가 점점 더 커지면서 이 분야가 더 인기가 있는 것 같긴 하다. 많은 회사에서도 데이터 전문가를 모셔가려고 하고, 전문가가 없다면 회사 내에서 전문가를 키우거나 마케팅, 영업 등의 부서에 이런 분야의 일들을 담당하도록 하고 있다.

사실 데이터 분석이라고 말하지만 그 안에서도 데이터 사이언스의 목적에 따라 다양한 분류의 사람으로 나눌 수 있다고 한다. 만들어진 데이터로 문제를 해결해야 하는 사람, 그리고 데이터를 구조화하며 유효한 값들을 뽑아내는 사람, 영업이나 마케팅 등 이 데이터를 시각화하여 설득하려는 사람, 데이터 사이언스를 자신의 영역으로 확대해 보고자 하는 사람이다.
AI 세상에서 빅데이터가 최고라는 얘기가 나온 시점에서도부터 많은 사람들이 가벼운 문제도 데이터로 해결하려고 하는 경향이 있다. 하지만 이렇게 데이터로 해결하는 것이 최선의 방법인지는 한번 생각해 볼 만한 부분이다.

복잡한 수식을 계산하기 위해서는 우리는 계산기를 쓴다. 하지만 어느 순간부터 아주 간단한 계산도 머릿속으로 하지 않고 계산기만 두드리고 있다. 오히려 시간만 더 허비하는 셈이다.
'24 + 32'라는 수를 계산하여야 한다고 생각해 보자. 바로 56이라는 수치가 나오겠지만, '혹시나 틀릴까 봐, 귀찮아서'등의 이유로 계산기를 실행시키거나 꺼내고 똑같은 답을 얻어낸다. 빠르게 하려는 목적이었다면 걸리는 시간은 최소 10배 이상은 차이가 날 것이다.

AI를 교육하기 위해서 많은 데이터가 필요로 한다고 한다. 그런데 무조건적으로 이 데이터가 많다고 좋은 것인지는 한번 재고해 볼 만한 일이다. 예를 들어서 공장의 불량이 1%라고 생각해 보자. 100개를 만들 때는 1개가 나올 것이고, 10000개를 만들 때는 100개가 나온 것이다. 많이 만든다고 불량률이 줄어드는 것은 아니다. 갑자기 왜 불량에 관련된 얘기를 하느냐고? 빅데이터를 만들기 위해서 입력된 데이터에도 유효하지 않은 데이터가 들어갈 수도 있는데 데이터의 모수 커진 만큼 이렇게 유효하지 않은 데이터가 들어갈 확률도 높아지기 때문이다. 1,2개야 그냥 보고 걸러낼 수 있다곤 하지만 이 숫자가 많아진다고 한다면 이것을 정제하기 위한 별도의 필터가 또 필요하게 되는 것이다.

빅데이터라고 좋기보다는 어디에 얼마큼의 데이터가 들어가야 하는지 파악할 수 있는 능력이 먼저 필요한 것이다. 큰 짐승을 사냥하기 위한 칼로 쥐를 잡는다면 이 얼마나 효율 낭비인가.
데이터 사이언스는 측정, 수집, 분석의 3단계가 무조건 필요하다. 간단하면서 복잡한 단계를 지니고 있기에 우리는 데이터의 필요성에 대해서 다시 한번 생각해 볼 만한 일이다.

또한 만들어진 데이터라고 한다고 하더라도 그 데이터가 내가 만들지 않았다면 과연 신뢰를 할 수 있겠는가 또한 데이터 자체는 수치일 뿐 팩트는 아니다. 프로야구나 프로 농구만 보더라도 다양한 데이터를 통해서 그 해 순위를 예측하기도 한다. 아쉽지만 그 순위가 맞은 적은 거의 없었던 것 같다.
어떻게 보면 데이터 분석은 과거의 지표들을 가지고 그 변수들 사이의 상관관계를 알려줄 수 있지만 앞으로의 변수들을 정확히 예측하기는 어려운 것은 아닐까.
투자에서도 비슷하지 않을까. 과거의 지표들을 가지고 상승하고 하락한 이유를 때려 맞출 수 있지만, 전문가들 사이에서도 앞으로의 시장 예측은 서로 다른 답을 내놓는 것도 이런 이유에서 일 것이다.

데이터 사이언스도 결국은 만능은 아닐 것이다. 어디까지가 한계일지 생각해 보고 그 안에서 최적의 답을 찾는 것이 맞지 않을까.