데이터는 예측하지 않는다 독후감

---

독서 후 남기고 싶은 부분만 발췌, 기록한 일기​

​​책 : 데이터는 예측하지 않는다
저자 : 김송규
독서 : 93 - 147

있어서 나쁠 게 있을까?

몸에 이상이 있다고 생각한 지 1달째 정도 되었는데.. 정말 지독하게 낫질 않는 것 같다. 의사가 큰 문제는 아닌 거라고 해서.. 안심하고 약만 받아먹고 있는데.. 1-2주 정도만 보고 차도가 없으면 큰 병원으로 옮겨가 볼까 싶다. 어느새 40을 바라보는 나이가 되다 보니 건강이 하나씩 안 좋아지는 느낌이고 이런 몸으로 밤늦게까지 야근을 하다 보니 더 아프게 느껴지는 것일까.. 이웃님들 모두 건강 조심하세요.

어제 말한 것처럼 데이터는 만능이 아니다. 빅데이터라는 것을 무엇일까? 데이터 분석이라는 것은 예전부터 해오던 것이고 빅데이터는 모여지는 데이터의 모수를 늘여서 그 정확성을 높이는 데 있는 것이다. 그리고 어제 말한 것처럼 모수가 적든 많은 쓰레기 값이 들어올 수 있으네 네 부분에 대한 정제가 필수다.

어린 시절에 컴퓨터를 기억하는가? 게임을 하기 위해서는 3.5파이 플러피 디스켓을 들고 다녔다. 나보다 더 나이가 많은 사람들은 그것보다 더 큰 것을 썼을 것이고.. 나보다 나이가 조금 어린 사람들은 700M를 저장할 수 있는 CD 세대일 것이다. 하지만 어느새 이런 것들은 구시대의 유물이 되었다. 우리 아들에게 CD를 보여주면 아마 날리는 원반으로 알 수도 있지 않을까. 이처럼 컴퓨터와 저장기술은 시간이 지날수록 발전해간다. 데이터를 처리하는 것도 마찬가지일 것이다. 지금 핸드폰이 하나가 처리할 수 있는 능력을 20년 전에 구현을 하기 위해서는 그 컴퓨터는 그 시대의 슈퍼컴퓨터였지 않을까. 지금은 빅데이터를 처리하기 위해서 많은 GPU가 필요한 상황인데 10-20년이 지나면 이것 또한 장비 하나로 대체를 될 것이다. 빅데이터라는 것 또한 지금이야 새로운 혁신이겠지만 나중에는 일반 PC로도 충분히 처리 가능한 기술일 것이다. 빅데이터 분석 또한 데이터 분석의 한 종류 일뿐이다.

우리는 빅데이터 기술을 가지고 미래를 예측하려고 한다. 100% 제대로 된 예측을 할 수 있을까? 분석이라는 것은 과거의 사례를 기반으로 해서 그 패턴을 찾는 것이다. 이 패턴으로 무엇을 할 수 있을까? 다가오는 시대에 비슷한 상황이 발생하게 된다면 그다음을 예측할 수 있는 것이다. 하지만 과거에 없던 패턴이었다면? 이처럼 우리의 미래는 정해진 패턴이 오는 것이 아니다. 결국은 데이터 분석은 확률의 싸움인 것이다. 정해진 패턴이 오면 이를 이용할 수 있는 것이고 아니면 아닌 방식을 쓰면 되는 것처럼, 데이터 분석이 만능툴은 아닌 것이다.

만능툴이 아니라고 해서 전혀 필요 없는 기술이 되는 것일까? 아니다. 무엇이든 있으면 도움이 된다. 있어서 나쁠 것이 과연 몇 개나 될까.
어제 말한 것처럼 데이터를 분석하기 위해서는 돈과 시간이 필요하다. 그렇기에 최선의 방법은 데이터 없이 문제를 분석하는 것이다. 패턴을 찾고 확률 계산을 하기 위해서 데이터 분석이 필요할 때는 필요한 만큼만 데이터를 수집하고 분석하는 것이 맞지 않을까.

또한 수학이나 과학으로 설명하기 어려운 현상들에 대해서도 데이터들을 취합하면서 그 안에서 패턴을 찾게 된다면 유용한 분석 도구가 될 것이다.

데이터 분석이 '맞다' ' 아니다' 등의 다양한 의견이 나올 수 있다. 하지만 어떤 도구든 있으면 유용하게 쓰일 수 있는 것처럼 데이터 분석 또한 그 쓰임새가 분명히 있을 것이고 인간이 계산하기 어려운 분석이나 해석에는 정말 유용하게 쓰일 수 있는 점은 백번 공감할 수 있는 부분일 것이다.

있어서 나쁜 것이 과연 몇이나 될까.. 데이터 분석도 이런 관점에서 바라본다면 훌륭한 무기가 될 수 있을 것이다.