데이터는 유사 이래 늘 우리 곁을 지켜왔습니다. 인류가 축적한 모든 정보가 곧 데이터이며, 전 세계 정부와 기업에서는 각각의 목적에 맞는 다양한 데이터를 축적하고 있었죠. 이런 와중에 2010년대 들어 빅데이터라는 용어가 본격적으로 등장했는데요. 빅데이터는 말 그대로 특정 목적으로 사용할 수 있는 방대한 데이터를 의미하며, 네 가지 특징을 갖고 있습니다. 이를 ‘4V’라고 하는데요. 첫째는 ‘규모Volume’입니다. 우리가 수집하는 데이터가 과거와 비교할 수 없을 정도로 커졌다는 의미죠. 둘째는 ‘다양성Variety’으로, 우리가 다루는 데이터의 종류가 일부 숫자에서 이미지, 동영상, 텍스트, 로그데이터 등으로 매우 다양해졌다는 것입니다. 셋째는 ‘속도Velocity’인데요. 데이터가 생성되고 모이는 속도가 어마어마하게 빨라지고 있으며, 실시간으로 쏟아지는 데이터의 양도 상당해졌습니다. 마지막은 ‘정확성Veracity’입니다. 복잡다단하게 얽히고설킨 방대한 데이터를 필요와 목적에 맞게 수집·가공·분석해야 진정한 빅데이터라는 겁니다. 아울러 요즘에는 다섯 번째 ‘V’가 등장했는데, 바로 ‘가치Value’입니다. 조직에게 이득이 되는 가치를 전해줄 수 있는 데이터만이 빅데이터라고 불릴 자격이 있다는 것이죠. 이렇듯 ‘5V’를 바탕으로 움직이는 빅데이터는 오늘날 모든 분야에 걸쳐 매우 중요한 자원으로 평가받고 있습니다. 빅데이터를 활용하면 현황 파악과 미래 예측에 큰 도움이 되고, 이것이 곧 조직 경쟁력 향상으로 이어지니까요. 객관적인 빅데이터를 무시한 채 지금껏 해왔던 것처럼 경험과 직관에 의존해 의사결정을 한다면, 잘못된 방향을 선택할 가능성이 높아집니다. 고속도로에서 내비게이션 없이 눈 감고 운전하는 것과 똑같은 상황이 펼쳐진다고 보시면 됩니다.

빅데이터를 다루다 보면 보이지 않던 게 어느 순간 눈에 들어오는 신기한 경험을 하게 됩니다. 간단한 예로 어떤 물건 가격을 조정할 때 빅데이터 분석을 하면 얼마나 올렸을 때 수요가 얼마만큼 떨어지는지, 어느 정도 가격을 올려야 수요 하락을 최소화하면서도 이익을 극대화할 수 있는지를 한결 수월하게 파악할 수 있죠. 바로 이런 점이 빅데이터 전문가의 직업적 매력이라고 생각합니다. 이와 함께 빅데이터 전문가가 갖춰야 할 역량에 대해 물어보셨는데요. 오히려 내가 어떤 부분에 호기심을 느끼며 무엇을 더 재미있어 하는지를 생각해보면 좋겠어요. 컴퓨터공학을 전공한 사람은 데이터의 수집과 가공, 프로그래밍에 능하겠지만 데이터분석과 비즈니스적 시각으로 데이터를 바라보는 능력은 부족하겠죠. 통계학 전공자는 데이터분석에 능한 대신 다른 능력이 떨어질 테고, 인문학 전공자는 비즈니스적 시야에 강점을 갖고 있을 겁니다. 빅데이터는 이 사람들이 모두 모여 한 팀이 돼야 비로소 시너지를 낼 수 있는 분야입니다. 한 사람이 이 모든 능력을 갖고 있다면 좋겠지만, 이런 사람은 사실상 존재하지 않는다고 봐도 무방합니다. 따라서 빅데이터 전문가가 되기 위해 무엇을 공부해야 하는지를 고민하기보다 내가 무엇을 잘하고 어떤 것에 흥미를 느끼는지를 알고 거기에 맞춰 빅데이터에 접근하는 게 맞다고 봅니다.

빅데이터 팀 안에서만 문제를 해결하려고 하면 안 됩니다. 빅데이터를 활용할 현업 전문가를 반드시 팀에 합류시켜야 합니다. 그래야 현업에서 더욱 유용한 빅데이터와 툴Tool을 만들어낼 수 있습니다. 문제는 빅데이터 솔루션에 대한 현업 전문가들의 반발이 상당하다는 것입니다. 이로 인해 자신들의 직업을 잃을 수 있다고 생각하니까요. 이럴 때는 기업의 리더가 나서서 빅데이터 중심으로 업무를 재분배하고, 모두가 상생할 수 있는 방향으로 조직을 이끌어나가야 합니다.

빅데이터를 다룰 때 모두가 가장 어려워하는 프로그래밍을 한층 쉽게 수행할 수 있는 프로그램 ‘비주얼 파이썬’을 개발해 무료 배포했다는 점입니다. 비주얼 파이썬을 이용하면 클릭 몇 번만으로도 빅데이터 업무와 관련된 코드를 쉽게 생성해 원하는 빅데이터 프로그램을 만들 수 있는데요. 얼마 전 공익적 인공지능 프로그램의 고도화와 확산을 지원하는 글로벌 비영리기관 ‘넘포커스NumFOCUS’로부터 우리 프로그램을 지원해주겠다는 소식을 들었는데, 무척 기쁘고 보람 있었습니다. <테크 포커스> 독자들도 ‘비주얼 파이썬’을 이용해보시면 빅데이터 프로그래밍에 한결 쉽게 접근할 수 있을 것입니다.(visualpython.ai 참조)

우리는 점점 더 많은 데이터를 수집·가공·분석하고 있으며, 이를 현업에 적극적으로 활용하는 사례가 폭발적으로 증가하고 있습니다. 예컨대 웹 서핑을 하다 보면 맞춤형 광고가 뜨는데, 이것이 바로 빅데이터를 활용한 개인화 추천 서비스입니다. 앞으로 빅데이터의 활용도는 점점 더 높아질 것이고, 이를 통해 차별화된 경쟁력을 만들려는 조직도 늘어날 것입니다. 다시 말해 빅데이터가 일반화되는 시대로 나아가고 있는 것이죠. 따라서 빅데이터 전문가의 앞날은 매우 밝다고 자신 있게 말할 수 있는데요. 이런 이야기의 연장선상에서, 빅데이터 전문가가 아닌 일반인도 데이터를 이해하고 이를 업무에 활용할 수 있는 데이터분석 능력을 생활 속에서 길러야 한다고 봅니다. 이제는 모든 게 데이터로 움직일 테니까요. 그간 일상에서 데이터분석 능력을 키우는 방법에 대한 칼럼을 여럿 썼으니, 이를 참고해 조금만 노력한다면 모두가 원하는 인재에 한걸음 더 다가설 수 있을 것입니다.