데이터분석/Code & Tools & Script Snippet

IBM Watson 이용해보기

늘근이 2015. 10. 25. 23:10

왓슨이라는 놈을 들어보았나. 이 놈은 인공지능에 있어서 랜드마크와 같은 놈으로 '백만장자되기' 프로그램에 나와 쟁쟁한 사람들과 경쟁해서 이겼다고 한다. (오프라인으로..)

왓슨을 통해서 갖가지 정형화된 작업뿐만 아니라 인간의 질문에도 대답할수 있도록 비정형화된 데이터도 잘 처리한다고 한다.




위와같은 크고 아름다운 형체를 뽐내고 있으며 조명은 덤이다. 어마어마한 사용료를 내고 사용해봐야할것 같지만, 이러한 무지막지한 개인이 일단 공짜로 이용해 볼수 있다니, 클라우드 & 빅데이터와 인공지능 분야에서 우선순위를 점하려는 통근 전통 대기업들의 싸움이 볼만한 듯 하다. 


https://watson.analytics.ibmcloud.com/


저번에 소개한 마이크로스프트의 Azure의 경우도 개인에게 200$ 어치의 쿠폰을 주며 이것을 이용해 공짜로 이것저것 머신러닝 관련한 데이터 분석을 돌려볼수 있는데, 마찬가지로 IBM도 이러한 플랫폼을 제공한다.

아래와같이 네가지 섹션이 나뉘어져 있는데, 참으로 직관적으로 잘 되어있다.


Explore

여기에서는,기본적인 데이터 분석을 할수 있다. 이러한 관점에서 여러 '자연어 질문'을 통해 답을 구할수 있다.


위는 매출채권에 대한 여러 궁금할수 있는 데이터 질문들이 바로 튀어나온다. 왓슨은 자연어를 처리하는데에 있어 상당한 인공지능을 가진 슈퍼컴퓨터다. 이제 저중에 하나를 눌러보자.



사용자가 보고싶은 정보가 큼지막하고 시원하게 뜨면서도 다른 부가 정보들이 무척 궁금할 것을 예상한 임원들에게 정보를 보여주기 위해 위에 깔끔하게 데이터들이 떠다닌다.

기존의 방식과 다를수 있는게, 화면단을 만지고 이것저것 요청받은 대로 데이터를 구성하는 것과는 별개로 이건 슈퍼컴퓨터가 알아서 원하는 데이터들의 흐름과 정형성을 발견하여 사용자에게 제공해준다.


Predict



이번에는 데이터를 단순히 분석하거나 보는것 뿐만 아니라 패턴을 발견하고 어떤 요소들이 데이터에서 예측될수 있는지, 데이터를 가지고 어떻게 분석해야하는지, 어떤걸 예상해볼수 있는지를 해볼수 있는 섹션이다.



웹단이라 살짝 반응속도가 아쉽지만, 깔끔한 비주얼과 분석력 3단으로 제공되는 데이터 예측은 정말 혀를 내두를 정도로 대단하다고 생각한다. 이정도의 솔루션이라면 얼마가 되었든 사용해보고 싶지 않겠는가.


Assemble



위의 화면은 사용자가 알아서 화ㅁ면을 조작해서 쉽게 볼수 있도록 도와주는 대쉬보드 역할이다. 어떻게 화면구성을 해주세요! 라는 요청이 들어오지조차 않는다. 사용자가 알아서 드래그해서 자신이 원하는 정보만 볼수있다.



아무리 전문가라 하더라도 글씨가 빽빽하게 쓰여져 있는 논문같은 웹페이지보다는 직관적으로 보여줄것만 보여주는 위와같은 대쉬보드 형식의 보고서가 훨씬 맘에드는 것은 인지상정이다.


Refine



데이터란게 쓰다보면, 후처리나 전처리도 필요한 경우가 대부분이며 가공되지 않은 데이터는 바로 쓰지도 못한다. 이러한 면에서 데이터 가공을 담당하는 섹션이다. 시각적으로 쉽게 데이터를 구분할수 있는 점이 눈에 뜨인다.


전체적으로 Business Intelligence가 여기까지 와버렸구나 하는 느낌이 물씬 풍기는 웹단의 IBM Watson 기능 살펴보기 였다.

HTML5가 정착되면서 웹에서 거진 모든 것을 할수 있게 되었고, (아니 그냥 모든것)  게다가 클라우드의 대중화로 로컬머신에서는 전혀 컴퓨팅 파워를 소모하지 않아도 바로 서비스를 제공받을 수 있게 되었다.


*추신, B2B의 입장에서 바라보기

마이크로소프트 Azure (애저인듯 하지만 정확히 뭐라고 발음해야할지는 음..) 나 IBM Watson 모두 진정한 솔루션이 나아가야 할 방향을 엿볼수 있는 서비스이다. 정말 아름다운 비주얼라이제이션과 더불어, 웹이기때문에 조금 답답한 면은 있어도 나름 견딜만한 성능과 대부분의 것들이 자동화가 잘 이루어져 있다는것. 따로 커스터마이징이나 문의대응이 필요없을정도로 직관적으로 잘짜여져 있으면서도 바로바로 결과가 튀어나온다는것. 이것이 B2C를 대상으로 했던 기업의 강점이 B2B로 그대로 녹여져 나오는것이 힘인듯 하다.

B2B를 전문적으로 하는 기업들은 아무래도 B2C를 하는 혹은 했던 기업보다는 뭔가 섬세함과 감성이 떨어지는데, 오라클은 회원가입한번 하려고 하면 엄청 힘이들고 SAP의 웹사이트는 아예 어이가 없음을 떠나 동작을 하지도 않는 수준이다.

물론 이기업들의 강점이 프론트단 웹사이트 따위에 있지않음을 잘 알고 기업고객들도 별로 신경쓰지 않지만서도 IBM 왓슨에서 제공하는 '매출 채권 분석' 을 해보면 위의 두 기업들의 서비스는 정말 한숨밖에 안나오고 복잡하기만 한 서비스 였다는 것을 얼핏 느끼기도 한다.

다르게 생각해보면 B2B에서 오히려, 아직까지 B2C에서의 빠른 변화가 없어도 살아남을수 있는 시장이였다는 의미라면 오히려 이러한 솔루션들을 잘 참고하여 기존의 기업용 소프트웨어 벤더, 오라클이나 SAP과 같은 기업도 확 뒤엎을 수 있다는 생각도 든다.

CD를 받아서 깔기만 하고, 그것을 본래의 목적과 다르게 코딩할줄 아는게 우리나라 IT회사가 가지고 있는 전부의 역량이라고 생각하면 조금 안타까운 생각이 든다. 아무쪼록 이러한 솔루션을 각종 오픈소스와 결합해서 개발한다면 한국에서도 좋은 B2B솔루션이 나오지 않을까. 예전보다 이용할수 있는 오픈소스들이 너무나도 많다. 아주 비정상적으로 너무 많다. 인력을 잘 배치하고 교육시킨다면 말이 안되는 일도 아닐것이다.

잡설이 너무 길었넹

마지막으로 멋진 짤이나 보고 끝낸다.