데이터분석/Code & Tools & Script Snippet 27

[250/1100] 3일차 정리

Apache Pig / Hive / Hadoop / Impala / Hypervisor완전가상화 반가상화 호스트기반가상화 컨테이너기반가상화Memory Balloning / Transparent page sharing / Memory Out아 뭐라적은거여IO가상화단순랜덤추출법 계통추출법 집락추출법 층화추출법이산형 - 베르누이 이하분포 기하분포 다항 포아송연속형 - 균일 정규 지수 t분포 f분포 x2분포거설검정 & 예측귀무가설 대립가설표본평균, 표본분산 1종오류 2종오류모수적검정 비모수적검정피어슨 상관계수 스피어만상관계수p-value선형성 독립성 등분산성 비상관성 정상성단순회귀 다중회귀 다항회귀 곡선회귀 비선형회귀전진선택 후진제거 단계별방법

R을 이용한 텍스트 마이닝 샘플

> library(tm)> reut21578 crudeCorp crudeCorp[[1]] Metadata: 16Content: chars: 527 > inspect(crudeCorp[1]) Metadata: corpus specific: 0, document level (indexed): 0 Content: documents: 1 [[1]] Metadata: 16 Content: chars: 527 공백제거 > crudeCorp inspect(crudeCorp[1]) Metadata: corpus specific: 0, document level (indexed): 0 Content: documents: 1 [[1]] Metadata: 16 Content: chars: 514 소문자 제거 > crudeC..

IBM Watson 이용해보기

왓슨이라는 놈을 들어보았나. 이 놈은 인공지능에 있어서 랜드마크와 같은 놈으로 '백만장자되기' 프로그램에 나와 쟁쟁한 사람들과 경쟁해서 이겼다고 한다. (오프라인으로..) 왓슨을 통해서 갖가지 정형화된 작업뿐만 아니라 인간의 질문에도 대답할수 있도록 비정형화된 데이터도 잘 처리한다고 한다. 위와같은 크고 아름다운 형체를 뽐내고 있으며 조명은 덤이다. 어마어마한 사용료를 내고 사용해봐야할것 같지만, 이러한 무지막지한 개인이 일단 공짜로 이용해 볼수 있다니, 클라우드 & 빅데이터와 인공지능 분야에서 우선순위를 점하려는 통근 전통 대기업들의 싸움이 볼만한 듯 하다. https://watson.analytics.ibmcloud.com/ 저번에 소개한 마이크로스프트의 Azure의 경우도 개인에게 200$ 어치의 ..