데이터분석 167

표본추출

표본추출 방법은 무려 10년전부터 보고있는데 너무 피상적으로 봐서 이해가 되지 않았는데, 그게 나의 문제점인듯하다. 피상적으로 알면 바로 넘어간다는것. 알때 제대로 알아야 하는데!!그래서 ! 태블릿으로 그려본다! 무작위 랜덤 추출 (Simple Random Sampling)그냥 아무거나 뽑아오는 방법이다. 근데 이렇게 뽑다보면 예를들어 한쪽에 요행히 몰리는 수가 있다. 계통(체계적) 추출 (Systematic Sampling)계통추출은 정말 별거 없고 그냥 등차로 규칙있게 뽑는것이다. 3번째, 7번째, 11번째 이렇게 뽑는건데, 나무위키에 따르면 전화번호부에서 뭔가 뽑는것이 유용하다고? 층화추출 (Stratified Sampling) 그림을 보고 잘 알수없지만, 층화추출은 트레이닝 데이터와 테스트 데이터..

데이터분석 2018.03.19

윈도우 스파크 실행을 위한 머시기

ㄱ 1) docker설치https://docs.docker.com/docker-for-windows/2) 설치용 스크립트 다운로드 (HDP, HDF 있음)https://ko.hortonworks.com/downloads/#sandbox3) 스크립트 실행.powershell -ExecutionPolicy ByPass -File deploy-sandbox-hdf-standalone_{version}.ps1 위와같이 다운로드 및 설치가 자동으로 진행되는것을 확인 4) 모든게 끝나면 docker ps -a 로 확인가능5) 아래와 같이 접속이 되면 성공http://localhost:8888/아이디 비번은 maria_dev/maria_dev깔끔허니 괜찮다. 이것을 암바리라고 부른다고 한다. 6) 이제 위의 메뉴에서..

데이터분석 2018.03.10

cronbach's alpha

크론바흐의 알파로 설문의 신뢰도를 측정할수 있다. 예를들어 어떠한 설문을 할때, 1. 당신은 불을 좋아하는가?2. 당신은 불을 보고 흥분하는가?3. 몰래 불을 지르고 싶은 마음이 든다. 4. 나는 소중하다. 와 같은 문항을 실제로(!) 굉장히 자주 맞닥뜨릴때가 있는데 사실 1,2,3문항은 비슷하고 4문항은 성격이 좀 다르다. 하지만 출제자의 원래 의도는 모두가 같은것을 테스트하려고 (이기주의) 내었다면, 이에대한 항목들의 일관성을 측정해볼수 있다.크론바흐어어워우워~ 알파값을 통해 한번 살펴본다. k는 현재 설문 몇개인지k는 항목갯수 c바는 모든 공분산들의 평균v바는 모든 항목의 평균 분산 라고 볼수 있는데, 얘가 1에 가깝게 나온다는것은 참으로 관련이 있다는것이고얘가 0에 가깝게 나온다는것은 그냥 항목들..

자연상수 e의 성질

e = 2.7182818...아마 베르누이는 은행에 어떻게하면 돈을 더 많이 굴릴수있을까.. 이자를 육개월에 한번빼서 다시 넣을까라는 우리네 소시민적인 생각을 하다가 응? 그러면 초당 뺐다넣었다 하면 어케되지? 라는 생각을 했을수도 있겠다.. 하지만 뭐든지 했으면 어떻게든 생색은 내야하는법. 뇌내망상을 거듭하다가 나중에 오일러가 e로 자연상수의 이름을 박아버리자 세상사람들은 그렇게 하옵겠나이다 하고 그렇게 되었다고 한다...

stanford univ. css231n lecture - (1) Image Classification

Lecture note the reason why object detection with edge detecting techinques is hard. - brittle - with other objecsts, we need to start all over again SO, Data Driven Approach is needed. Homework - CIFAR10 KNN for image classification? NO. training with nearest neighbor can be result in testing process is O(1), and predicting process is O(n). This should be sometwhat backwards.When using knn, we ..

그림과 수식으로 배우는 통통 인공지능 개념정리

그림과 수식으로 배우는 통통 인공지능. 타나구치 타다히로 집앞도서관에 책이 들어왔길래 일빠로 새책의 감동을 느꼈으나 오리가 모험을 떠나는 본문내용은 사실 오리가 떠나는지 뭐가 떠나는지 잘 모르겠고 무협지와같은 짜릿함은 없다..다만, 실무적으로 언급되거나 짚어야할점들은 아래와같이 구성을 해놓았다. - 프로토타입용의 기계 구성o 360카메라 거울, 자세한경우는 CCD. 카메라가두대면 대상이되는물체에대한 3차원정보가능스피커와 지향성마이크가 숨겨져있음. - A*알고리즘 o 최적탐색은 많은수의 경로탐색이 필요, 최고우선탐색은 속도는빠르나 잘못된 결과치를 낼 확률 존재. - 게임이론, 내쉬균형, 죄수의딜레마, 제로섬게임 등 등장- 동적계획- 베이즈정리 o 사건 A 라는 정보를 얻기전에 P(A)정도로 나오지않을까라고..