데이터분석 167

[얼굴 인식] Microsoft Oxford Face API

아래의 트렌디한 도메인인 ai 주소를 클릭해보면 위와같은 화면을 볼수있다. https://www.projectoxford.ai/face Live Domo를 클릭하면 알아서 얼굴인식을 시도해볼수있다. 실제 개발을 하기 위해서는 Try for free를 통해 등록을 하여야 한다. 실제로 안드로이드를 코딩하기 위해서는 아래의 코드를 따라 치면 된다. https://msdn.microsoft.com/en-us/library/mt605324.aspx 코드를 복사하는것은 의미가 없기때문에 결과물만 올린다. 다만, 여기서 마이크로소프트가 간과한게 하나가 있는데, permission에 외부 저장소를 접근할수 있도록 하지않으면 버그날때가 있다. 중요한건, 라이브러리 추가하는 방법이 나와있지 않기 때문에 아래와같이 추가해..

[얼굴인식] Luxand Software

유료고, 라이센스를 구입하려면 320$를 내야하지만 일단은 공짜 소프트웨어를 위한 라이센스는 따로 부과하지 않고 있기 때문에 어떤 기능이 있나 써본다. 일단 플랫폼은 상용 소프트웨어답게 여러가지를 지원한다. Visual C++, C#, Objective C , VB, Java. 웬만한건 다 지원하고 있다.다만, 사실 그다지 깔끔하지 않다.https://www.luxand.com/

[얼굴인식] Google Mobile Vision API 이용

대기업이 프랑스 모 얼굴인식 회사를 인수했다는 뉴스를 접하며, http://www.businesspost.co.kr/news/articleView.html?idxno=24440 구글검색해도 잘 나오지 않는 회사를 인수했는지 궁금하다. 사실 얼굴인식이야 오픈소스로 OpenCV 말고도 여러개 풀려있어서 이것만 조금 개조하면 될텐데 어떤용도로 쓰일지 궁금하다. https://facedetection.com/software/ 아..아아아 나도 좀 데려가.. 어쨌든, 모바일 프로그래밍을 만진지 오래되었지만 한번 대충 만들어본다. 오랜만에 하면 뭔가 재밌을것 같으므로. https://developers.google.com/vision/ 1) Android Studio 설치. 일단 안드로이드 개발환경이 이클립스에서 ..

데이터 정리

ODS - 데이터 표준화와 정제가 이루어짐Staging Area - 거의 복사한 수준으로 Er모델형태를 가지고 정제가 되어있지는 않음.CDC - 실시간 또는 근접 실시간 데이터 통합을 기반으로 함. sqoop - RDB와 아파치하둡간 효율적으로 변환하여 주는 CLIzookeeper - 데이터변경되면 어떤노드에게 변경되었는지 알려줌. 디렉터리 구조로 저장함.pig - 맵리듀스 프로그램의 데이터 변환순서를 만드는것으로 사용자가 원하는 함수를 구현가능.Shark - 대용량 질의기술로 인메모리 기반 DW, Hive와 호환 --R--R에서 기본 sample data 는 datasets에 저장되어있다.q() 종료gc() 카비지 클린rattle - guias.Dat() 데이터형태를 일자 형식으로 바꿈save(x, f..

데이터 총 정리

성향적, 상황적, 행동적 SOA, ODS CLDODS구성단계 : 인터페이스, 데이터스테이징, 데이터 프로파일링, 데이터클린징, 데이터인티그레이션, 익스포트GFS - 파일에 대한 쓰기기능은 잘 이ㅜ어지지않음.하이퍼바이저 - 성능향상을 위해 HW가상화 기술 병행 분석기회발굴 - 구조화 - 구체화 - 시나리오 정의 - 분석정의서 분석기회발굴 : 프로세스분류 -> 프로세스흐름분석 -> 분석요건식별 -> 분석요건정의분석기회 구조화 : 유저스토리정의 -> 목표가치 구체화 -> 분석질문 구체화 기능형 분산형의 차이는 기능형은 해당 업무부서에서 직접.. 분산은 현업부서 배치 모델링 성과 평가 지표 Accuracy, decect Rate, Lift시뮬레이션성과지표 Average Waiting Time, Average Q..

SAP - Predictive Analytics

데이터분석툴로 유명한 KXEN을 SAP이 2013년 먹은후 In-Memory ERP솔루션인 SAP HANA 와 쿵짝이 좀 맞을만한 그럴듯한 빅데이터 분석 툴이 들어온듯하다. 현재, 30일간 튜토리얼 프로그램 다운로드가 가능하며 다음의 링크를 통해 다운로드하면된다. 제품소개 링크 http://go.sap.com/product/analytics/predictive-analytics.html 최종 다운로드 링크 https://www.sap.com/cmp/ft/crm-xm15-dwn-an001/typ.html 물론 국내에서는 별로 인지도가 떨어지는 듯 보인다. 대표적인 경쟁자는 다음과 같이 보인다. 뭐 아래와 같이 튜토리얼을 따라가면 된다. https://www.youtube.com/watch?v=YLsv0J_..

데이터 마이닝 분석 패키지 Weka 이용

설치 링크http://www.cs.waikato.ac.nz/ml/weka/downloading.html 와이까또(?) 교수님이 만든 깔끔한 데이터 분석 툴라이센스는 GNU라 응용하기는 어려울듯 하다. 다만 파이썬이나 R등을 이용해서 콘솔형식으로 데이터를 분석하는 것보다는 조금 더 그래픽적으로 편해서 쓸만하게 보인다. 자바 기반. Explorer - 특정 데이터 집합에 대해 다양한 알고리즘을 활용, 데이터를 분석 Experiomenter - 알고리즘 비교 환경KnowledgeFlow - Explorer와 다를건 없고, 드래그앤드롭 방식Simple CLI - 콘솔로 조작하는 메뉴. 파일실행Explorer - Open file.. 버튼으로 프로그램을 실행시킬 수 있다.기본적인 iris 데이터는 아래와같은 프로..

[800/1100] 중요부분정리

요약변수 파생변수데이터 마트 개발 reshape / sqldf / plyr데이터 가공 klaR기초분석 및 데이터관리 결측치Amelia 이상값greedy.wilks의사결정 트리 party rpart랜덤포레스트 roc caret 연관규칙, apriori (2세대 fp tree 3세대 fpv)sku stock keeping unit정확도 재현율corpus - text마이닝 데이터 정제 통합 선택 변환 과정을 거친 구조화된 단계 몬테카를로삼각분포주요프로그램 slamsystem factor siman/arena simscript simfactory최적화툴 lindo gino ilog ctrytallball