분류 전체보기 850

Hadoop 빠르게 설치하고 쉽게 이용하기

HADOOP 빠르게 설치하고 이용해보기. 하둡 빠르게 짚고 넘어가기하둡은 파일 시스템으로써, RDBMS(관계형 데이터베이스)를 대체해버릴수 있는 강력한 요술봉이 아닙니다. 데이터 무결성과 정합성이 중요한 은행거래와 같은 경우는 RDBMS를 이용하고, 다량의 로그나 데이터 처리를 할때 빠르게 처리할 경우에는 HDFS를 이용합니다. 예) New York Times 가 130년치 신문 -> PDF 변환 작업을 하루만에 끝냄. (기존 방식 10년 예상) 하둡 파일 시스템은 오픈소스이고 여러사람에 의해 발전되어왔기 때문에 사람을 힘들게 하는 SAP 설치보다 훨씬 간단합니다. 다만 windows 설치는 여의치 않기 때문에 linux로 진행합니다. 시스템 설치환경 (1대) Ubuntu Linux 14.04 Serve..

장대하게 시작한 자동매매 알고리즘 투자.

개념을 모르고 접근한 알고리즘 투자의 끝이 점점 보이는것 같다. 일정한 투자규칙에 따라 자동적으로 컴퓨터가 거래하는 주식거래는 직장인의 꿈이자 일확천금의 꿈과 같다. 일단 얕고 넓게 배우자는 원칙에 따라 겉핥기에 치중해서 여러가지를 접해보기는 했으나, 자동매매는 경영학과를 나온 내 입장에서도 상당히 근거가 있어보여서 많이 끌렸던것도 사실이다. 간단하게 골드크로스의 증명또한 의미가 있었고, 구현도 힘들지 않게 파이썬도 만지면서 할수 있었다. XingAPI를 이용해보려해도 32bit DLL로 만들어져 있어서, 64비트 환경에서 잘 개발하기가 어려웠고 뭔가 해보기도 나름 힘들었다. 그렇다면 내장된 시스템 트레이딩 툴로 옮기는 수밖에 없었다. 그렇게 해서 먼저 대신증권의 사이보스 트레이더를 만졌는데, 유저 친화..

각 증권사별 api 제공여부와 수수료

선물수수료 2015.05.25일자 수수료율 시스템트레이딩 지원여부 SK증권 0.0100 O 한화증권 0.0100 O 신영증권 0.0100 부국증권 0.0100 한양증권 0.0100 삼성증권 0.0100 교보증권 0.0100 현대증권 0.0100 hmc투자증권 0.0100 대신증권 0.0100 O 하이투자증권 0.0100 O kdb대우증권 0.0100 O 우리투자증권 0.0100 O 신한금융투자 0.0100 O 우리투자증권 0.0030 키움증권 0.0030 이트레이드증권 0.0030 O NH농협증권 0.0030 미래에셋 0.0030 동양증권 0.0020 O 유진투자증권 0.0020 한국투자증권 0.0019 KTB투자증권 0.0018 하나대투증권 0.0018 O IBK투자증권 0.0015 O

스칼라 OpenCL 라이브러리, 스칼라 C코드 라이브러리

다음을 이용하면 스칼라를 이용한 GPU 병렬처리계산을 자연스럽게 할수 있다고 한다.지금은 아직은 완성과는 거리가 멀지만, 어느정도 완성단계에 이르면 상당히 쉽게GPU병렬처리계산을 통해 성능을 향상시킬수 있을 듯하다.https://code.google.com/p/scalacl/ 또한, bridj라는 프로젝트는 일반적인 c뿐만 아니라 c++ COM객체등을 스칼라등에서 쉽게 쓸수 있게 해주는 라이브러리 인듯하다.자매품은 기본내장으로 달려있는 JNI, 그리고 sun에서 만든 JNA, 업데이트는 잘 안되고 있지만 어쨌든 스칼라에서 함수를 쓸수있게 해주는 SNA, 그리고 JNAeragtor, bridJ가 있는데, 그나마 조금이나마 스칼라에서 쓸수있도록 도큐멘테이션을 지원해주는 데는여러모로 봤을때 bridJ가 나은것..

스칼라에서 DLL 라이브러리 이용하기

DLL라이브러리는 동적 링크 라이브러리로써 자바에 붙여쓰러면 JNI나, JNA를 사용할수 있다. package test import com.sun.jna.{Function => JNAFunction} import scala.language.dynamics import scala.collection.mutable class Library (val libName: String) extends Dynamic { class Invocation (val jnaFunction: JNAFunction, val args: Array[Object]) { def apply[R](implicit m: Manifest[R]): R = { if (m.runtimeClass == classOf[Unit]) { jnaFunctio..

최신 상장주식회사 목록 2015-05

여기서 할것은 세가지이다.1) 존재하는 상장주식의 종류를 저장해서2) 관련된 정보를 Google Finance나 에서 긁어온다. 목표는 3시간안에 위의 작업을 하는게 목표지만, 예상은 약 5시간이 걸릴거라고 예상한다. 존재하는 상장주식의 정보를 찾는것은 어디서 찾으면 될까. 한국거래소가 있다.http://www.krx.co.kr/m6/m6_1/m6_1_1/JHPKOR06001_01.jsp여기서 모든 상장주식의 정보를 다운로드 할수 있다. 만약에 파생상품을 생각하고 있다면 여기서 통계데이터를 구입하는것도 나쁘지 않아 보인다.http://www.krx.co.kr/por_kor/m8/m8_8/m8_8_2/m8_8_2_1/JHPKOR08008_02_01_03.jsp?strCode=1142&strImg=05_02..