분류 전체보기 850

돌아보기

회사생활을 밥벌이보다는 일로 생각한다면, 이것은 꾸준히 생각해봐야할듯하다.어제보다, 일주일전보다, 한달전보다, 반년전보다, 일년전보다, 이년전보다, 나는 좀더 나은 모습인가?남을 기준점으로 삼지말고 과거의 나를 기준점으로 삼아 매일 나아져야하는데, 내가 정체되어있으면 도대체 왜 그런지?어떤 한곳에 앉아있어 그대로인 모습으로 직급만 높아지는것에 만족을 찾는건 아닌지굳이 변화가 두려워서 눌러 앉는것은 아닌지비난과 비판에 두려워서 새로운 영역에 뛰어들기에 겁내하는건 아닌지동반성장에 고민이 없는 사람들에 젖어드는것은 아닌지그 분야가 더이상 발전이 없어 사내 정치가 심하게 작동하는곳에서 일하는건 아닌지

Spark 개발세팅 환경 연구 - SBT 외 스켈레톤 프로젝트 생성 및 의존성 추가

Spark를 개발하기 위해서는 내동 Spark-Shell을 켜놓고 콘솔작업만을 할수는 없다. 혹자는, 스파크는 쉘을 통해, 그리고 같은 코드를 바로 스칼라로 개발하면서 시제품과 실제 프로덕션 레벨과의 차이가 좁아진다고는 하지만 어쨌든간에 제대로된 개발 환경을 구동시키는 것은 쉬운일은 아닌것으로 보인다. 일단은 장인은 도구탓을 하지 않는다지만, 본인은 장인이라기 보다는 생선에 가깝기 때문에 아래의 사이트를 참조해서,http://spark.apache.org/developer-tools.htmlintelliJ에 스칼라 플러그인을 깔고, 그 후일을 도모한다. 설명에 따르면 아래와 같다.Download IntelliJ and install the Scala plug-in for IntelliJ.Go to Fil..

Spark 의 애플리케이션 실행할때의 프로세스

spark-submit 을 이용해서 애플리케이션 실행spark-submit은 드라이버 프로그램을 실행, 사용자는 main()메서드 호출드라이버 프로그램은 클러스터 매니저에게 익스큐터 실행을 위한 리소스 요청클러스터 매니저는 익스큐터 실행드라이버는 단위 작업 형태로 익스큐터에게 보냄.익스큐터는 이를 실행끝이나면 익스큐터 중지 후 클러스터 매니저에 사용했던 자원 반환

Spark 멀티노드 슬레이브 활성화 및 에러노트

Spark를 설치하려면, 일단은 아래를 따라한다http://data-flair.training/blogs/install-deploy-run-spark-2-x-multi-node-cluster-step-by-step-guide/설치는 그렇게 어렵지 않다. 1) 모든 노드에 자바 및 스파크 , 스칼라 설치2) 비밀번호 필요없도록 ssh키 공유3) hosts파일 변경 (/etc/hosts)4) conf파일 변경 (spark-env.sh, slave)5) sbin/start-all.sh 밑에는 에러노트starting org.apache.spark.deploy.master.Master, logging to /usr/local/spark/logs/spark-rakyunkoh-org.apache.spark.deplo..

로그인시 비밀번호가 필요없도록 ssh key를 이용하는 방법.

키가 있는 파일을 여러군데다 복사하면 된다. 일단 키를 제너레이트 시킨다. $ssh-keygen -t rsa -P "" 그리고 파일을 뒤져보면 .ssh/id_rsa.pub이 생겨있을텐데 이 파일의 내용을 슬레이브의 홈 디렉터리에서 (id는 마스터와 같은 상태).ssh/authorized_keys로 생성하면 비밀번호가 필요없이 바로 접속가능하다.

Hadoop 관련 오픈소스 나열

Zookeeper - 분산환경에서 서버간의 상호조정이 필요한 다양한 서비스.https://zookeeper.apache.org/ Oozie - 하둡 워크플로우 제어http://oozie.apache.org/ Hbase - 컬럼 기반 데이터베이스https://hbase.apache.org/ Pig - 대량의 데이터를 분석하기 위한 고차원 언어 제공https://pig.apache.org/ Hive - SQL을 통한 데이터워어하우징https://hive.apache.org/ Mahout - 머신러닝http://mahout.apache.org/ Sqoop - 대량 데이터 인터페이스 솔루션http://sqoop.apache.org/ Impala - 실시간 SQL질의 시스템http://impala.incubato..

라즈베리파이와 똥컴으로 하둡 구성 (작업중)

그동안 이짓을 해보려고 사놨던 라즈베리파이2, 라즈베리파이3, 그리고 집에 놀고있던 대학교 초년생때 산 넷북과 심폐소생술로 살려낸 맥북 2009년형이 있다.1) 구조짜기가지고 있는 뭔가 계산할수 있는 계산기들은 다음과 같다. 클러스터를 구성하기 위해 아래와같이 온갖 잡다한 돌덩이 컴퓨터들을 연결해놓았다. 허브나 공유기를 통해 하나의 네트워크로 연결해줄수 있다. 공유기로 192.168.0.X로 모두 설정했다.클러스터라고 하기에는 뭔가 이상하긴 하지만, 어쨌든 집에서 놀고있는 기계들을 하나로 뭉쳐서 뭔가 쓸모있게 한다는 점에서는 만족스럽다. 모양새가 좀 그렇지만 어쨌든 돌아가기만 하면 되지 않능가 2) 라즈베리파이 OS설치나머지 컴에 우분투와 맥이 있으니 이건 놔두고, 라즈베리파이 OS를 설치한다.https..

mpchart 창고

https://play.google.com/store/apps/details?id=com.xxmassdeveloper.mpchartexamplehttps://github.com/PhilJay/MPAndroidChart https://github.com/PhilJay/MPAndroidChart/tree/master/MPChartExample/src/com/xxmassdeveloper/mpchartexample 라인데이터 데이터 세팅과정은,일단 LineChart 로 객체를 하나 만들고,x와 y좌표를 담고있는 Entry를 가진 리스트를 하나 만든다. 다만 이 리스트들은 데이터종류 하나에 대한 설명인데 콤보차트나 ㄹㅏ인ㅡ의 경우는 여러개의 설명해야할 데이터가 또 여러개있을수있다.위의경우는 company1 만 존..

모바일/Android 2017.01.03