옛날 블로그

노트북 이용하는데 있어 팁 https://www.esri.com/arcgis-blog/products/api-python/analytics/five-tips-to-get-you-started-with-jupyter-notebook/?originref=https://www.google.co.kr/

submission['TARGET'] = submission['TARGET'].clip_lower(0)

2018년을 풍미하고있는 lightGBM의 파라미터를 정리해보도록 한다.생각보다 한국 문서는 많이 없는데, 데이터 사이언스가 엄청 히트를 치는데도 불구하고 생각보다 이정도 까지 트렌드를 쫓아가면서 해보는 사람은 그다지 많이 없는듯하다.lightgbm 논문을 참고해보면, https://papers.nips.cc/paper/6907-lightgbm-a-highly-efficient-gradient-boosting-decision-tree.pdfGOSS(Gradient-based One-Side Sampling)을 통해 데이터의 일부만으로 빠르게 정보이득을 계산하고 있고, EFM(Exclusive Feature Bundling)을 통해 Feature를 획기적으로 줄이므로써, 시대를 풍미했던 xgboost를 속..

병렬처리시, if __name__ == '__main__' : 으로 한번 분기하는게 필요한데, 그렇지않으면 프로세스가 계속 내부적으로 뭔가를 불러대서 무한루프가 돈다.

https://distill.pub/2016/misread-tsne/ 신기하게 생겼네 tsne수쿠류바

주말을 허비하고 한번 해봤다. 그다지 생각했던 것보다 별로 성능이 좋지않다. 다만, 중요한건 regression으로 stacking을 한결과 단일 lightGBM보다는 0.01정도 좀더 성능이 향상되었다는것으로 stacking자체의 효과는 있다고 볼수있다.

아래의 competition은 leak으로 난리가 났지만 그래도, 데이터분석에서 정말 간단하게 쓸수있는 boosting계열 3대장의 정확도를 측정해본다. 기록용으로 남긴다.https://www.kaggle.com/c/santander-value-prediction-challenge/kernels lightGBM1.427181.440431.438611.474681.37851 시간이 더 걸리며, 시대를 잠시 풍미했던 xgboost는 역시 답답하다. 이렇게 약간 끕이 떨어지는 동생 두명은 아래와 같다. catboost1.4803135851.5035140991.4832265521.5289372621.441017107 xgboost 1.434161.447071.442441.480291.4013 역시나, 시간이 제..

do you want some reshape in spark?well here it is in.groupBy("SALES_ID").pivot("SOMETHING").sum("FEATURE")

if you have two map type data collections, that have the same structure.just use ++ will