옛날 블로그

# function to obtain Categorical Features def _get_categorical_features(df): feats = [col for col in list(df.columns) if df[col].dtype == 'object'] return feats # function to factorize categorical features def _factorize_categoricals(df, cats): for col in cats: df[col], _ = pd.factorize(df[col]) return df

lightgbm은 카테고리 변수를 지맘대로 알아서 한다다만, pandas dataframe에 카테고리변수를 아래오 ㅏ같이 해줘야 한다.df['aa'] = df['aa'].astype('category')

2018년을 풍미하고있는 lightGBM의 파라미터를 정리해보도록 한다.생각보다 한국 문서는 많이 없는데, 데이터 사이언스가 엄청 히트를 치는데도 불구하고 생각보다 이정도 까지 트렌드를 쫓아가면서 해보는 사람은 그다지 많이 없는듯하다.lightgbm 논문을 참고해보면, https://papers.nips.cc/paper/6907-lightgbm-a-highly-efficient-gradient-boosting-decision-tree.pdfGOSS(Gradient-based One-Side Sampling)을 통해 데이터의 일부만으로 빠르게 정보이득을 계산하고 있고, EFM(Exclusive Feature Bundling)을 통해 Feature를 획기적으로 줄이므로써, 시대를 풍미했던 xgboost를 속..

병렬처리시, if __name__ == '__main__' : 으로 한번 분기하는게 필요한데, 그렇지않으면 프로세스가 계속 내부적으로 뭔가를 불러대서 무한루프가 돈다.

https://distill.pub/2016/misread-tsne/ 신기하게 생겼네 tsne수쿠류바

주말을 허비하고 한번 해봤다. 그다지 생각했던 것보다 별로 성능이 좋지않다. 다만, 중요한건 regression으로 stacking을 한결과 단일 lightGBM보다는 0.01정도 좀더 성능이 향상되었다는것으로 stacking자체의 효과는 있다고 볼수있다.

아래의 competition은 leak으로 난리가 났지만 그래도, 데이터분석에서 정말 간단하게 쓸수있는 boosting계열 3대장의 정확도를 측정해본다. 기록용으로 남긴다.https://www.kaggle.com/c/santander-value-prediction-challenge/kernels lightGBM1.427181.440431.438611.474681.37851 시간이 더 걸리며, 시대를 잠시 풍미했던 xgboost는 역시 답답하다. 이렇게 약간 끕이 떨어지는 동생 두명은 아래와 같다. catboost1.4803135851.5035140991.4832265521.5289372621.441017107 xgboost 1.434161.447071.442441.480291.4013 역시나, 시간이 제..

잡음까지 포함된 입력 데이터를 재귀적으로 처리하는 필터Kalman filtering, also known as linear quadratic estimation (LQE), is an algorithm that uses a series of measurements observed over time, containing statistical noise and other inaccuracies, and produces estimates of unknown variables that tend to be more accurate than those based on a single measurement alone, by estimating a joint probability distribution over the..

이글에서 분석해볼 paper는 [Forecasting at Scale] 으로, Facebook의 신기방기한 시계열 분석 라이브러리인 Prophet에 대한 설명이 있는 paper입니다. 논문으로는 20페이지가 넘어 읽기가 불편(?)할수 있어 제가 대신 읽어보겠습니다. peer-reviewed가 되어있지 않다고 되어있지만, 현실에서 미치는 라이브러리의 현재 파급력으로 보아 충분히 볼만한 가치가 있어보입니다. 저작권을 살펴보니 냅다 사용해도 괜찮네요.이를 살펴보게 된 이유는, KDD2018 미세먼지 예측에서 상위권에 포진한 랭커가 날씨 예보정보를 전혀 쓰지않고 과거정보만으로 냅다 미세먼지 예측량을 맞추게 되는 방법중 하나가 바로 이 Prophet library이기 때문이였기 때문입니다. 이 글에서 대부분의 내..