옛날 블로그

보호되어 있는 글입니다.

약 주말포함 20시간 3일동안 계속 팠는데 설치에 실패했다. cuda_dnn.cc:329 Could not create cudnn handle : CUDNN_STATUS_INTERNAL_ERROR rtx 2060 - tensorflow 1.14.0 - cuda 10.0 ubuntu 18.04 아주 평범한 형태의 돈없지만 아주 없지는 않은 회사원의 rtx 구성이다. 일단 tensorflow가 cuda 10.1과 안맞는다는 제보를 듣고 버전을 맞추려고 별짓을 다했다. 드라이버 문제인것같아 410 415 418 430 435 안깔아본 드라이버가 없으며, cuda 10.1, cuda 10 그리고 tensorflow 1.14, 1.13 모두 시도 해봤지만 항상 같은 문제가 생길 뿐이다. cudnn에서 Conv2D..

docker run -v /home/kohry/notebook:/notebook -it -p 8888:8888 -p 6006:6006 tensorflow/tensorflow:latest-gpu-py3 docker run -v /home/kohry/notebook:/notebook -it -p 8888:8888 -p 6006:6006 tensorflow/tensorflow:latest-gpu-py3 docker start 4d41661dfe27 docker attach 4d41661dfe27 cd notebook jupyter notebook --ip 0.0.0.0 --allow-root

pytorch 와 그걸 기반으로 만들어진 fastai에서, Can't pickle : attribute lookup on __main__ failed DataLoader에 튜토리얼에 명기되어 있는것처럼 돌리려다 자꾸 저런 에러가 나서 일단 적어놓는다. 저게 윈도우즈 10에서의 멀티프로세싱과 관련한 버그라, worker를 0으로 주거나 모든 코드를 if __name__ == '__main__' 에 래핑하면 되는듯보이지만, 윈도우에서 제대로 실행시키기에는 약간 무리가 있어보인다. https://discuss.pytorch.org/t/brokenpipeerror-errno-32-broken-pipe-when-i-run-cifar10-tutorial-py/6224/4

XLNET sentence32, batch1로 해도 rtx2060 에서 터짐. 쓰레기

https://console.cloud.google.com/storage/browser/ Google Cloud Platform 하나의 계정으로 모든 Google 서비스를 Google Cloud Platform을 사용하려면 로그인하세요. accounts.google.com 1.) 필요한 파일을 버켓에 올린다. 2) Computing Machine 을 올린다. 3) 그리고 ssh를 틀어서 해당프로젝트를 들어가서, gsutil cp gs://XXX/train.csv train.csv 로 복사를 하면된다. XLNET으로 한번 트레인을 해보고자 했는데, 일단 XLNET에서 공개한 github에서 https://github.com/zihangdai/xlnet 다운로드를 한 후, 여기서 실제로 kaggle toxi..

pd.DataFrame(s.values.tolist(), index=s.index) # 448 µs per loop s.apply(pd.Series) Series 가 List로 들어있는거 [1,2,4,5][1,4,5,6] 이런식으로 나열되어 있는걸 Dataframe으로 바꾼다. 첫번째가 빠르나 두번째가 편리하다.

아 오 빡세 def padarray(arr, size): t = size - len(A) return np.pad(arr, pad_width=(0, t), mode='constant')

중고차를 사야하기 때문에, K car에 내가 원하는 후방센서가 달린 차들을 몇개 뽑았다. 옵션은 비슷해보인다. 데이터는 아래와 같다. 차종연식주행거리가격투싼1236109투싼1236110뉴 아반떼1561114아반떼1644120아반떼1645120아반떼1637121아반떼1626124투싼1157125아반떼1629125투싼1157126아반떼 디젤1662129BMW 31162133투싼1336142아반떼1634144뉴 투싼1522162아반떼 스포츠1732164 수입차가 하나 껴있기는 하지만 어쨌든 모든걸 다 데이터마이닝하기는 힘드니, 빠르게 하고 지른다. 사실, 효율적인 구매는 다나와에서 인기상품순으로 정렬한 다음에 지르는것이 시간과 비용을 아끼는 제일 좋은 방법인데, 차같은경우는 남심을 자극하는 뭔가가 있어서 조금..

from gensim.models import word2vec token = [['나는','너를', '사랑해'],['나도','너를','사랑해']] embedding = word2vec.Word2Vec(token, size=5, window=1, negative=3, min_count=1) embedding.save('model') #모델 저장embedding.wv.save_word2vec_format('my.embedding', binary=False) #모델 저장 embedding.wv['너를'] embedding.most_similar('너를') from gensim.models.keyedvectors import KeyedVectorsembedding.wv.save_word2vec_format('m..