해당하는 코드는, BERT와 LSTM의 블렌딩 모델로써, Toxic 대회에서 상위 20%정도를 유지하는 코드입니다 BERT + LSTM (rank…
[카테고리:] 글
초간단 XGBoost 회귀 파이썬 치트코드
Untitled XGBOOST 초간단 회귀분석 사용법¶ 초간단 최소한의 훈련 방법 In [22]: import xgboost import pandas as pd…
현재 GPU 사용가능 여부 파이썬 치트코드
가끔은, GPU에서 돌아가는지 확인하고싶을때가 있다.. Untitled In [1]: from tensorflow.python.client import device_lib device_lib.list_local_devices() Out[1]: [name: "/device:CPU:0" device_type:…
데이터 사이언스 관련 미국 석사 리스트
풀타임 석사 미국에서 실제로 공부하는 방법으로, 비싼학비와 기회비용을 동시에 소모해가면서 해야하는 과정이다. 유지비까지 연간 약 1억은…
카이스퀘어(Chi-square) 검정
범주형 변수가 그룹마다 빈도가 다른지 확인하는 방법 남자중 게이 비율 <-> 여자중 레즈비언의 빈도 차이가 있는지…
T-test와 ANOVA 차이
T-test는 2집단 까지 차이 비교가 가능 남/여 식욕차이 Anova는 3집단 이상 차이 비교 가능 남/여/트랜스젠더 식욕차이…
간단한 LSTM + embedding과 샘플가중치 및 여러개의 결과를 출력하는 모델
simple_LSTM Simple LSTM과 Embedding¶ 이번에는 결과를 두개 동시에 예측하는 방법입니다. In [0]: import numpy as np import…
LSTM (Long Short Term Memory)
입력게이트, 출력게이트, 망각게이트등을 이용해 그라디언트 소실 문제를 극복하고 맥락을 잘 보존하게끔 하는 신경망 방법론 텍스트분석처럼 앞뒤의…
그라디언트 소실 (Vanishing Gradient)
신경망을 훈련할때, 최종 출력에서 멀어질수록 값에 영향을 미치는값을 역산하여야 하는데, 거슬러올라가다보면 영향을 미치는 정도가 굉장히 작은…
피드백 구조 (Feedback Loops)
과거의 출력이 다시 입력이 되는 구조 순환신경망 (Recurrent Neural Network)에서 쓰이며, 기억저장소 같은 역할을 함 연속성이…