CS/ML&DL
-
[강화학습] PPO 알고리즘 (1) (미완)CS/ML&DL 2022. 10. 19. 15:52
TRPO 목적함수 목적함수 : Local Point(L)값에 쎄타(Action)이 들어오고 이 update된 Local Point를 가장 최적의 값으로 만드는(Maximize)하는 Policy를 찾는 것 == (세타로 만든 정책과 KL 거리가 델타보다 작은 정책을 만들어주는 세타들 중에서 목적함수를 최대로 만들어주는 세타를 찾아라) 그러나 Action과 Update된 Action을 파라미터로 갖는 KL Distance값에 의해 제약을 받는다. 그리고 이 거리값은 ?보다 작다는 제약식을 갖는다. 의도 : TRPO는 Trusted Rigion을 갖는 알고리즘이다. 여기서 말하는 Trusted Rigion은 Local Point가 Global minima로 빠지지 않게 방지해주는 그런 영역이라 볼 수 있겠다...
-
[강화학습] flexSim과 강화학습 그동안의 뻘짓 기록CS/ML&DL 2022. 10. 11. 23:35
※ 의식의 흐름으로 작성된 글이니 주의 기획업무 그 중에서도 DT관련 업무를 맡다보면, 다음과 같은 딜레마에 빠지게 되는 듯 하다. 무언가 새로운걸 해야한다는 압박과, 한편으로는 과연 이게 되는 것인가에 대한 의문 사이가 왔다갔다 한다. 두달짜리 째간이 신입이지만, 그래도 나 정도전 석사출신이 아니던가. 주 메인업무인 시뮬레이션 업무에 데이터분석을 담아보고자 했다. 그러던 중 FlexSim SW에 강화학습 기능이 탑재되어있단 것을 발견했다. https://docs.flexsim.com/en/22.1/ModelLogic/ReinforcementLearning/Training/Training.html Reinforcement Learning Training © 1993 - 2022 FlexSim Softwa..
-
[pandas] Multiindex의drop 관련 이슈 unhashable type : 'Series'CS/ML&DL 2022. 7. 7. 08:48
프로젝트를 진행하던 중 수치형 변수에 의미를 더하고자 특정 칼럼에 agg를 입히고 mean, sum 등 새로운 특성인자를 추가하였다. 대강 이런 모양을 생각하면 좋은데, 이런경우를 multi index (멀티인덱스) 라고 하더라 본인은 아직 멀티인덱스가 뭔지는 잘 모르는 상황이다. 그런데 여기서 ABC의 sum을 드랍하고 싶은 상황이었다. 그런데 이렇게 직접 넣어주면 Series형은 unhashable하다는 에러가 발생한다. info()에서 봤듯, 칼럼네임이 ( , ) 처럼 튜플형식으로 변해서 발생하는 에러라고 생각을 했는데 튜플은 해싱이 가능하다는 얘기를 들은적도 있고 ... 아직 혼란스럽다. 우선 급하게 찾은 해결책은. 이렇게 칼럼의 위치를 직접 박아주거나 그렇게 권장할 방법은 아니지만, 애초에 멀티..
-
[Predict_Future_Sales] 관련CS/ML&DL 2022. 6. 30. 17:36
정리할 것. https://www.kaggle.com/competitions/competitive-data-science-predict-future-sales/data pandas - shift : 원하는 행을 옮기는? 삽입하는 녀석? 시계열을 쪼개서 -> 얘를 시각화하고 어느 시점에 어떤 판매량이 높은지 등등 "시간"을 다루는 능력 필요 Q. rolling을 하는 이유? A. 시계열 데이터를 분석하다보면 '지난달의 데이터가 이번 달의 데이터에 어떤 영향을 미쳤는지' 확인해야 하는 경우가 잦다. 이런걸 보여주는게, rolling과 shift라는데... rolling은 몇개의 데이터를 가지고 연산을 할 것인지를 정하는 과정. 데이터를 순차적으로 window 만큼 선택해서 mean처럼 이동평균을 보낼 수 있..
-
[kaggle] Bike_sharing_demandCS/ML&DL 2022. 6. 29. 18:35
https://www.kaggle.com/competitions/bike-sharing-demand/overview Bike Sharing Demand | Kaggle www.kaggle.com 참조 : https://www.kaggle.com/code/kongnyooong/bike-sharing-demand-for-korean-beginners/notebook [Bike Sharing Demand] for Korean Beginners (한글커널) Explore and run machine learning code with Kaggle Notebooks | Using data from Bike Sharing Demand www.kaggle.com 평소 Tabular data를 바탕으로 예측태스크를 해보..
-
[트랜스포머] Vanilla Transformer 관련CS/ML&DL 2022. 6. 13. 03:07
교재 : 구글 BERT의 정석 Part 1. Q. 셀프 어텐션의 전체 단계를 설명하라. Q. Sclaed Dot Product Attention을 정의하라. Q. Query, Key, Value 행렬은 어떻게 생성하는가? Q. Positional Encoding이 필요한 이유는 무엇인가? Q. Decoder의 sub-layer는 무엇이 있는가? Q. Decoder의 Encoder-Decoder Attention layer의 입력은 무엇인가? =========================== 다른 질문, Q. LSTM 과 Transformer의 차이는? ==================================================== 출처 : https://donologue.tistory.co..
-
[Preprocessing] Wavelet Transform (1)CS/ML&DL 2022. 5. 30. 04:28
틈틈히 수정해서 연재 예정 22.05.30 수정 방향 -> 목차 : 1.정의 2.주로 사용하는 곳 3.원리 4.장점 5.단점 ========================== Wavelet Transform은 기계 신호처리 및 분석에 사용되는 기법으로 1970년대 프랑스의 Morlet에 의해 처음 제안되었으며 다양한 분야에서 활발하게 적용되고 있다. Wavelet 기반 데이터의 노이즈 제거는 Wavelet Thresholding 기법을 통해 이뤄진다. Wavelet Transform을 통해 계산된 Wavelet 계수가 Threshold 값 보다 작은 경우 0으로 만드는 원리다. Hard Thresholding과 Soft Thresholding으로 나뉜다. 식 (1)과 식(2)에서의 람다는 임계 기준값이며 ..
-
[issue-sklearn] ValueError: Input contains NaN, infinity or a value too large for dtype('float32').CS/ML&DL 2022. 5. 22. 16:18
동원그룹 AI 시험을 보는데 데이터 쉐입 잘 맞춰서 랜덤포레스트 fit에 넣었더니 이런 에러가 뜨더라. 문제는 null값은 잘 처리했었는데 왜 이런 에러가 떴는지 알 길이 없던 것... numpy docs도 못봐서 결국 못풀고 제출했다... https://datascience.stackexchange.com/questions/11928/valueerror-input-contains-nan-infinity-or-a-value-too-large-for-dtypefloat32 ValueError: Input contains NaN, infinity or a value too large for dtype('float32') I got ValueError when predicting test data using ..