[근황] 어찌어찌 지내나

마지막 포스팅은 아마, 참치로 유명한 D그룹이었던 것 같다.

D그룹의 AI관련 부서에 인턴으로 있다가, 지금 있게된 L그룹 합격이 나서 이동하게 되었다.

(떠났지만, 여기서 일했었어도 참 괜찮았을 것 같았다.)

 

이동 계기는 연봉, 전공 적성, 관심사

이렇게 삼박자가 더 맞아 떨어졌던것이 계기였다.

 

다만, 직무 방향은 조금 벗어난다.

본인은 ML/DL을 활용해 문제를 해결하는 것을 지향했으나

 

현 담당 직무는 다음과 같다.

공장 시뮬레이션 + 시스템(여기선 RPA를 시스템이라 부르는 것 같다)인데

공정 개선, 수율개선, AGV경로개선 등 다양한 경우들을 시뮬레이션으로 구현한다.

 

보통 이런 시뮬레이션 작업은 기존 프로세스에서 

새 프로세스로 바꾸기 전에, 터질만한 예상 문제는 없는지 파악하는 과정이 큰 목적일 것이다.

 

클라이언트(해당 부서, 팀)와 충분한 대화 후 시뮬레이션을 그려본다.

그리고 그 뒤에는 일종의 Fine Tune과 같이, 

 

"여기서 A의 처리시간을 좀 더 빨리하면 어떻게 될까요?"

"컨베이어 경로를 하나 더 길을 만들어보면 어떨까요?"

 

와 같은 추가 작업이 진행되고

클라이언트에게 판단할 수 있는 자료를 제공하는 역할이라 보면 좋다.

 

시뮬레이션 툴을 다뤄보면서 느낀점은, 생각보다 퀼리티가 높게 구현할수 있다는 것이었고

무엇보다 "강화학습을 붙일수가 있었다!!!"

 

강화학습이란 친구는 행동하는 객체에 보상과 벌을 주면서 정답으로 향하는 모델링을 해주는 녀석으로 알고있다.

여기에 신경망을 더하면 Deep Reinforcement Learning이 되는 것으로 알고있다.

 

그렇다면 시뮬레이션과 강화학습을 함께 붙여서 무엇을 할 수 있을까?

 

일단 공장의 시나리오에서는 파라미터 최적화가 나올 수 있겠다.

1. 공정 최적화  : 가장 수율이 좋게 나오는 조건을 찾는 방정식(공정 방법 등)을 도출

2. 자리 배치 최적화 : 가장 효율좋은 방법으로 설비들을 배치

3. 경로 최적화 : A부터 Z로 향하는 특정 기기들의 경로 중 가장 얍실하게 움직일 수 있는 경로를 찾게 할 수있다.

 

내용추가 => 기존 딥러닝(지도/비지도)로는 이것들을 해결할 수 없는지?

=> 왜 강화학습이 더 해당 태스크 해결에 어울리는지?

 

당분간은 내게 시뮬레이션 작업을 시킬것 같은데

여기서 강화학습을 함께 하겠다고 설칠때 다음과 같은 장/단점이 발생한다.

 

1. 강화학습은 통제된 환경일수록 성과를 낸다, 즉 시뮬레이션이란 환경은 강화학습하기 최적의 환경이다.

2. 데이터에 목마를 필요가 없다. 시뮬레이션 자체가 데이터를 만들어내는 공장장이다.

3. 약팔기(?)가 좋다, 아이템 자체가 좋단말이다ㅋㅋ

 

그렇다면 반대로, 

 

1. 해당 툴을 바탕으로 강화학습을 성공한 사례가 찾기 힘들다.(불과 작년에 런칭한 서비스다)

2. 내가 강화학습이 무언지 아직 모른다.

3. 시뮬레이션이 정확하지 않으면 그만큼 엉뚱한 결과가 도출될 가능성이 높다.

 

지금 나는 강화학습도 시뮬레이션도 어느 하나 갖춘게 없다.

어설픈 단계에서 설치다가는 본전도 못찾을 수 있다 ㅋㅋ

 

즉, 이번 포스팅 이후로 

 

스마트팩토리 / 강화학습 관련 포스팅을 꾸준히 진행해보고자 한다.

 

맞다. 이거때매 쓴거다.

원데이 원커밋도 다시 시작했고

다시 시작해봅시다

 

2022.09.14 정도전 배 상