아마존 AWS Deep racer - 7,8월 리그 결과, RC car 테스트 시작

Pro Divison에 들어와서 동일한 방식의 reward function을 사용하여 리그를 진행할 결과, Open Division때보다 훨씬 낮은 성적을 받았다.

 

7월 리그 결과

기본적으로 더 뛰어난 Player 들과의 대결때문에 이런 결과를 보인 것 같은 생각에,

나는 reward function을 수정 및 개선하면서 높은 랭크를 받기를 시도해 보았다.

 

모델 성능을 개선하려면?

---

 

그 결과를 분석해 보기 위해서, 초기 예제 보상함수부터 시작하여, 보상함수를 업데이트해보면서, 성능을 시험해 보았다. (atction space, input parameter종류, reward점수 로직 변경 등)

 

각 모델 인자의 성능 영향 분석 결과 :

1. discrete action space : 모델 학습이 빠름. 좀더 미세하게 스무스하게 핸들을 틀지는 못함.

2. continuous action space : 모델 학습이 오래걸림. 미세 핸들 컨트롤이 가능. 그렇다고 더 빠르게 트랙을 돌지는 못함.

3. input parameter는 인식할 수 있는 변수들을 무조건 많이 input으로 사용한다고, 모델의 성과가 좋아지지는 않음. 필요한 최적개수의 input만 이용하는 것이 효과적임.

4. reward function 로직에서는 각 input parameter들 각자 reward점수를 산정하고, 최종적으로 input 종류마다 다른 weight(가중치)를 주고, 최종 total reward점수로 합산하는 방법이 효과가 있음. 중요한 input에 대해서는 penalty를 많이 적용하는 것이 좋음.

 

 

아래는 테스트했던 모델들을 올려놓은 github주소이다.

 

 

https://github.com/kenrou625/LGES_Deepracer

GitHub - kenrou625/LGES_Deepracer: LGES's Deepracer challenge project

 

 

모델 주행 결과 Rank

---

 

Open division에서 Pro division으로 승격할 정도의 모델 성능은 보임.

 

그러나, 주행 track의 코스정보를 학습에 이용하지 않고서는, 상위 Rank에 도달하기가 매우 어려움. (상위 Ranker들은 모두 track정보를 모델학습에 이용하고 있음)

환경 정보에 과 최적화 시키는 것이 자율주행에서 실재적인 답이 되지 못하는 데도, 이 AWS virtual circuit에서는 정해진track만 돌기 때문에, 과최적화는 뛰어난 퍼포먼스를 내게됨.... -> 얍쎕이들

 

8월 리그 결과

 

모델의 리그 랭크 높이기를 위한 방안?

---

 

1. 해당 모델이 주행하게 될 Track의 정보 데이터를 이용해서, Best 주행 코스와 특정 지점에서 특정 속도를 내도록 모델을 학습.

2. 학습 모델의 주행 Log를 분석하여, 모델을 계속 개선해나가기(Sagemaker, robomaker 등 AWS에서 제공하는 로그 분석 툴 사용)

3. 차량의 Maximum speed 상승. (기본적으로 빠르게 달리면서, 학습되도록)

4. Discrete action space의 각도를 많이 세분화.(continuous action space보다 빠른 학습에 되면서, 충분히 미세한 핸들 컨트롤 가능) 

 

실재 RC Car 시험 시작!

---

 

어느 정도 모델이 완성되면 실재로 Deepracer car에 모델을 업로드해서, 진짜 현실 세계에서도 잘 동작하는지 테스트를 해봐야한다.

AWS deeprace cite에 자세히 과정이 설명되어 있다.

 

https://docs.aws.amazon.com/deepracer/latest/developerguide/operate-deepracer-vehicle.html

Operate Your AWS DeepRacer Vehicle - AWS DeepRacer

 

문제는 트랙을 설치하는 것인데, 나는 AWS 사이트에서 예전 2019챔피언쉽 대회(AWS DeepRacer Championship Cup 2019 Track Template)

에서 사용했던 트랙 디자인 pdf file을 다운로드 받아서, 현수막 제작업체에 의뢰해서 트랙을 제작하기로 했다.

 

https://docs.aws.amazon.com/deepracer/latest/developerguide/deepracer-track-examples.html

AWS DeepRacer Track Design Templates - AWS DeepRacer

트랙은 현재 제작 중이며, 실재 Deeprace car의 오프로드 시험이 어느정도 진행되면, 다시 포스팅을 하겠다.

 

2019 AWS deepracer championship track