아마존 AWS Deep racer - 모델 평가 evaluation

 

AWS DeepRacer model을 생성하고 학습이 완료되었으면, 모델을 평가할 수 있습니다.

 

모델 생성 방법 글 참고 :

https://skillmemory.tistory.com/63

아마존 AWS Deep racer - 모델 생성

 

Model evaluation

---

 

 

Your models 메뉴 항목에 들어가서, 해당 모델을 클릭하여 선택합니다.

 

내 모델들 중 선택

 

선택된 모델에서 'Start evaluation' 버튼을 클릭하여, 모델의 평가를 시작합니다.

모델 평가 시작

 

 

평가 레이스 타입, 평가 횟수 설정

 

 

평가할 트랙 선택

 

 

평가 초기화 중

 

아래는 내가 갖고 있는 모델중에 zeromodel의 평가완료 화면입니다.

(zeromodel은 AWS 2020-SummitWorkshops 의 지그제그방지 예제 코드 + 트랙완주하면 보상 10000 추가 로직)

평가 결과를 보면, 트랙 완주율이 다소 떨어지는데, 보상 로직의 개선이 필요하겠습니다.

zeromodel의 평가 완료 화면

 

Workshop의 예제 보상함수 코드를 사용했음에도, 완주하기도 힘든 상태인 모델이 나왔습니다...

 

그래서, 보상함수가 조금더 복잡할 수록 개선효과가 있는지 확인해보고 싶은 생각이 들었습니다.

한번 비교해보는 차원에서, 모델생성화면에서 나오는 단순한 예제코드만을 사용한 TestModel의 평가 결과를 확인해 보겠습니다.

 

TestModel의 평가 시작

 

같은 평가 트랙 선택

 

확실하게, 보상함수 로직이 단순할 수록, 트랙 주행 완주율이 많이 떨어지고 있습니다.

TestModel의 평가 결과 화면

 

그렇다면, 이제부터 모델의 보상함수를 개선하는 작업이 진행되어야 합니다.

 

이에 대한 아이디어를 참고할 수 있는 사이트가 AWS내에 있습니다.

모델의 보상함수나 DeepRacer League에 대한 tip들이 있는 community 홈페이지인 AWS DeepRacer Pit Stop을 참고하면, 모델 개선에 도움을 얻을 수 있습니다.

 

https://aws.amazon.com/ko/deepracer/racing-tips/

AWS DeepRacer Pit Stop