Reinforcement Learning8 아마존 AWS Deep racer - 7,8월 리그 결과, RC car 테스트 시작 Pro Divison에 들어와서 동일한 방식의 reward function을 사용하여 리그를 진행할 결과, Open Division때보다 훨씬 낮은 성적을 받았다. 기본적으로 더 뛰어난 Player 들과의 대결때문에 이런 결과를 보인 것 같은 생각에, 나는 reward function을 수정 및 개선하면서 높은 랭크를 받기를 시도해 보았다. 모델 성능을 개선하려면? 그 결과를 분석해 보기 위해서, 초기 예제 보상함수부터 시작하여, 보상함수를 업데이트해보면서, 성능을 시험해 보았다. (atction space, input parameter종류, reward점수 로직 변경 등) 각 모델 인자의 성능 영향 분석 결과 : 1. discrete action space : 모델 학습이 빠름. 좀더 미세하게 스무스하.. 2021. 12. 21. 아마존 AWS Deep racer - 6월 리그 결과, Pro division 승격! 6월 리그에서 상위권에 입상하여, Pro Division으로 승격되었습니다! 1133명중에 105등이 되었습니다. 리그의 Leaderboard를 보면, Video의 watch를 클릭하면, 해당 Racer의 코스 주행 화면을 볼 수 있습니다. 그런데, 탑랭커들은 거의 트랙의 Best line을 지정해서 이 경로를 학습하는 방법을 쓰는 것 같습니다. 그래서 미리 앞의 코스를 아는 듯이 차량이 적절한 Out In Out 코스를 구사하면서 엄청나게 빠른 스피드로 진행하는 것을 볼 수 있습니다. 하지만, 이 트랙의 코스를 외우는 방법은 시뮬레이션 상에서 트랙내 차량의 (x, y)위치에 따른 최적 경로대로 주행하도록 학습하는 훈련이기 때문에, 다른 코스에서는 써먹지 못하고 트랙마다 다시 학습을 해야합니다. 더구나,.. 2021. 7. 25. 아마존 AWS DeepRacer - 강화학습 교육 이수증 AWS DeepRacer를 진행하기 전에 아마존에서 준비한 교육 강좌가 있습니다. 아래 링크로 들어가면 나옵니다. https://www.aws.training/Details/eLearning?id=32143 AWS training and certification www.aws.training AWS DeepRacer: Driven by Reinforcement Learning 이 교육 과정에서는 RL(강화 학습)을 이용한 실습 환경에서 AWS DeepRacer에 모형을 구축하고 훈련하고 배포하여 공식 AWS DeepRacer League의 경주에 참여할 수 있는 실습 기회를 제공합니다. 이 과정에서는 RL을 설명하기 전에 먼저 AWS DeepRacer를 소개하는 것으로 시작됩니다. 자신만의 RL 모형을 .. 2021. 6. 15. 아마존 AWS Deep racer - 모델 reward function 개선, 차량 action space 설정, 6월 리그 진행중 https://skillmemory.tistory.com/65 아마존 AWS Deep racer - 5월 Virtual Circuit League https://skillmemory.tistory.com/64 아마존 AWS Deep racer - 모델 평가 evaluation AWS DeepRacer model을 생성하고 학습이 완료되었으면, 모델을 평가할 수 있습니다. 모델 생성 방법 글 참고 : https://skillm.. skillmemory.tistory.com 위 5월리그에서는 결과가 별로였으니, 6월리그를 위해서 모델을 개선해 보겠습니다. 모델 개선 5월에 사용했던 모델을 보면, Training iteration이 증가함에 따라서, Reward가 점점 증가되는 경향을 띄고 있었습니다. 아무래.. 2021. 6. 13. 아마존 AWS Deep racer - 5월 Virtual Circuit League https://skillmemory.tistory.com/64 아마존 AWS Deep racer - 모델 평가 evaluation AWS DeepRacer model을 생성하고 학습이 완료되었으면, 모델을 평가할 수 있습니다. 모델 생성 방법 글 참고 : https://skillmemory.tistory.com/63 아마존 AWS Deep racer - 모델 생성 아마존 AWS DeepRacer 리그.. skillmemory.tistory.com 5월 리그 결과 위의 지난번에 만든 모델로 5월 DeepRacer 가상 리그 open division에 출전하였습니다. 결과는 563명중에 277등... 중위권 정도의 성적이 나왔습니다. 머, 예제 보상함수 코드를 그대로 사용했으니, 당연한 결과라고 할 수 있겠.. 2021. 6. 13. 아마존 AWS Deep racer - 모델 평가 evaluation AWS DeepRacer model을 생성하고 학습이 완료되었으면, 모델을 평가할 수 있습니다. 모델 생성 방법 글 참고 : https://skillmemory.tistory.com/63 아마존 AWS Deep racer - 모델 생성 아마존 AWS DeepRacer 리그에 나가려면, 우선 Agent car model을 만들어야 합니다. AWS DeepRacer메인 홈으로 가면, 'Get started with reinforcement learning' 배너의 Get started를 누르거나, 왼쪽 메뉴바의 Re.. skillmemory.tistory.com Model evaluation Your models 메뉴 항목에 들어가서, 해당 모델을 클릭하여 선택합니다. 선택된 모델에서 'Start evalu.. 2021. 5. 31. 아마존 AWS Deep racer - 모델 생성 아마존 AWS DeepRacer 리그에 나가려면, 우선 Agent car model을 만들어야 합니다. AWS DeepRacer메인 홈으로 가면, 'Get started with reinforcement learning' 배너의 Get started를 누르거나, 왼쪽 메뉴바의 Reinforcement learning항목내의 'Get started'를 누르면 모델을 생성할 수 있는 화면으로 넘어갑니다. https://console.aws.amazon.com/deepracer/home?region=us-east-1#welcome https://console.aws.amazon.com/deepracer/home?region=us-east-1#welcome console.aws.amazon.com DeepRac.. 2021. 5. 30. 아마존 AWS Deep racer - 강화학습 자율주행 RC카 최근 아마존 (Amazon)에서는 인공지능의 알고리즘중에 하나인, 강화학습(Reinforcement learning)을 이용하여 자율주행 RC카를 제어할 수 있는 상품을 개발하였습니다. 유저가 파이썬을 이용하여, 차량의 가속/감속/조향에 대한 강화학습 알고리즘을 구현하고, 이를 온라인 AWS 3D 트랙 시뮬레이터를 통해서, 학습을 시킬 수 있습니다. Deep Racer League 학습한 자율주행 모델은 매달 온라인에서 개최되는 DeepRacer대회에 참여하여 성능을 시험해 볼 수 있습니다.aws.amazon.com/ko/deepracer/league/AWS Deepracer League매월 리그에 참가하여 사용자 지정 셸, 라이버리 및 모드와 같은 새로운 디지털 보상을 획득하세요. 획득한 보상은 AWS.. 2021. 4. 26. 이전 1 다음
