디바이스 성능 테스트의 중요성(feat. 데이터 시각화)

안녕하세요 (주)큐게임즈입니다. 오늘 시간에는 디바이스 호환성 및 성능 테스트에 대해서 얘기를 해볼까 합니다. 많은 개발사에서 모바일 플랫폼으로 게임을 개발중일텐데, 개발사에서 디바이스 호환성 및 성능에 대해서 테스트 하는 경우 그냥 몇개 디바이스에서 한번 플레이 해보고, 그냥 넘어 가는 경우가 대부분인거 같습니다. 하지만 그런 테스트는 게임의 품질을 바꾸는데 큰 도움이 되지 않습니다. 호환성 및 성능 테스트는 디바이스의 어느 부분 때문에 발열이 발생 하고, 프레임 드랍이 발생 하는건지 정확한 데이터를 참고 하여, 게임 내 리소스를 줄이는 작업을 해야 하는 만큼 전문적인 테스트가 필요 합니다. 디바이스 호환성 및 성능 테스트는 단순하게 게임이 실행 되냐 안되냐, 프레임 드랍이 발생 하냐 안하냐, 폰이 뜨겁냐 안뜨겁냐 의 문제가 아니라, 해당 디바이스를 가지고 있는 잠재 고객을 잡는 중요한 수단이기 때문에 개발 과정에서 반드시 거쳐야 하는 필수 QA 항목입니다. 먼저, (주)큐게임즈에서 진행 했던 디바이스 호환성 및 성능 테스트를 예시로 들어 드리겠습니다. ***1차 테스트 산점도 : 총 테스트 디바이스 70여종 * 위험군 디바이스 분류 1) CPU 사용율 40% ~ 60% 2) RAM 사용율 60% ~ 80%

* 위험군 디바이스 분류 1) 평균 FPS 10 ~ 20 2) 평균 발열량 35도 ~ 45도

예상했다시피, 저사양의 디바이스에서 퍼포먼스가 나오지 않았습니다. 그렇다면, 저사양 디바이스의 어떤 부분에서 퍼포먼스가 안나오는지 확인 해보겠습니다. 1. 프레임 테스트 요청 주신 리스트 중에서 Hexa-Core 를 가진 디바이스가 G4 하나 였기 때문에, 데이터가 많지 않아 그래프의 양상이 다른 디바이스 들과 다른점을 감안 하면 Octa-Core 와 Quad-Core 가 FPS 에 미치는 영향은 그리 크지 않네요. (코어 스레드에 따른 영향도 있지만, 너무 많은 자료이기 때문에, 여기서는 다루지 않을께요.)

RAM쪽을 한번 확인해볼께요. RAM 2G / 3G 를 가지고 있는 디바이스에서 FPS가 15~ 25 정도로 프레임 드랍이 발생 하고 있습니다. (해당 게임은 30 프레임을 목표로 개발 되었습니다.)

2 발열량 많은 스레드를 가지고 있는 Octa-Core 디바이스에서 발열량이 높게 발생 하고 있는것을 확인 할 수 있습니다.

그럼, 스레드 별로 한번 체크를 해볼까요 Core*GHz(코어x스레드) 가 11.2 인 디바이스에서 가장 많은 발열이 발생 하고 있네요. (많은 자료로 인해서 큰 부분만 설명 드릴께요)

RAM 쪽도 확인을 해보니, 작은 RAM을 가지고 있는 디바이스에서 발열이 많이 발생 하고 있습니다.

훨씬 더 좋은 데이터들이 많지만, 보안상의 이유로 여기 까지만 공개를 하고, 그렇다면 자료를 토대로 어떻게 디바이스 호환성이 좋아 졌는지 확인을 해보겠습니다. 개발사에서 저희가 드린 빅데이터 분석을 토대로 리소스 데이터 수정을 진행 하였고, 저희는디바이스 70종 중 퍼포먼스가 안좋았던 하위 25종을 재 테스트 했습니다 *산점도 확인 CPU / RAM 퍼포먼스가 떨어진 디바이스로 재 테스트를 진행 한 결과 대부분의 디바이스 들의 퍼포먼스가 정상 수치로 들어 온 것을 확인 하실수 있습니다.

FPS / Temperature 고르게 분포 해있던 FPS 와 발열량 부분을 확인해보니 퍼포먼스가 안나왔던 디바이스들이 FPS 30 주위로 몰려 있는것을 확인 할 수 있으며, 발열량도 30~ 40도 사이로 준수 하게 수정 되었습니다.

기존에 디바이스 성능 별로 들쑥 날쑥 했던 발열량도

이쁘게 한곳으로 모여있네요

(주)큐게임즈와 디바이스 호환성 및 성능 테스트 진행 후 문제 있던 디바이스를 수정 하였고 해당 게임은 구글플레이에 출시되어 유저들에게 좋은 반응을 얻고 있습니다. 만약 호환성 및 성능 테스트를 거치지 않고 마켓에 출시 했을 경우 많은 유저들이 디바이스 호환성 문제를 겪고, 초기에 이탈하여 매출에 큰 영향을 미쳤을 것으로 판단 됩니다. (주)큐게임즈는 고객들의 게임을 다양한 디바이스 환경에서 테스트를 진행해드리고, 나온 빅데이터를 기반으로 정확하게 진단을 해드리고 있습니다. 모든 데이터를 글로 보여 드릴수 없지만, (주)큐게임즈는 고객의 게임을 위해 항상 최선을 다해 서포트 하겠습니다. 궁금 하신 점은 언제든 아래로 연락 주시기 바랍니다. 02-6959-0320 contact@qgamesidn.com 감사 합니다.