물리 기기로 앱 테스팅 하기 : Firebase Console Test Lab

Test Lab

파이어베이스에 들어가면 테스트 랩이라는 페이지가 있는데, 여기서 구글 데이터센터에 있는 실제 물리적 기기들로 자동 테스트를 진행하게 할 수 있다. 자신이 없는 기기나, 미처 생각하지 못하는 부분까지 해주는 것이 용이하다. Blaze 요금제인 경우는 30분간 무료인데, 세부 설정에 따라 다르지만 보통 기본적으로는 한 기기당 5분으로 설정하기 때문에 6개 기기정도가 무료로 가능한 것이다. 단, 오류로 인해서 1분만에 끝날 경우도 있을 것이므로 6개 이상이 가능할 수도 있다.

우측이 Blaze요금제, 좌측은 완전 무료 요금제

가상 기기 테스트도 지원하는데, 구글이 개발한 휴대폰인 경우 완전 재현이 가능하기에 저 목록이 있는 것 같다. 가격도 싸다.

 

실제 이용해본 후기

이걸 사용하게 된 경로는 앱 업데이트가 거부되었기 때문이다. 하지만 플레이 콘솔에서는 자세한 오류 내용을 알려주지 않기에 찾아봐야했지만 빌드상 오류는 없고 배포시 오류가 있는 것이라 난감했다. (지금 생각해보면 release 버전으로 에뮬을 돌리면 되지 않나 싶지만)

 

처음에는 픽셀 하나만 영어 버전으로 테스트 해봤는데, 곧바로 오류가 감지되었다.

완료하면 이메일로 온다.

 

위와 같이 문제가 어디에서 일어나는지 조목조목 알려준다. 이걸 gemini한테 넘기면 해결법을 알려준다.

 

 

2차 테스트

이번에는 기기를 4개로 늘려서 해보고, 한국어 기기 비율을 많이 늘렸다. 1차 테스트때의 문제는 R8난독화 설정 오류였다.

Robo 화면

결과는 가히 놀랍다. 내가 플로우차트를 썼을 때와 거의 비슷한 구조도를 짜주었다. 5분 이상으로 주면 결과가 더 좋게 나올 듯 하다. 무슨 딥 링크도 활용해보라는데 아직 그게 뭔지는 파악하지 못했다.

로그 화면

 

로그 화면도 안드로이드 스튜디오의 logcat처럼 아주 상세하게 해준다. 이걸 로봇이 자동으로 클릭해줘서 도출한 것이다..

스크린샷

동영상

성능

접근성

아니.. 생각보다 너무 잘 찝어줘서 놀랐다. 충분한 도움이 된다.

 

소규모 앱 개발자는 사용할 수 없는 사전 출시 보고서

 

사실은 본래 구글 플레이 콘솔에서 지원하는 사전 출시 보고서를 이용해보려고 했으나, 일정 다운로드 이상인 앱만 지원한다고 한다. 보기에는 그런 아무런 조건이 없고, 단지 abb파일만 올리면 '자동으로' 생성된다고 되어있는데.. 조금 무책임하다. 그러나 예전에 비해 소통 창구가 생겼으므로 사전 출시 보고서를 사용할 수 없다는 점만은 그나마 알게 되었다.

구글 플레이 콘솔의 사전 출시 보고서

구글 측의 답변