잡담 벤치마크 사기...
2013.10.06 23:52
요 몇일동안 RubiCo님께서
삼성의 사기성 벤치마크 테스트에 대해서 자게에 올리신적이 있을겁니다.
사실 이부분에 대해서는 이렇습니다.
저도 몇몇 안드로이드 기기 테스트 하면서 눈에 뻔히 보이는 사기를 볼수 있는데요.
그것하고는 조금 다르게 데이터자체는 맞지만 실제 유저들이 사용시 그 데이터가 제대로
안나오는 경우도 꽤 많습니다.
가장 사기치기 쉬운게 바로 배터리사기인데요.
이게 왜 사기냐하고 반문하실 분도 계실테지만
실측정방법이 없다보니 제조사가 마음대로 정하는 경우가 많습니다.
예를 들어 넥서스 7탭의 가용시간이 7-8시간이다라고
이야기를 한다면
이 가용시간을 측정하는 방식이 아이패드랑 같을것이다라고 생각하시면
정말 오해일겁니다.
즉 가용시간이라는 측면자체도 밝기를 얼마만큼 정하냐에 따라서
많이 달라지긴 하는데요.
문제는 조도 측정기에 밝기를 Normalize를 하지 않은 상태에서
그냥 측정합니다.
여기에 밝기 %라도 동일하게 했다면 어느정도 이야기가 되었겠지만
이것도 아니고 밝기를 0%에서 잡는지 100%에서 잡는지
아니면 실제 외부에서 가독성이 확보되는 밝기에서 잡는지에 대한
조건 자체가 아예 나와있질 않습니다.
0%밝기로 펌웨어 자체에서 아예 실 Lux를 낮춰버리면서
배터리를 테스트 할경우 상당히 긴시간을 쓸수 있습니다.
거기에 출시할때 일부러 제조사가 광고하는 시간을 맞추기 위해
펌을 셋팅하는 경우도 있으니 이건 사기가 아닐겁니다.
(Ployer Mono9 가강판 2세대)
이렇가 한다음 배터리 능력을 줄이는 대신 기기를 원활하게 돌아가게 하면 되니까요.
3D Mark부분에서도 그렇습니다.
가끔 3D Mark에서 점수가 형편없이 나온기기에서
이 게임어플은 도저히 안돌아간다라는 예상을 하고 있었는데
문제는 이게 잘 돌아가고 점수가 잘 나온기기의 경우 FPS가 떨어지는 경우도 있으니까요.
거기에 벤치점수를 맞추기 위해 특정 벤치마크 어플의 버전만 돌아가게 만드는 경우도 있습니다.
결국은 의미는 없지만 수치를 예쁘게 만들라는 윗선의 이야기와 나도 수치상이지만 성능좋은 기기를 가지고 있어야한다라는
일반유저들의 심리적인 기대가 맞물려서 이렇게 되는것 같습니다.
제가 기기를 기획한다 하더라도 이런짓은 하긴 할것 같으니까요. ^^;
어찌되었던 삼성이 워낙 유명하게 이런짓을 잘하니 (1등주의도 한몫하겠죠. ^^;)
앞으로 다른 업체에서도 유명 벤치마크 툴을 가지고 이런식의 장난을 잘할듯 합니다. ^^;