Az Anandtech leplezte le, hogy a Huawei és a Honor telefonoknál valami trükk van a sebességtesztek eredményeivel kapcsolatban. Egyszerű megfigyelésből indult ki a dolog, ugyanazok a benchmark alkalmazások szignifikánsan jobb pontozást adtak ugyanolyan hardverrel szerelt Huawei készülékekre idén, mint mondjuk a tavalyi modellekre. Amit persze lehet némi optimalizálási fejlesztéssel magyarázni, de túl látványos volt az eltérés.
Úgyhogy az Anandtechnél fogták magukat és alaposan utánajártak a dolognak. Annyiból mindenképpen ők voltak erre a leginkább alkalmasak, hogy egy csomó benchmark alkalmazást fejlesztő céggel kvázi napi kapcsolatban vannak, hiszen sokszor pont az Anandtech javaslatai alapján is fejlődnek ezek a szoftverek, hogy minél inkább a valós felhasználói élményre reflektáljanak a pontszámok. Szóval megdumálták egy-két partnerükkel, hogy nem csak a publikusan elérhető verziókat futtatják le a gyanús telefonokon, hanem fejlesztői változatokat is, így aztán hamar kiderült a trükk.
Ha egy Huawei úgy észleli, hogy épp benchmark fut rajta, akkor egy elég triviális módszerrel manipulálja az eredményt. Egyszerűen több áramot vesz fel a processzor, mint úgy egyébként, de nem csak kicsivel, hanem az Anandtech szerint konrkétan duplaannyit, ami aztán szépen tükröződik is a pontszámokban (hiszen ezzel párhuzamosan az órajel is megemelkedik), viszont enélkül a trükk nélkül a Kirin 970-es SoC egyáltalán nem tűnik annyira csodálatos chipsetnek. Az Anandtech cikke arra is rámutat, hogy ennek ellenére a felhasználók nem panaszkodnak akadásokra, vagy teljesítményhiányra ezeknél az eszközöknél, ami azt jelenti, hogy a Huawei mérnökei nagyon jó érzékkel játszanak azzal, hogy mikor és mennyi áramot vehet fel a CPU, ami egyébként a másik irányba is működik, roppant takarékos is tud lenni a rendszer, ha nincs extra igénybevétel.
Ám ez a történet semmiféle szempontból nem elegáns, mondhatni, hogy a Huawei szándékosan megtévesztette a vásárlókat és a tesztelőket is azzal, hogy a felhasználók tudta nélkül a benchmark alkalmazások futtatásakor olyan teljesítményre kapcsol, amit egyébként átlagos használat mellett nem érhetünk el, illetve ami magasan a CPU energiafelvételi limite felett van. Az Anandtech természetesen megkereste a Huawei-t az üggyel kapcsolatban, Berlinben az IFA kiállításon tudtak is hosszabban beszélgetni Dr. Wang Chengluval, aki a szoftverfejlesztési igazgató. Ő egyrészt elismerte, hogy valóban így történik a dolog, másrészt elkezdett mutogatni más kínai gyártókra azzal, hogy ők is ezt csinálják és ők kezdték, ami szerintünk azért már az oviban is egy elég gyenge érveléstechnika volt.
Azóta a Huawei kiadott egy hivatalos közleményt, amit természetesen hozzánk is eljutottak és szó szerint idézzük: „A Huawei számára a benchmark teszteken való jó értékeléseknél sokkal fontosabb, hogy a lehető legjobb felhasználói élményt kínálja a felhasználóknak. Különösképpen azért, mert valójában nincs közvetlen kapcsolat a benchmark tesztek és a felhasználói élmény között.
A Huawei okostelefonok a Mesterséges Intelligenciához hasonló fejlett technológiákat alkalmaznak a hardver-teljesítmény optimalizálásához, ideértve a CPU-t, a GPU-t és az NPU-t is. Ha a felhasználó például fotós vagy egyéb grafikailag megterhelő alkalmazást használ (például egyes játékok esetében), a Huawei intelligens szoftvere stabil és egyenletes felhasználói élményt biztosít a hardver képességeinek teljes kihasználásával, miközben felügyeli a készülék hőmérsékletét és energiahatékonyságát is. A böngészéshez hasonló, kevésbé megterhelő alkalmazások használatakor ugyanakkor csak annyi erőforrást fordít a folyamatra, amennyi feltétlenül szükséges. Rendes benchmark körülmények között a Huawei szoftvere, amint felismeri a benchmark alkalmazást, azonnal intelligensen alkalmazkodik a “Teljesítmény Mód”-hoz és optimális teljesítményt biztosít. A Huawei tervei közt szerepel, hogy a felhasználóknak is hozzáférést biztosítson a „Teljesítmény módhoz”, így ők is akkor tudják majd használni a készülékük maximális erejét, amikor csak szeretnék. A Huawei, az iparág vezető szereplőjeként egyben nyitott arra, hogy a vele együttműködő partnerekkel közösen térképezze fel azokat a benchmark standardokat, amelyek pontosan tudják értékelni a felhasználói élményt.”
Ehhez azért pár dolgot érdemes még hozzátenni. Egyrészt talán érdemes lett volna azzal kezdeni az egészet, hogy bocsánat, sajnáljuk, elnézést kérünk. Mégiscsak arról van szó, hogy sunnyogás történt a háttérben. Másrészről viszont jó tudni, hogy amúgy létezik egy “performance mode”, amiről eddig persze nulla szó esett, most viszont már ott tartunk, hogy majd kézzel is be lehet kapcsolni. Harmadrészt pedig ha ez az eset tényleg standardizálja a benchmarkok világát, akkor azzal végső soron mindenki jól jár.
[+]
Fentieken túl azonban a történetnek van még egy fontos aspektusa. A nem megtrükközött benchmarkok alapján ugyanis a Kirin 970 egyáltalán nem szerepel olyan fényesen, mint korábban, főleg a GPU mutat gyengébb képességeket. Ettől még nyilván nem lesz hirtelen egy használhatatlan fémdarab az összes Huawei és Honor telefon, csak rámutat az eredmény arra, amit egyébként is lehetett sejteni, hogy a Kirin 970 - minden érdeme elismerése mellett - grafikailag elmarad a kategóriától. Nem véletlen, hogy a nemrég beharangozott Kirin 980 pont ebben igyekszik erősíteni úgy, hogy még egyet csavarnak a koncepción energiahatékonysági szempontból, és áttérnek a DynamIQ-ra.
És egyébként nem ez az első eset az okostelefonok nyúlfarknyi történelmében, hogy egy gyártó trükközni próbál a szintetikus sebességtesztek eredményeivel, korábban a Samsung is belefutott már ebbe a késbe. Ott is magyarázkodtak egy ideig, aztán rájöttek, hogy egyszerűbb, ha olyan chipsetet raknak össze, ami mindenféle okosítás nélkül is helytáll a mezőnyben. A Huawei egyelőre még nem ért el erre a szintre a sok szempontból egyébként remek Kirin 970-nel, de a 980-nal majd bizonyíthatnak, ráadásul kiderült már az is, hogy amit nyers erővel nem tudnak megoldani, azt szoftveres módokon próbálják kompenzálni, a GPU Turbo is egy ilyen megoldás, úgyhogy egyáltalán nem kell őket félteni. De arra mindenképpen szükség van, hogy egy Anandtech jellegű, komoly szakmai munkát végző csapat néha a gyártók körmére nézzen.
