Huawei Fanget Manipulerende Målestokker, Gir Kinesiske Konkurrenter Skyld

2023 Forfatter: Kayla Nelson | [email protected]. Sist endret: 2023-07-30 23:17

for noen uker siden dekket vi Huawei ved å bruke profesjonell DSLR-kameraer-reklame om deres selfie-muligheter, og det ser ut til at de bare ikke kan slutte å finne måter å prøve å lure forbrukere - denne gangen er dens referanser de manipulerer.

Referanser er populære og (til nå?) Legitime måter å vise enhetens ytelse på - enten CPU, GPU eller systemytelse. Hele poenget med referanser er å gi forbrukerne et nøyaktig resultat av hvordan enheter fungerer under stress.

Dessverre ser det ut til at Huawei har tatt med "referansemekanisme" i noen av deres nyeste enheter. Hva denne mekanismen egentlig gjør, er å skyve SoC til mye høyere effektgrense og termisk takhøyde når den oppdager at den blir benchmarked i visse apper - noe som resulterer i mye høyere ytelsespoeng enn brukere normalt ville fått i daglig bruk. Dette er ikke bare uærlig, det er farlig for SoCs levetid, og kan veldig raskt overopphetes og redusere batterilevetiden.

Huaweis forsvar for denne praksisen kan best oppsummeres som, "alle andre gjør det også!" - og dessverre har de faktisk rett. Benchmark juks er ikke noe nytt i det hele tatt - det var voldsomt i PC-scenen for ti år siden, og det har vært i mobilscenen en stund også.

Exynos-varianten av Samsung Galaxy S4 ble fanget med lignende referanseindeks for utroskap, og redaktørene for mobilanalysesiden AnandTech oppdaget et stort antall andre smarttelefonleverandører som manipulerte referansedata godt. Dette førte til at antall enheter, for eksempel Galaxy S4, Galaxy Note 3, HTC One og mange andre ble fjernet fra 3DMark-databasen.

Selv om de fleste produsenter opphørte oppførselen etter å ha blitt kalt ut, fortsatte få - for eksempel fortsatte OnePlus juks i populære referanser som GeekBench, men har tilsynelatende stoppet praksisen siden OnePlus 5T - som faktisk er en flott enhet og er svært populær i modding. og utviklingssamfunn, så kanskje OnePlus følte at de ikke trengte å manipulere referansedata.

Dessverre ser det ut til at Huawei henter seg der andre enhetsleverandører har sluttet, ettersom det er bekreftede rapporter om Huawei som har manipulert referanser med enheter, inkludert Huawei P20, Huawei P20 Pro og Honor Play. I utgangspunktet hadde Huawei P20s ytelse gått tilbake sammenlignet med Huawei Mate 10 Pro - og på den tiden sa Huawei at det var "firmwareproblem" - en direkte dristig løgn, da det faktisk skyldtes den ovennevnte referansedeteksjonsmekanismen, som utløser langt overlegen kraftgrense for SoC.

Ikke bare er dette dårlig for SoC i seg selv, da den samlede effektiviteten til SoC avtar når dette er gjort, fordi SoC blir presset godt utenfor det normale driftsvinduet (forestill deg å overklokke CPU-en din så høyt som den kan gå uten termisk fett). Dette er imidlertid også dårlig for selve markedet.

For det første får det SoC til å se dårlig ut, som om den må ha referansedatamanipuleringen for å være verdt å selge. For det andre setter det tvil om det kinesiske smarttelefonmarkedet - som allerede er full av imitasjoner, kloner og skyggefull praksis. Videre er Huaweis referanseoppførsel kanskje den mest alvorlige å se ennå, da det virkelig er forskjell i ytelsesresultater med referansedeteksjonsmekanismen på sammenlignet med når den er av. Så mye at AnandTech bemerket at forskjellene i offentlig tilgjengelige referanseresultater og deres egne interne tester var "helt forbløffende".

Huawei har svart på å bli funnet ut, og som vi sa tidligere, var deres svar i utgangspunktet "alle andre gjør det også". Det de bokstavelig talt sa (sitat fra Dr. Wang Chenglu, programleder i Huawei's Consumer Business Group) var at "andre gjør det samme, får høye poengsummer, og Huawei kan ikke tie. Huawei ønsker å komme sammen med andre i Chinto for å finne den beste verifiseringsverdien for brukeropplevelse.”

Dr. Wang pekte også på andre produsenter med villedende referansetall, og siterte en ikke navngitt populær smarttelefonprodusent i Kina som den største skyldige. I følge Dr. Wang har referansefusk blitt "vanlig praksis i Kina", og mens Huawei ønsker å "åpne opp" for forbrukerne, har de problemer når konkurrenter "kontinuerlig legger ut urealistiske poeng." Huawei prøver å møte sin store kinesiske konkurranse, en oppgave som tilsynelatende blir vanskelig når andre produsenter produserer urealistiske poengsum.

For å oppsummere, Huawei

1. Innrømmer at de manipulerer referansetall
2. Innrømmer at alle andre i det kinesiske telefonmarkedet gjør det
3. Har ingen planer om å stoppe på grunn av # 2.

Hvordan kan noen stole på det kinesiske telefonmarkedet etter denne typen ting? Uansett uttalte Huawei at selskapet vil "sikre fremtidige referansedata uavhengig verifisert av tredjeparter".

Huawei sendte full respons til XDA:

“Huawei prioriterer alltid brukeropplevelsen i stedet for å forfølge høye referansepoeng - spesielt siden det ikke er direkte sammenheng mellom smarttelefonindekser og brukeropplevelser. Huawei-smarttelefoner bruker avanserte teknologier som AI for å optimalisere ytelsen til maskinvare, inkludert CPU, GPU og NPU.

Når noen lanserer fotograferingsapp eller spiller grafisk intensivt spill, skaper Huaweis intelligente programvare jevn og stabil brukeropplevelse ved å bruke maskinvarens fulle muligheter, samtidig som enhetens temperatur og energieffektivitet administreres. For applikasjoner som ikke er like strømkrevende som å surfe på nettet, vil den bare tildele ressursene som er nødvendige for å levere ytelsen du trenger.

Når Huaweis programvare gjenkjenner benchmarking-applikasjoner, tilpasser den seg i normale referansescenarier intelligent til “Performance Mode” og gir optimal ytelse. Huawei planlegger å gi brukerne tilgang til "Performance Mode" slik at de kan bruke maksimal effekt på enheten når de trenger det.

Huawei - som bransjeleder - er villig til å samarbeide med partnere for å finne de beste standardene for benchmarking som nøyaktig kan evaluere brukeropplevelsen.”

I alle fall testet ekte referanser fra AnandTech Huawei P20, P20 Pro og Honor Play - og alle enhetene ble utført på samme måte fordi de alle deler den samme HiSilicon Kirin 970 SoC - men den virkelige ytelsen til hver enhet er begrenset av de termiske grensene, ettersom hver enhet har forskjellige chassis- og kjøledesign. Huawei P20 Pro har de beste termene, så den fungerer bedre i ekte ytelsestilstand.

Redaktøren av AnandTech, Andrei Frumusanu, hadde følgende å si:

“Tidligere har vi sett leverandører faktisk heve SoC-frekvensene, eller låse dem til maksimale tilstander, og øke ytelsen utover det som vanligvis er tilgjengelig for generiske applikasjoner. Det Huawei i stedet gjør er å øke referansepoengene ved å komme til det fra den andre retningen - referanseprogrammene er de eneste brukssakene der SoC faktisk utfører de annonserte hastighetene. I mellomtiden strupes alle andre virkelige applikasjoner i betydelig grad under denne tilstanden på grunn av maskinvarens termiske begrensninger. Det vi ender med å se med uhindret ytelse er kanskje den 'sanne' formen for en ubegrenset SoC, selv om dette er helt akademisk sammenlignet med hva brukerne faktisk opplever."

Grafene deres viser at Huaweis nyeste telefoner allerede når 3,5-4,4W i sin virkelige ytelsestilstand, mens 3,5W TDP er det maksimale beløpet som kan opprettholdes. På den annen side går telefonen i overdrive med TDP når den utfører de offentlig tilgjengelige referanseverdiene, med krafttall som går over 6W og når en topp på 8,5W. Som bemerket av AnandTech, utløser disse tallene raskt en overopphetingsmelding på enheten, noe som indikerer at termiske grenser ikke samsvarer med programvarens forventninger.

Det som kan tas fra denne situasjonen er at de sanne ytelsestallene ikke er stabile, ettersom de avhenger av telefonens temperatur. Huawei blokkerer ikke GPU-en fra å nå sin topp GPU-frekvenstilstand. Standardoppførselen er faktisk "hard termisk strupemekanisme […] som vil prøve å opprettholde betydelig lavere SoC-temperaturnivåer og det totale strømforbruket."

Telefonenes normale modus kan nå de samme maksimale strømforbrukstallene under GPU-referansene som de som er lagt ut av de ubegrensede variantene. Imidlertid faller disse tallene raskt betydelig tilbake, og AnandTech bemerker at telefonen gasses ned til 2,2 W i noen tilfeller, noe som har den effekten at ytelsen reduseres betydelig.

Publikasjonen sier at referanseindeksen for juks har tilsynelatende bare blitt introdusert i årets enheter. Telefoner som Huawei Mate 9 og Huawei P10 påvirkes ikke, og det ser ut til at bare EMUI 8.0 og nyere enheter er berørt. AnandTech ble også fortalt av Huawei at dette var "ren programvareimplementering", som bekreftet funnene til publikasjonen.

AnandTech la ut sanne tall for GPU-ytelse for de berørte Kirin 970-drevne telefonene, og konklusjonen er at Huawei er det betydelig bak konkurrentene i både GPU-ytelse og effektivitet.

Publikasjonen la også ut sammenligningsdiagrammer for Kirin 970 og Kirin 960-drevne Huawei-enheter. Grafene viser at Huaweis justeringer av kraftdemping faktisk er bedre for brukeropplevelsen, ettersom de demper problemet med høyere strømforbruk. AnandTechs testing av Kirin 960 viste at den hadde "forferdelige GPU-effektegenskaper", mens Kirin 970-drevne enheter har en ny streng reguleringsmekanisme for å få ned strømforbruket og temperaturene.

AnandTech nevnte også at den nye strupepolitikken er fornuftig når vi vurderer det faktum at både Kirin 960 og Kirin 970 viser maktuttak som er mye over deres bærekraftige nivå for deres respektive formfaktorer.

Selv om Huawei ikke nødvendigvis har gjort noe galt ved å innføre ny strupemekanisme, har de absolutt krysset over jukseterskelen ved å utelukke populære referanseprogrammer viwhitelist, som er det som omtales som referansefusk i dette tilfellet.

UL som kjøpte Futuremark, selskapet bak PCMark og 3DMark, har fjernet Huawei P20, Huawei P20 Pro, Huawei Nov3 og Honor Play fra 3DMark.

Selskapet har bekreftet benchmark-juks på Huawei P20 Pro, Huawei Nov3 og Honor Play. På bakgrunn av AnandTechs testing og rapportering har den også fjernet standarden Huawei P20. Brukere vil ikke lenger være i stand til å se referanseresultatene til de berørte telefonene, ettersom selskapet ikke ønsker å være vert for lurke referansescore.

Selskapet fant ut at resultatene fra den offentlige 3DMark-appen var opptil 47% høyere enn poengene fra den private appen (som ikke er tilgjengelig for publikum), til tross for at testene er identiske.

I kunngjøringen la UL til at det var lykkelig å se Huawei forplikte seg til å innføre en mer gjennomsiktig tilnærming i fremtiden. UL mener at valgfrie ytelsesmoduser som kan angis av brukeren er tillatt i henhold til gjeldende regler så lenge de er deaktivert som standard. Selskapet uttaler: "enheten må kjøre referanseverdien som om det var et annet program."

Avslutningsvis skal ikke alle Huawei GPU-ytelsesverdier som ble tatt med offentlig tilgjengelige referanser, tas som en representasjon av den faktiske ytelsen.

Huawei nådde ut til UL for å diskutere de beste metodene for benchmarktesting, og sendte uttalelse:

“Huawei og UL (skaperne av 3DMark) har holdt omfattende diskusjoner om benchmarking-praksis denne uken, og har nådd positiv enighet om de neste trinnene i samarbeidet.

I diskusjonen forklarte Huawei at smarttelefonene bruker en kunstig intelligent ressursplanleggingsmekanisme. Fordi forskjellige scenarier har forskjellige ressursbehov, utnytter de nyeste Huawei-håndsettene innovative teknologier som kunstig intelligens for å optimalisere ressurstildelingen på en måte slik at maskinvaren kan demonstrere sine evner i full grad, samtidig som de oppfyller brukernes krav i alle scenarier.

UL forstår hensikten med Huaweis tilnærming, men er imot å tvinge bruken av "Performance Mode" som standard når benchmarking-applikasjon oppdages av enheten. UL-regler krever at enheten kjører referanseverdien som om det var et annet program.

Huawei respekterer forbrukernes rett til å velge hva de skal gjøre med enhetene sine. Derfor vil Huawei gi brukerne åpen tilgang til "Performance Mode" i EMUI 9.0, slik at brukeren kan velge når den skal bruke maksimal effekt på enheten.

Huawei og UL har også diskutert gjeldende vanlige referansetestmetoder generelt. UL og Huawei ønsker å delta i en bransjebevegelse for å utvikle standarder for benchmarking som best passer behovene til produsenter, presse og forbrukere.

For å forhindre forvirring rundt nåværende benchmarking-resultater, har UL og Huawei, etter diskusjon, midlertidig fjernet referansepoengene for utvalg av Huawei-enheter, og vil gjenopprette dem etter at Huawei gir alle brukere av Huawei-håndsett tilgang til ytelsesmodus."