原文:https://www.anandtech.com/show/13318/huawei-benchmark-cheating-headache


文章來源:微博 新潮電子徐林

https://media.weibo.cn/article?id=2309404280867143961047看了昨天微博上搞得很熱鬧的AnandTech關於華為文章的三連發,覺得挺有意思的,也聊幾句吧——其實老外搞起標題黨來也是一樣樣的。

按AnandTech的網頁布局,三篇文章分別為

《Huawei』s GPU Turbo: Valid Technology with Overzealous Marketing》——華為GPU Turbo:技術很有用,但營銷有些過度

《Huawei Honors Recent Benchmarking Behaviour: A Cheating Headache》——華為和榮耀最近的跑分行為:欺騙之嫌

《HiSilicon Announces The Kirin 980: First A76, G76 on 7nm》——海思發布麒麟980:7nm製程首發A76 CPU和G76 GPU

其實點進去看鏈接,這三篇文章都沒什麼大的問題,包括被討論得最熱的第二篇,因為這篇文章的一個核心思想是其實是:高跑分,並不代表用戶在真實使用中也能得到同等的性能,這是一種「欺騙」行為。

說得再具體一點,就是剛剛宣布在歐洲上市的榮耀Play,經過AnandTech的測試發現,當操作系統發現運行的是跑分軟體的時候,會將手機的溫度控制範圍加大,放鬆功耗控制,從而讓跑分的結果更加華麗,比如運行「GFXBench T-Rex Offscreen Power Efficiency(Total Device Power)」這個測試的時候,進入跑分模式的榮耀Play獲得了127.36fps的幀率,這比沒有進入跑分模式的66.54高了一倍。但這伴隨的,卻是功率的大幅度增加:跑分模式下的平均功耗為8.57W,非跑分模式下的平均功率為4.39W,計算下來兩個模式的每W效率分別為15.17fps/W和14.86fps/W。

從這個表格上來看,AnandTech還是非常客觀的:雖然跑分的成績更華麗,但在跑分模式下整個系統的能效卻是下降的,這個結論絕對是沒錯,但我不太清楚AnandTech可愛的編輯們就得出了這樣一個可愛的結論:因為用戶在日常使用的過程中,幾乎無法得到系統在跑分軟體中的表現,因此這算得上是一種「欺騙」行為嗎?

對此,在IFA 2018期間,AnandTech因為這個報道,還獲得了與華為消費者BG軟體工程總裁王成錄博士對話的機會。

王博首先說這是一個系統調校的整體考慮問題,因為跑分的使用場景,幾乎是與用戶的實際使用場景完全脫離的——一個單純的基準得分,並不能代表整個系統的體驗,華為在進行系統調校時,更希望偏向於用戶的實際使用體驗和場景來進行,而不是為了基準測試而去做調教。說到底用戶買手機還是用而不是成天用來跑分的。

同時,王博也說,智能手機的跑分風氣很盛。特別是遊戲類的基準測試範圍比較窄,王博希望手機行業能夠有更能反應用戶體驗的測試標準,就像通信行業用MOS來衡量通話質量一樣。但是消費者看這個東西,我們也不能不做,都是給逼的(others do the same testing, get high scores, and Huawei cannot stay silent)。

接下來AnandTech的編輯說的話就非常可愛了:我們認為,華為應該在這個方面做一個領導者而不應該是一個追隨者。言外之意就是希望華為應該當個活雷鋒。跑測試,GFXBench是沒有問題的,我們認為這個測試軟體是標準的,是很接近真實使用場景的,但有些基準測試軟體我們不用(AnTuTu),因為它的測試不完善。我們還用其他的測試軟體比如SPEC……

文章最後的結論是:AnandTech認為,華為利用有針對性的調校系統,以便可以在遊戲基準測試中贏得更高的分數,從而能爭取更多的消費者購買自己的手機,但它們認為這樣的做法對於品牌沒有好處。同時,他們也希望這樣的模式選擇可以交給用戶,而不是應該由廠商的工程師代勞。

但個人覺得,其實這樣的評價就有點太聖母了,第一,現在的智能手機的競爭是如此的激烈,保持佛系的做法,也許能贏得品牌,但未必能贏得市場,而沒有市場,什麼都沒有;第二,中國的智能手機應用環境遠比有Google Play保駕的國家和地區複雜,如果將模式選擇交給用戶,那麼後台全家桶等高風險,將很容易把產品的體驗打垮,而這個時候,用戶只會把原因扔給廠商,而不是思考自己。

總之,我覺得AnandTech的測試方式與結論沒什麼問題,但是想法有些太簡單和太鍵盤黨了一點,嗯,畢竟你是編輯,你是專業用戶嘛。因為絕大部分用戶,是真的不懂的,他們可能對於系統的卡頓問題都不會有太直觀的感受,更不用說fps這些問題,相反,要是因為打開了遊戲模式造成續航尿崩,他們反而會罵街。

至於最後,反正我個人認為,不要覺得老外的網站什麼都是好的,往內搬運這種事,也許幾年前是時尚,但現在和未來可是未必,君不見老外也同樣拿著國內KOL的「曝光」跑得飛快——SB和鍵盤黨的評判標準,放在全球都是有效的,而不僅僅是在中國。???

「跑分就是要跑極限,調用最大化的硬體性能」,現在國內廠商基本都這個路數,沒什麼大驚小怪的。不過AnandTech也說得很對,華為不應該跟國內廠商同流合污,要帶頭搞出與用戶真實體驗相匹配的跑分標準和模型。


寫了回答沒想多說的,結果剛剛看到一個把這個事跟德國車排放門事件相提並論的,看得我頭皮發麻!

你說人家一廠商,不偷不搶,打打擦邊球,不違法,不違規,被說成這樣。。。

最近不少中國企業出了不少事!最近的有滴滴,百度,京東,稍遠的有聯想,小米(具體的事不用我細說了吧)。排個等級的話,沒傷亡,打打擦邊球,這個事就真的是最最輕微的了,百度、聯想、京東的影響企業聲譽,算中等的了,謀財害命的其他兩家算是最嚴重的了吧!就這樣不也有洗地的嗎?怎麼在這個回答下面替華為說兩句就是洗地的了呢?我看的時候不到100關注,值得洗地嗎?

再說跟德國車排放門事件,性質一樣嗎?這個是能達到這個跑分,排放門是在實驗室都達不到要求,最大的超出宣傳的幾十倍;從法律上說,這個就打個擦邊球,搞不好以後就有極限跑分和實用跑分兩個跑分了,排放門是為了進入美國市場直接違法了。把這個事跟德國排放門事件相提並論的,我只能說你是跪久了,雙標嚴重。

分割線…………………………

10個回答,34關注,看來這個問題不大嘛!怎麼讓我看到了。。。

我想問一個問題:這是在打擦邊球嗎?或者換個問題,跑分怎麼跑有嚴格規定嗎?是在打擦邊球的話那我無話可說啊!沒問題,大家都可以打打擦邊球,誰還沒打過擦邊球?要是有規定的話我也不知道怎麼辦了 。

我不是洗地的哈!看這個關注和回答就沒有洗地的必要。手機這東西用的不好就不用,換一個就好了唄!用的舒服那隨意。


王博士倒是很直接:

He also states that 『in the Android ecosystem, other manufacturers also mislead with their numbers』, citing one specific popular smartphone manufacturer in China as the biggest culprit, and that it is becoming 『common practice in China』.

A站針對GT和榮耀play:

However, software can only do so much, and Huawei tries to exaggerate the benefits of the new technology on devices like the Honor Play.

…………This is a quite courageous marketing strategy given the fact that the SoC powering the phone is currently the worst of its generation when it comes to gaming.…………We actively discourage such marketing strategies as it just tries to pull the wool over user』s eyes. While the Honor Play is a quite good phone in itself, a gaming phone it is not.

建議同時搭配A站另一篇文章一起服用:

Huawei』s GPU Turbo: Valid Technology with Overzealous Marketing?

www.anandtech.com圖標

發布會ppt是拿960來對比:

3幀的差距有這麼大嗎:

畫質對比:

這能怎麼看待?日常操作而已……菊廠現在算是坐實了「華而不實」了吧……

沒想到今天3D mark宣布,從排行榜里刪除了P20、P20pro、榮耀play、nova3:

Benchmark news from UL in null null?

benchmarks.ul.com圖標

要我說,是現在這幫跑分評測機構太弱雞了。 評測的時候打雞血又不是一天兩天了,十年前的顯卡就這麼干,這幫跑分機構有任何反制措施嗎?沒有。 華為這裡打雞血就成作弊,然而其他手機就沒有溫控嗎?個個都有,糞X普遍遊戲降頻了解一下,你怎麼不指責蘋果作弊呢,怎麼不讓蘋果出淤泥而不染呢,不是雙標就是傻。

這些跑分機構,你的跑分到底是要測什麼,自己心裡沒點B數嗎。根據目的來設計測試方法難道不是你們自己的責任。你自己給出的測試方法明明是測極限性能,別人在想盡辦法跑了個高分,你又說不符合實際使用環境,難道不是自己的測試和評分方法有問題。

雞血跑分溫度過高?那就在評分里加入溫度因素。 影響續航?那就加入續航權重。 關鍵你們這些評分機構自己要測什麼,先搞搞清楚。 自己出的卷子不合理,被人鑽了空子,老老實實承認自己弱雞,重新出一份更合理的卷子唄。 自己不改進,還只會指責別人,只會越來越過時。


推薦閱讀:
查看原文 >>
相关文章