原文:https://www.anandtech.com/show/13318/huawei-benchmark-cheating-headache


文章来源:微博 新潮电子徐林

https://media.weibo.cn/article?id=2309404280867143961047看了昨天微博上搞得很热闹的AnandTech关于华为文章的三连发,觉得挺有意思的,也聊几句吧——其实老外搞起标题党来也是一样样的。

按AnandTech的网页布局,三篇文章分别为

《Huawei』s GPU Turbo: Valid Technology with Overzealous Marketing》——华为GPU Turbo:技术很有用,但营销有些过度

《Huawei Honors Recent Benchmarking Behaviour: A Cheating Headache》——华为和荣耀最近的跑分行为:欺骗之嫌

《HiSilicon Announces The Kirin 980: First A76, G76 on 7nm》——海思发布麒麟980:7nm制程首发A76 CPU和G76 GPU

其实点进去看链接,这三篇文章都没什么大的问题,包括被讨论得最热的第二篇,因为这篇文章的一个核心思想是其实是:高跑分,并不代表用户在真实使用中也能得到同等的性能,这是一种「欺骗」行为。

说得再具体一点,就是刚刚宣布在欧洲上市的荣耀Play,经过AnandTech的测试发现,当操作系统发现运行的是跑分软体的时候,会将手机的温度控制范围加大,放松功耗控制,从而让跑分的结果更加华丽,比如运行「GFXBench T-Rex Offscreen Power Efficiency(Total Device Power)」这个测试的时候,进入跑分模式的荣耀Play获得了127.36fps的帧率,这比没有进入跑分模式的66.54高了一倍。但这伴随的,却是功率的大幅度增加:跑分模式下的平均功耗为8.57W,非跑分模式下的平均功率为4.39W,计算下来两个模式的每W效率分别为15.17fps/W和14.86fps/W。

从这个表格上来看,AnandTech还是非常客观的:虽然跑分的成绩更华丽,但在跑分模式下整个系统的能效却是下降的,这个结论绝对是没错,但我不太清楚AnandTech可爱的编辑们就得出了这样一个可爱的结论:因为用户在日常使用的过程中,几乎无法得到系统在跑分软体中的表现,因此这算得上是一种「欺骗」行为吗?

对此,在IFA 2018期间,AnandTech因为这个报道,还获得了与华为消费者BG软体工程总裁王成录博士对话的机会。

王博首先说这是一个系统调校的整体考虑问题,因为跑分的使用场景,几乎是与用户的实际使用场景完全脱离的——一个单纯的基准得分,并不能代表整个系统的体验,华为在进行系统调校时,更希望偏向于用户的实际使用体验和场景来进行,而不是为了基准测试而去做调教。说到底用户买手机还是用而不是成天用来跑分的。

同时,王博也说,智能手机的跑分风气很盛。特别是游戏类的基准测试范围比较窄,王博希望手机行业能够有更能反应用户体验的测试标准,就像通信行业用MOS来衡量通话质量一样。但是消费者看这个东西,我们也不能不做,都是给逼的(others do the same testing, get high scores, and Huawei cannot stay silent)。

接下来AnandTech的编辑说的话就非常可爱了:我们认为,华为应该在这个方面做一个领导者而不应该是一个追随者。言外之意就是希望华为应该当个活雷锋。跑测试,GFXBench是没有问题的,我们认为这个测试软体是标准的,是很接近真实使用场景的,但有些基准测试软体我们不用(AnTuTu),因为它的测试不完善。我们还用其他的测试软体比如SPEC……

文章最后的结论是:AnandTech认为,华为利用有针对性的调校系统,以便可以在游戏基准测试中赢得更高的分数,从而能争取更多的消费者购买自己的手机,但它们认为这样的做法对于品牌没有好处。同时,他们也希望这样的模式选择可以交给用户,而不是应该由厂商的工程师代劳。

但个人觉得,其实这样的评价就有点太圣母了,第一,现在的智能手机的竞争是如此的激烈,保持佛系的做法,也许能赢得品牌,但未必能赢得市场,而没有市场,什么都没有;第二,中国的智能手机应用环境远比有Google Play保驾的国家和地区复杂,如果将模式选择交给用户,那么后台全家桶等高风险,将很容易把产品的体验打垮,而这个时候,用户只会把原因扔给厂商,而不是思考自己。

总之,我觉得AnandTech的测试方式与结论没什么问题,但是想法有些太简单和太键盘党了一点,嗯,毕竟你是编辑,你是专业用户嘛。因为绝大部分用户,是真的不懂的,他们可能对于系统的卡顿问题都不会有太直观的感受,更不用说fps这些问题,相反,要是因为打开了游戏模式造成续航尿崩,他们反而会骂街。

至于最后,反正我个人认为,不要觉得老外的网站什么都是好的,往内搬运这种事,也许几年前是时尚,但现在和未来可是未必,君不见老外也同样拿著国内KOL的「曝光」跑得飞快——SB和键盘党的评判标准,放在全球都是有效的,而不仅仅是在中国。???

「跑分就是要跑极限,调用最大化的硬体性能」,现在国内厂商基本都这个路数,没什么大惊小怪的。不过AnandTech也说得很对,华为不应该跟国内厂商同流合污,要带头搞出与用户真实体验相匹配的跑分标准和模型。


写了回答没想多说的,结果刚刚看到一个把这个事跟德国车排放门事件相提并论的,看得我头皮发麻!

你说人家一厂商,不偷不抢,打打擦边球,不违法,不违规,被说成这样。。。

最近不少中国企业出了不少事!最近的有滴滴,百度,京东,稍远的有联想,小米(具体的事不用我细说了吧)。排个等级的话,没伤亡,打打擦边球,这个事就真的是最最轻微的了,百度、联想、京东的影响企业声誉,算中等的了,谋财害命的其他两家算是最严重的了吧!就这样不也有洗地的吗?怎么在这个回答下面替华为说两句就是洗地的了呢?我看的时候不到100关注,值得洗地吗?

再说跟德国车排放门事件,性质一样吗?这个是能达到这个跑分,排放门是在实验室都达不到要求,最大的超出宣传的几十倍;从法律上说,这个就打个擦边球,搞不好以后就有极限跑分和实用跑分两个跑分了,排放门是为了进入美国市场直接违法了。把这个事跟德国排放门事件相提并论的,我只能说你是跪久了,双标严重。

分割线…………………………

10个回答,34关注,看来这个问题不大嘛!怎么让我看到了。。。

我想问一个问题:这是在打擦边球吗?或者换个问题,跑分怎么跑有严格规定吗?是在打擦边球的话那我无话可说啊!没问题,大家都可以打打擦边球,谁还没打过擦边球?要是有规定的话我也不知道怎么办了 。

我不是洗地的哈!看这个关注和回答就没有洗地的必要。手机这东西用的不好就不用,换一个就好了呗!用的舒服那随意。


王博士倒是很直接:

He also states that 『in the Android ecosystem, other manufacturers also mislead with their numbers』, citing one specific popular smartphone manufacturer in China as the biggest culprit, and that it is becoming 『common practice in China』.

A站针对GT和荣耀play:

However, software can only do so much, and Huawei tries to exaggerate the benefits of the new technology on devices like the Honor Play.

…………This is a quite courageous marketing strategy given the fact that the SoC powering the phone is currently the worst of its generation when it comes to gaming.…………We actively discourage such marketing strategies as it just tries to pull the wool over user』s eyes. While the Honor Play is a quite good phone in itself, a gaming phone it is not.

建议同时搭配A站另一篇文章一起服用:

Huawei』s GPU Turbo: Valid Technology with Overzealous Marketing?

www.anandtech.com图标

发布会ppt是拿960来对比:

3帧的差距有这么大吗:

画质对比:

这能怎么看待?日常操作而已……菊厂现在算是坐实了「华而不实」了吧……

没想到今天3D mark宣布,从排行榜里删除了P20、P20pro、荣耀play、nova3:

Benchmark news from UL in null null?

benchmarks.ul.com图标

要我说,是现在这帮跑分评测机构太弱鸡了。 评测的时候打鸡血又不是一天两天了,十年前的显卡就这么干,这帮跑分机构有任何反制措施吗?没有。 华为这里打鸡血就成作弊,然而其他手机就没有温控吗?个个都有,粪X普遍游戏降频了解一下,你怎么不指责苹果作弊呢,怎么不让苹果出淤泥而不染呢,不是双标就是傻。

这些跑分机构,你的跑分到底是要测什么,自己心里没点B数吗。根据目的来设计测试方法难道不是你们自己的责任。你自己给出的测试方法明明是测极限性能,别人在想尽办法跑了个高分,你又说不符合实际使用环境,难道不是自己的测试和评分方法有问题。

鸡血跑分温度过高?那就在评分里加入温度因素。 影响续航?那就加入续航权重。 关键你们这些评分机构自己要测什么,先搞搞清楚。 自己出的卷子不合理,被人钻了空子,老老实实承认自己弱鸡,重新出一份更合理的卷子呗。 自己不改进,还只会指责别人,只会越来越过时。


推荐阅读:
查看原文 >>
相关文章