6 月 23 日凌晨 1 点,苹果 WWDC20 开发者大会将在线上以主题演讲的方式,在 Apple Park 进行直播。本次预计苹果将发布 iOS 14、iPadOS 14、watchOS 7、macOS 10.16、tvOS 14 等 OS 全家桶,另外还消息称,本次发布会还将带来新的 iMac、ARM 款 MacBook、AirPods Studio、AirTags 追踪器等,具体我们拭目以待。

对于本次发布会,你认为有哪些惊喜或遗憾?


小更一下

  • Translate App效果测试增加到文章末尾
  • iOS 14增加了粘贴提示
  • 关于跨平台框架的问题

谈不上噩耗那么严重,跨平台框架团队其实从day0就知道这件事情,这是一趟夸父追日的旅程。每家使用跨平台框架的开发商对自己的App的预期不一致,在团队的人员技术栈上的成本评估也不一致。你看微信,阿里系的团队每次发布会之后,甚至发布会之前就已经在尝试新的技术了,但他们同样使用了跨平台技术,RN/Weex/Flutter都有,但App的复杂程度是不言而喻的。

能做到什么程度完全和团队本身的技术能力有关,也和各自的业务紧密相关。对小团队选择单一平台的是比较大的挑战,他们会更依赖社区的成果,在团队人员的技术栈上一般也存在一些短板,所以相对被动。

选择跨平台框架的时候要考虑到这些局限,也要看到框架的优势。如果Flutter今年再精进点,从框架底层考虑一些与原生框架升级结合的可能,那也不是完全不能,只是这种追赶的赛跑会一直存在。(https://github.com/flutter/flutter/wiki/Roadmap 可惜从Roadmap上看,在iOS上没有什么特别的计划,甚至在macOS的UI框架支持上还会更少一些)

之前SwiftUI不是一等公民的时候,大家边用边吐槽SwiftUI的各种问题,跨平台框架的角度就很少有基于它去实现UI框架的。但目前来看SwiftUI几乎是下一代Apple全平台融合的首选框架了,应该会有跨平台生态圈会对SwiftUI进行重新的审视。


久违的畅快感,作为 Mac/iOS 平台的开发者,这样一场信息密度大到溢出屏幕的发布会,无疑是一份盛宴。

不赘述发布会内容了,只说说感受。

Native App 一等公民

面对iOS 14这种升级,跨平台framework想追,且要花费大功夫了,各种系统平台的大feature和旁系平台(App clips,App widgets,Apple Watch/ Apple TV)的支持跟进就不说了,就连说Universal 2 的支持,设计语言的改进这种更新对RN / Flutter这种社区都是挑战。 每一次大的平台更新都会造成一波跨平台框架的不稳定,若遇上设计语言的更新,还可能造成视觉上的割裂。

App Clips也拥有 Native SDK,激活方式多样,NFC/Code都可以,十分期待普及以后的效果,当然希望它的地推和微信或者支付宝合作一下吧…否则又可能变成有生之年系列了。

AirPods 下了一盘大棋

AirPods匹配多个设备,自动切换声音session的优化,非常贴心!让原本就很好的体验更进一步的自动化。

TV+配合 AirPods 声场支持应该是极香的了,不知道其他平台的App能否支持。如果可以的话,用Apple TV看视频配合AirPods看视频体验可以预想会是很棒了。如果真的可以实现比较好的5.1/7.1这样的声音位置模拟,那么AirPods同时也是为AR眼镜这类的设备埋下了伏笔。

Apple Silicon!

虽然没用One More Thing的梗来介绍这个重磅消息,但这个改变的确配得上One More Thing级别了。

Apple Silicon的晶元速度不好说、毕竟Apple从来也不鼓励用跑分来表现性能优异,只会强调一些真实场景下的使用体验(看!多流畅!类似这样)但这里对Apple的硬体更新策略非常感慨。

换CPU架构对App生态影响很大,这是显而易见的。但 Mac 使用 Apple 自家晶元的三板斧的过渡方案也相当稳妥,Universal 2 / Rosetta 2 / 虚拟机,配合2年架构过渡期,现在就提供新架构的开发设备支持计划。不愧是经历过PowerPC 到Intel架构公司,历史经验丰富,一点没剩下,能用的都用了。这个方案可以最大程度上的leverage已有的iOS App生态和开发者,也让尚未更新的App依然可以工作。

是不是看上去很自然?但对比一下一些AI晶元厂的发布消息,只提晶元跑分优异,对开发者资源的支持既不公开也不及时的做法,你会发现这是多么稳扎稳打的方案,既考虑到了已有App,又考虑到了新增App,还提供了相关所需要的支持。

顺便值得一提的是Big Sur的设计语言的变化,我首先想到的担忧就是Catalyst是不是用不了了。但接著发布会就著重提到了Catalyst不仅可以用,还同步支持了新的feature以及新的UI,顾头顾尾,十分佩服。

AI能做什么?AI都要把数据交给伺服器么?

最近两年的总会讨论的议题之一,就是AI都能够做什么?AI都需要把数据交给伺服器么?今年的WWDC又一次的回答了这个问题。

基于On-Device AI实现的功能就已经可以很好的解决一些问题了。一个小案例,Apple pencil的scribble功能。Apple Pencil 双击手写文字选中单行,手画图案后长按变规则几何形状的交互,应该是最近见到的技术和交互结合的最好的案例了。任意可输入位置均可手写中英文自动识别其实也是很多手写识别公司想做但做不好的体验。

还有一个小例子,全平台Translate 支持。文字语音都支持,支持iOS /Apple Watch/ mac 还有Safari插件,令人十分期待。(翻译效果比较见文章末尾)

关于发布会本身

Apple不愧是视频大厂,第一届云开发者春晚2020 WWDC的视频制作精良,节奏内容的把控也很好,还有优质的本地化的字幕支持,效果非常服气。视频里的每个主题的转场,基本上带著观众云参观了一下Apple园区,视频的展现没有被以往现场发布会的固有形式所局限,应该是目前云发布会里见到的最高质量的了。


补充一下目前Translate的效果, 这里与最近很火的DeepL进行比较。

今天天气不错挺风和日丽的

Apple: Its a nice and sunny day.DeepL: Its a beautiful day. Its a beautiful sunny day.

我们下午没有课这的确挺爽的

Apple: We dont have classes in the afternoon. Its really cool.DeepL: We dont have classes in the afternoon, which is pretty cool.

吃葡萄不吐葡萄皮儿

Apple: Eat grapes. No, vomit grape skin.DeepL: lit. eat grapes but not spit out the skin.吃葡萄不吐葡萄皮Apple: Eat grapes without spitting the grape skin.DeepL: lit. eat grapes without spitting out the skin今天索尼倒闭了吗?

Apple: Is Sony closed today?

DeepL: Did Sony go out of business today?

滚滚长江东逝水

Apple: The Yangtze River flows eastward.DeepL: rolling rivers flowing eastward

凡人之躯,比肩神明

Apple: A mortal body is divine.DeepL: A mortals body is as good as a gods.

我从未见过如此厚颜无耻之人

Apple: Ive never seen such a shameless man.

DeepL: Ive never seen such impudence in my life.

测试过程中发现,iOS 14上粘贴有提示了,有一些App是会监听粘贴板的,就会比较尴尬,每次切换App的时候,都会提示一下,类似的功能在各种提供了复制内容打开App自动跳转的App上都会有。

iOS 14上具有粘贴板监听的App会出现这样的提示

从 iOS 和 Mac 开发者角度来谈谈几个我关注的点。

部分小标题里我会附上几个相关链接,若你感兴趣可以点击阅读。

先纠正个误解,开发者大会不只是这个视频,而是接下来一周的 100 多个视频。

第二个重要视频内容 Platforms State of the Union 已更新。

所有平台的开发者测试版我装好了,一些实际体验后的想法放在文末了。

约了几个关于 AR ,ARM Mac 和 PencilKit 的一对一问答。这里不能分享我的提问和苹果工程师的回答,但可以说下 WWDC 视频里已经谈到的几个点,还有我的一点想法。USDZ 格式目前的导出工作流比较完善了,不够第三方软体的直接支持还需要一点时间,取决于相应软体自己的开发规划,对于不支持的格式转化格式比较推荐 GLTF,目前的 Reality Converter 转化已经比较让人满意了;PencilKit 这边稍微有点失望,目前许多 API 仍未开放,开发者想要更深度的定制 PencilKit 的界面或者功能仍然十分困难;Mac Catalyst 这边仍是接下来几年针对 Mac 的推荐移植方式,未来的 iOS 应用会直接以完全未修改的方式跑在 Mac 上,开发者想要定制的话还是得走 Catalyst 这条路,早开始的话好一些。

Xcode 12 支持跨平台编译

目前所有开发者版本已放出,预计和下午的 Platform of Union 一起更新。Xcode 12 支持新的应用创建 iOS,iPadOS,macOS 全平台应用。配合 Mac 版 ARM 的更新,苹果全平台彻底打通。

Mac 会支持所有 iOS 应用

对,你听得没错,以后所有的 iPhone 和 iPad 应用都可以跨平台直接跑在 ARM 版本的 Mac 上了,无需重新编译。实际上这就是这一次 Mac 迁移的重点。这里面的优势是 Intel 晶元无论如何也没办法具备的,也是很多人之前看不到的,是自然而来的所有应用的支持。

Linux 架构的创始人说到,开发和编译的设备的最优解是同架构运行。也就是说,为 iOS 开发的最佳设备,是与其架构相同的 ARM 电脑。那么之前为什么不这么做呢?是因为当时的 ARM 晶元性能还没发展到与英特尔抗衡的程度,现在时候到了,当然是原生的开发机器最适合。

王禹效 Legolas:iPad Pro 上的教育,创意与专业应用推荐?

zhuanlan.zhihu.com图标

未来,你会在 ARM 的电脑上看到所有 iOS 的应用,但在 Intel 的机器上就没办法运行。嗯,也就是现在所有的 Mac 都不行,这个支持没办法倒过来。

Mac 全新设计

苹果已经在 iOS 上使用了几年的「材料」设计终于全部应用在 Mac 平台了,就是大家看到的那层半透明磨砂效果。下图我在我的应用中用了这层材质,这就是新 Mac 设计上边栏的材质,有助于用户在专注于内容的同时不失去对被其压住内容的感知。

你可以关注一下顶部的边栏,可以看到我所说的材质特效。最有趣的是 Craig 的这台展示用 Mac Pro 跑的就是 iPad Pro 上那颗 A12Z 晶元。确实就是年底更新的 iMac 的前瞻了。

ARM 版本的 Mac

我之前在使用 Catalyst 来移植 iPad 应用到 Mac 上。在 WWDC 开始之前,我说很次的翻译器会保证开始时可以使用全部应用,很多人不相信。其实逻辑很直接,苹果自家的许多应用早在去年就已经迁移到 SwiftUI,而 SwiftUI 是跨平台描述性界面语言,因此之前有的苹果应用只需要自己重兴给 Mac 编译一次,或者直接跑 iPad 版就行,连编译都不需要。

Windows 搞出来的 WOW64 兼容层已经可以满足 x86 的应用运行,没理由苹果不能给出相似的答案。在图形层,苹果摒弃了 OpenGL 换用自家的跨平台 Metal 框架,已经过了许多年。今天苹果在 WWDC 上给出了自家应用的答案,比如 Final Cut Pro X,又完成了所有自家应用的原生 ARM 移植,便是告诉世人我们已经搞定了。

王禹效 Legolas:ARM, AMD,英特尔」硬体科普及我见的未来?

zhuanlan.zhihu.com图标

刚刚发布的 Developer Kit 用的是 A12Z,年底发布的 iMac ARM 版预计会采用新的 A14Z 晶元,要放到年底估计是因为 5 纳米的产能目前必须先留给 iPhone。而每一代新的 A 晶元一般要由 iPhone 先发。对很多用苹果框架的开发者来说,苹果说的 Universal 2 指的是开发者用将文件架构也编译给 ARM 一份。比如你看下图中,我现在编译的应用写的是 Intel 64-bit,今天下午发布的 Xcode 14 应该就可以编译到 Mac ARM 版本了。

iOS 14 快速触发

关于 iOS 14,有几个点值得一说。第一个是应用快速触发,这允许用户不下载应用,既可以快速使用很多应用的功能。对于开发者来说,需要设计一个新的界面,支持快速下载著一个小区域以便用户快速用到。

这是个非常实用的功能,方便了用户和开发者。许多新的开发者会遇到的问题是自己的应用用户根本看不到,有了这个东西,至少保证了一些便民的应用可以更容易的被大家发现。对于我这种不喜欢装许多应用的人,也不必担心在装一堆垃圾应用。但是关于这个快速触发的应用,怎么保存是我比较关注的点。

比如这次下载后,下次使用快捷应用还需要再次下载吗?这些东西应该会在下午面向开发者的 State of Union 上详解。我会持续关注这一点,未来的应用中也会带来对快速触发的支持,很有意思。(更新:快速触发已经出发后可在接下来的 8 小时内推送消息。)

iPhone 上的 U1 晶元

很多时候,大家会发现苹果往设备里塞进去一些看起来暂时没用的晶元,其实都会有用。比如前几天 iPad Pro 塞进去的那颗雷达感测器。今天我在 WWDC 上就看到了新的 DepthKit 开发者套件。与之同理,这次的空间感知 U1 晶元被用在了作为车钥匙的手机位置感知上面。这很重要,因为现有的技术在判断距离上都不够完美,比如蓝牙并不能明确告知你距离车的距离,只能有个大概范围。这样的话其实用在解锁车辆上十分危险,我开的车之前就因为自动落锁判断距离过远而被偷窃。

因此苹果用这颗 U1 晶元解决了目前对距离和行为判断不够精确的问题。未来还可能在 AirTag 上有更近一步的应用。

A 系列晶元机器学习发力

苹果在今天发布了这个翻译应用,很多人可能觉得比较无聊抢别人的生意。其实这是个非常厉害的软体。在这次发布之前,我曾考虑过做一个离线语言识别的工具,用来识别课程上的文字内容。之前的结果一直不满意,在线版本会侵犯用户的隐私,离线版本识别效率太差。

这回苹果终于把支持机器学习的识别演算法拿出来,做了这么个翻译应用,是在保护隐私的基础上更进一步开发机器学习的又一个重要板块。大家可能没注意,谷歌今年年初也拿出来了个类似的离线翻译器,苹果这次终于在离线语音识别上跟上了。

王禹效 Legolas:DEEPL:来自未来的优质翻译器?

zhuanlan.zhihu.com图标

未来值得关注的是这个翻译 API 是否会放出,以及翻译 API 是否会采用机器学习的演算法。目前市面上翻译效果最优的便是有充足语言资料库的 DeepL,很期待苹果这次全新翻译 API 的表现,测试结果会在文末实机测试里更新。

Safari 和应用追踪器的明示

保护隐私的理想状态便是离线处理。对于 Safari 来说想做到这一点不现实,那么有没有别的办法呢?就是告知用户自己都在被谁追踪。其实很多用户非常纳闷的问题就是,我明明没用某个软体,为什么我的信息还是被泄漏了?关于应用如何泄露隐私,我在这里回答过。

iOS 是不是能比安卓更能保护隐私??

www.zhihu.com图标

其实这和广告联盟有关。你的隐私不只被一家公司售卖,更可能同时被多家公司售卖。这次苹果展示用的网站上就有十几个信息追踪器,比如亚马逊的广告平台,谷歌的广告平台等。明示之后,用户自己心里有数,信息被各方窃听。

iPad 越来越像 Mac

你看这次全新设计的全局搜索,像不像 Mac 上的 Spotlight 搜索框架?像就对了,苹果这次把文件的索引估计全部更新在 iPad 上了。以后用 Spotlight MetaDataQuery 框架的应用内容应该都能被搜索到,会是个非常方便的功能,也是在 iPad 上文件索引的进一步提升。

Pencil 手绘文字离线识别

目前手写应用比如 Notability 支持的手写识别用的都是联网识别方案,这样的好处是非常准确,缺点也明显,你的隐私从你识别的那一刹那就不是你的了,因为上传到别人的伺服器里去了。这次的苹果自家 PencilKit 的识别不出意外是苹果自己训练好的离线识别机器学习模型,很期待其识别的准确度。

王禹效 Legolas:「书空 」iPad 上无限画布的简约手写笔记 (之前用 Notability, Goodnotes)?

zhuanlan.zhihu.com图标

而且配合 TextField 文字书写的 Scribble 功能,保证了体验的一致性。我也会在我的应用书空中第一时间更新这个新的识别功能。

Watch 上的个性表盘

手表方面,今年 WWDC 上著重展示的自定义表盘很有意思,第一次允许开发者直接动用户直接看到的表面屏幕。而且这次开发者大会上宣布允许开发者使用 SwiftUI 开定义这个部分,那以后大家会看到许多自定义的全新表盘内容,毕竟开发者这里的许可权放宽松了。以后我也会开发支持自定义表盘的应用,很期待,新应用准备采用全新的 Combine 框架。

王禹效 Legolas:Apple Watch 实用性指南?

zhuanlan.zhihu.com图标

Platforms State of the Union 更新

首先是 Find My 加入了对第三方设备的支持,以后你不但可以在这里找到自己的苹果设备,也可以寻找其它厂商的支持设备。

我看到有人在问 iOS 和 macOS 是什么关系,以后是不是 iPad 可以跑 macOS。我觉得下面这张图可能给你解答,iOS 和 macOS 底层,图形层,内核层都是一个东西。现在可以跑在不同的硬体架构上,因此不存在 Mac 跑在 iPad 的问题,它们本质上是一个东西。最上层的显示层不同罢了,而这两个设备有不同的现实需求,所以不可能移植 Mac 到 iPad。这次 macOS 11 的关注重点也是提升 Mac 和 iPad 视觉和体验上的一致性。

关于为什么要换 ARM,这颗晶元有众多特有的控制器,能在未来进一步扩展 Mac 的使用场景。比如更好的封装技术,安全晶元集成,更高效的 DRAM 和 GPU。

关于 Mac 11 Big Sur。大家可能关注它应用运行的方式,大致如下。苹果自家全部应用包括专业应用已完成 ARM 版编译;第三方原生 AppKit 的应用需开发者重新编译到 Universal Mac;iOS 应用直接原生的跑就可以;虚拟机应用会运行在 Big Sur 给它的虚拟环境中;开发者想要自定义原生 iOS 应用的话需要在 Xcode 打开对 Catalyst 的支持;第三方应用会 Mac 自动用 Rosetta 2 自动翻译到 ARM 版,商店内的应用下载前自动完成翻译,网上下载的应用安装时完成翻译。

关于翻译器的性能方面,这里用的演示是 Unity Rosetta 兼容的版本。在 A12Z 上直接跑的 HDRP(高清渲染管线)的实机测试。要知道这个 HDRP 本身是 Unity 最新且最高清的渲染方式,跑起来没有卡顿感,实在厉害。而且 Unity 的 Graph 也用进去了。翻译层虽然有性能折损,不过它跑这个比我的 Intel 6 核配外置 GPU 跑的感觉差不多。不服不行,折损看样子完全可以接受。即便如此,Unity 一个月以后会发布 ARM 的版本。用 Unity 的人大概已经发现现在默认都是 Metal 渲染了,图形性能可以直接原生指令的性能跑开,即便兼容层也是如此,因此图形性能折损极低。

上面有聊到 Mac 和 iPad 界面观感的统一。比如 iPadOS 也支持了像 Mac 一样的颜色选择菜单。对于喜欢用原生色盘的人有福气了,希望很快也能看到 Sketch 的 iPad Pro 版本。

上文说到的 DepthKit,也就是那个雷达感测器又多了几个演示。现在 ARKit 不但支持分析物品类别,还增加了完整的深度数据反馈,对于专业 3D 应用,需要生成深度地图,都不是事了。物品间的位置关系也可以做到,比如你的 AR 物件可以藏在现实存在的椅子背后,用深度数据就可以判断遮挡关系。

这次的更新讲了很多关于 SwiftUI 和 Mac 及 iPad 侧边栏的应用。这次 iPad 侧边栏支持第三级左边侧滑呼出,以后会成为常态。得益于 SwiftUI ViewBuilder 的应用,以后大家会在第三方应用中看到更复杂的界面排版。

苹果自家应用现已几乎全部迁移到 Catalyst 上面。左侧边栏将支持在 Plist 中对颜色的描述。边栏图标也受益于 SF Symbol 得以自定义大小。发布会上说 SF Symbol 会在侧边栏中得到更广泛的应用。

关于全平台上新的小工具。为保证这些工具的显示不干扰主界面的稳定,且保证其最佳流畅度。这次主屏上的小工具采用最新的 SwiftUI View, 组合成一个 Archived View,最后交给显卡完成非同步渲染。

设备实测

刚刚所有有设备更新完,晚点我来详细谈谈变化。我留了 Mac 更新前后的两张截图,大家可以对比看看,明显感知的是这次图标全部 iOS 的圆角化了。你可能会有点好奇为什么 Pages 文稿之类的图标没变。像 FCPX,iWork 这些软体都会在 Big Sur 九月份正式版发布后更新。

  • 更新前 Catalina:

  • 更新后 Big Sur:

这次更新我个人最期待的就是 Safari 在隐私保护方面的进一步提升。测试了下,用 Safari 打开这个问答网站,发现它原来是谷歌广告联盟的成员,难怪总给我推荐最近搜索的内容,有内鬼。生气。

新的材质毛玻璃特效很好看,Safari 整体观感又上了一个台阶,翻译效果也还行。说到翻译,我又用 iOS 14 的 iPhone 仔细测试了几段话。断开网这个苹果的翻译就中断了,飞行模式也不行,但是允许用户下载本地翻译。几个结论:1. 在线版翻译结果和谷歌翻译差不多,和 DeepL 差得很远。2. 离线版翻译效果更差一些。3. 苹果没有放出这个翻译的开发者 API,估计是还不甚满意。

Mac 这会的新界面设计很干净,上边栏按钮设计有种 Fedora OS 的即视感。信息中心彻底重新设计,整个系统都大幅去除了背景底色。所以这些通知看起来像悬浮著的,个人蛮喜欢新设计的。Mac 的声音也重新设计了,很有趣。扔垃圾,确认,拖动的声音都是新的。

刚刚下楼去试了一下 CarPlay,果然如苹果所说,就增加了个壁纸的选择,大概是这样的。其他的按钮我都点了一遍,好像没什么新功能了。

刚好在在北美,苹果今年说这边地图更新成高清地图了,效果大概是这样。看起来细节还不错,就是不知道准确度提高了没有。这个导航之前老坑人,确实有几次导航去了不知名的断路上。

与开发者有关的内容

下面这张图是今年给开发者 WWDC 2020 更新的框架内容。主要关注点是 Catalyst 将 iOS 应用更完善的移植到 Mac 上;开发者工具 Xcode 功能提升与新设计(比如个人很喜欢的双击打开新选项卡);SwiftUI 跨平台 UI 框架的进步;新的悬浮窗组建 Widgets;ML 机器学习框架的提升;ARKit 4 和 RealityKit 为 2022 年发布的眼镜做准备;Swift Package Manager 的素材文件打包;AirPods 新的位置框架等。

Xcode 12 的全平台开发包居然去掉了 AppDegelate, SceneDelegate 和 LaunchStorybord。直接改成 @main 为程序的入口了,方便太多。这会终于是 SwiftUI 的完全体,而不是 UIHostingViewController 了。新的设计如下,很简洁,标签页也比之前好用很多了。

今年的课程表放出来了,看起来接下来的 4 天每天早上 PDT 10 点会放出二三十节课,选几个我比较感兴趣的聊一聊。首先是 SF Symbol,这是苹果给大家用的图标库,集成起来非常方便,大家会在侧边栏里看到许多这些图标。它终于出第二代了,带了许多的彩色图标。之前一直觉得一代的图标有些不够用,哈哈哈,看到这个更新非常开心。

这个也值得一说,新的视觉框架要更新了。VisionKit 是为了机器学习准备的框架,好像人的眼镜一样,主要负责各种识别的功能。这次的框架更新是为了检测身体和手的姿势,意图很明显了,是帮助开发者准备即将到来的 AR 眼镜开发。

关于 CollectionView 除了一些列视频我到是有点惊讶。本来看 Union 视频的结尾讨论到 SwiftUI 新增的 lazyView 可以渲染多数据,配合 switch 语法我还以为 CollectionView 以后要靠自己了,这次更新很多关于它的视频有点意外,明天看看再说。

有一堆关于新的关于应用快速触发的视频,这个不意外。这估计是 iOS 14 开发者升级自己应用的重头戏。毕竟有这么好的宣传机会不能放过,大概会有很多停车场的,饭馆的应用会用上这个。

关于 PencilKit 的笔迹识别放开了,这个新的 PKStroke 允许想我样用自家笔迹框架的开发者可以更自由的定义笔划,我猜测是这样。具体得看明天的视频,很期待。当然与此相对应的还有一堆关于 Scribble 和 PencilKit 的视频。

之前有人好奇这个 U1 晶元开发者怎么才能用到。这不视频就来了,这个新的近距离互动框架负责空降感知,可以检测多个设备的相对位置等。

看样子苹果是不打算继续用 AMD 的 GPU 了。这回的迁移视屏里已经去掉了 AMD GPU。还有一点有趣的事情是 metalDevice 获取的苹果 GPU 性能方面归属于独立 GPU,看来苹果这次是要对标 Navi 系列的性能了,有点意思。

(这篇问答有点长编辑不便,本小节内容移到下面的回答里继续更新。)

作为开发者或程序员,WWDC 20 有哪些技术是你关注的,有哪些发现或实践??

www.zhihu.com图标

关于苹果设备及软体开发

今天苹果的 WWDC 中聊到了未来还会发布部分采用英特尔晶元的产品。估计有人会关注MBP 未来的发展趋势如何。我在这篇回答中讨论了我对外接独立显卡和 GPU 发展的预估。

如何评价 MacBook Pro 16 寸新增的 Radeon Pro 5600M 独立显卡选配项??

www.zhihu.com图标

对于独立显卡本身感兴趣的,可以看我的这篇科普:

Windows / Mac 外接显卡盒子科普及选购指南 - 王禹效?

sspai.com图标

关于 iMac 采用 ARM 晶元的原因,为什么单核性能很重要,我在这篇回答讨论过过了。

如何评价苹果将在 WWDC 2020 上发布 iPad Pro 风格的窄边框 iMac??

www.zhihu.com图标

关于 AirPods Studio 和立体声场,我的看法是它是给 Studio 耳机铺路用的,用在 Pro 上首发。其实 Pro 并不是最适合立体声场的设备,Studio 耳机会和去掉耳机口的新一代 Mac 一起发布。

如何评价苹果新发布的 AirPods Studio??

www.zhihu.com图标

关于苹果的设计和 iPadOS 对游标的支持,我在这里讨论过。

为什么很多存在的技术/设计一旦Apple来做就会做到前所未有的体验和热度??

www.zhihu.com图标

关于 Catalyst 移植的现状及开发者体验,我在这篇回答里分析过。

wwdc 2019上苹果发布的project catalyst,开发者使用之后感觉怎么样??

www.zhihu.com图标

关于 Apple Pencil 如何识别笔点位置的,这里回答过。

Apple Pencil 的原理是什么??

www.zhihu.com图标

对苹果 A12 处理器和显卡进度感兴趣的,我在这里有回答。

苹果 A12Z 大概与哪款桌面级处理器及显卡性能相当??

www.zhihu.com图标

对于这次开发者大会的框架更新,我在这里谈论过期待。

苹果首次线上举办的 WWDC2020 开发者大会将于 6 月 22 日举办,有哪些值得期待的地方??

www.zhihu.com图标

关于独立开发,我写过我的开发流程。

转行程序员已3年,现却不想干了,我该怎么办??

www.zhihu.com图标

对于对 Swift 感兴趣,或者对 iOS 开发感兴趣的人,我写过入门流程。

现在(2019)入门iOS开发学Swift还是objective-c??

www.zhihu.com图标

(本文边写边保存,会在我看完新的 WWDC 视频后更新。本次 WWDC 2020 持续一周,预计会有 100 个以上针对开发者的新视频。)

书空 iPadOS 14 实机演示。王禹效 Legolas的视频 · 1.1 万播放书空 - 无限画布的手写笔记?

apps.apple.com

如果你想叫我写适用于未来五年的 iOS 教程,可以加我的微信:caryota 并注明 iOS 教程。我会把你拉到一个群里,需求的人多的话我就会系统性的出个教程,带你入门到把应用上架,并对应用上架后的宣传等做出讲解。


来谈谈从 macOS 11 的设计指向的未来

(多图预警)

/ 惊鸿一瞥

像OS X Yosemite 一样,macOS Big Sur再一次重新定义来深度,阴影和透明度,和隔壁Microsoft的Fluent design system 一样从毛玻璃推上了更偏向亚克力材料的质感。

而悬浮游标点亮按钮轮廓则是一个非常苹果的细节处理(同Apple TV和iPadOS)

/ Neumorphism 「拟态化设计」

四年前我在申请WWDC scholarship的时候写了个魔方计时器App,对这一介于扁平和拟物之间的设计语言进行了深度探索,也看到了其极大的局限性。

四年前探索的 Neumorphism Swift App

如果说Pre-iOS7的 Skeuomorphism 「拟物化」是将一切现实工业设计纹理材质搬到屏幕时以减轻认知压力,Post-iOS7的扁平化设计则是「化繁为序」减少获取信息所需要的精力。

而Neumorphism 「拟态化」则是通过柔和的光影,在屏幕上表现极简而拟真的工业设计品。

比如说这个Teenage Engineering 的 Op-1 合成器

之前iOS上有这种改变的趋向,再比如备忘录里的工具

苹果在macOS上非常克制的implementation —— 柔和的阴影和材质只存在于按钮和滑轨以及少数需要表现层级的top bar —— 这样做不会是用户产生严重的不适感。

/ 图标与圆角矩形

这次统一用上了iOS式圆角矩形图标,所有App窗口也做了同样的修改。这意味著配备Liquid Retina 屏幕的Arm Mac不远了。 当然这样设计也为直接运行iOS程序打通了屏障。

而在保留 mac icon 细腻的风格的同时,使用了越过 Neumorphism 简洁而真实的质感与阴影。

这种处理使我想起 Guglieri 做的一组 苹果 glassOS Starboard 图标概念设计.

这样的设计语言,和隔壁M$的 Fluent Design System 的目标指向完全一致—— 立体的交互界面设计,在3维空间内是更合理,更符合直觉的存在。

/ 音效设计

音效设计真的不是个小事儿,而绝大多数时候人们都意识不到。每一个细节都在塑造整个体验。这次苹果的音效设计团队把系统音效重新处理了,从keynote的音效就能看得出来,实际系统应该会有一个焕然一新的感觉。

(待补充)

/ Fluent Design System

隔壁微软早在2017年就发布了服务于「universal windows platform」的 Fluent Design System, 发布的当天使我眼前一亮,沉迷于其中无法自拔。而在之后缓慢的更新到微软的各种App上,每个更新都有著名动画公司Tendril 做各种酷炫动画,尽管实际的App并没有这么酷。

Fluent Design System的5大核心理念,Light「光影」,Depth「纵深」Motion「动态」,Material「材质」,Scale「尺度」

不仅和 Neumorphism 「拟态化」有著奇妙的联系,这些都指向了混合现实领域的应用。而未来,交互是不局限于传统意义上的屏幕的。

/ 回到 Mac 本身

这次设计语言大改就意味著会有很多细节处理不到位,不同App的设计不够和谐统一。这倒也不是什么大问题,毕竟过去几年macOS一直是这样。 此外,指望用一种设计手法解决所有问题是不现实的,总会有新的需求需要考虑,而去完善这些设计需要大量的时间。苹果从iOS7的大变革迭代到了iOS11 才有了成熟的设计,而 macOS11 则是又一个这样的起点。

引用现任苹果 Human interface design VP Alan Dye 的话, 「Mac is the tool we use to create products that we put out into the world, and macOS Big Sur is where it starts.」


讲点我熟悉的,也是我看到很多人讨论和期待的关于AirPods Pro的空间音频问题。

作为一个有著80多年专业声场调音经验,熟悉房间声学、多声道音频系统声场调节,熟悉Logic7与QLS等环绕演算法(别问,反正牛X就是了),曾经被苹果叫去面试过N次的家境贫寒的答主,简单的谈谈我个人对此的看法。

设备间无缝切换就不提了,这个主要是传输协议的问题。这里重点聊一下空间音频。

首先说我对此事的看法,AirPods Pro即将更新的「空间音频」技术可以做到行业内的顶尖水准(杜比、雅马哈等),但是很难突破现有消费类耳机虚拟声场行业技术的天花板,或者说与真正的现实声场依旧会有不小的差距。

原因很简单,AirPods Pro的硬体还不够强大。

在解释这个原因之前我想先再重复一下两个基础的概念。

一 什么是声场(空间印象)?或者说什么是声源定位?

我们平时所说的「声场」更多时候是人们对声音空间感知的集合。大体上可以分为宽度、纵深感、空间感、方向感和包围感。而这些指标中的大部分均可以有心理声学中的一些基本概念所描述。

现实生活中,我们所听到声音是存在方向和距离的,并且声源本身也是存在宽度的而非理想的点。不同的方向、距离、宽度的声音共同组成了我们所听到声音的声源定位。

从图中我们可以看出,乐队和听众均位于一间房间中,歌手通常在听众的正前方,乐队中有多种乐器分别位于歌手的左右。
https://zhuanlan.zhihu.com/p/45289227?

zhuanlan.zhihu.com图标

二 哪些因素会影响我们在现实世界中对声音空间印象的判断?

我只以图中的鼓为例。鼓是一种膜鸣乐器,如下图所示,当鼓手敲击鼓时,鼓所发出的声音会向360度空间均匀传播。

尽管鼓的声音向四面八方传播,但最先到达我们耳朵的声音是由鼓和人耳的连线这一方向传播的(两点之间直线最短)。在声学中称为直达声。

与此同时,向其他方向传播的声音会经过一次反射后,在直达声到达人耳后相继到达人耳。这些声音的总和在声学中称为早期反射声。

但还有很多声音会经过多次反射才到达人耳。这些声音的总和,也就是能够传播到人耳的所有声音减去直达声和早期反射声被称为混响。而早期反射声和混响的总和被称之为反射声。

当鼓手敲击鼓时,我们首先听到的是直达声,紧接著是单次反射声,之后便是多次反射声,且反射的次数越多。

我们之所以会感觉这场流行音乐表演是在一个房间内进行而不是露天表演也不是在音乐厅里的原因在于人的听觉系统可以感知到我们所处的房间大小。而人的这种感知能力取决于反射声

而我们之所以听到鼓在我们的左前方,除了分别传达到我们左右耳的直达声的强度差与时间差(相位差)意外,还与鼓所产生的直达声入射角度和早期反射声入射角度有关,即耳廓效应

人对音乐的空间印象(声场)不只取决于直达声、早期反射声和混响三者的能量和时间,也与直达声、早期反射声和混响到达人耳时的入射角度。或者更通俗的讲,是我们耳膜最终接受到的声音,这个声音实际上会受到人头以及躯干等的滤波,并且通常会随著我们人头的位置变化而变化。

https://zhuanlan.zhihu.com/p/62812939?

zhuanlan.zhihu.com图标

简而言之,正是基于人耳的听觉特性,耳机虚拟现实世界的声场(空间印象)需要模拟左右耳的声音差异,并且还要模拟反射声以及反射声在左右耳的差异,而且还要做到跟随人头变化而实时计算。

然而,我们现实所生活的世界是空间是连续的,反射声存在无数路径和可能性,每个人的人头传递函数不尽相同,人头位置和角度也是在不规则的实时变化。

AirPods Pro本身并没有足够捕捉具体听音者HRTF的感测器(除非苹果也采用类似于索尼的拍耳朵照片的方法,但即便如此仍然很难精确测量)。对于人耳听觉的动态因素,AirPods Pro虽然有陀螺仪等感测器,但实际表现仍然有待商榷。

而问题的关键可能还是真实环境中的实际反射过于复杂,并且每一条给定的反射声还要结合人头的实时位置和角度计算经过HRTF之后的声音,而这一过程又是不断变化的。实时处理这些数据需要巨大的计算量,而且计算量会随著精度成几何级增长。

这里举个例子,之前看到有人把类似的声音反射计算类比成老黄显卡的光线追踪技术。这确实有点像,而光线追踪就需要很强大的计算能力。即便如此,目前一些效果表现较好的光追游戏和现实世界的光照还是存在著很大差别的吧。

AirPods Pro本身晶元的计算能力对于想要真正模拟现实世界声音反射的计算量来说应该是杯水车薪,就算是苹果手机的晶元能否实时计算可能都是一个未知数。比如说很基础的,让声音听起来是前方一定距离发出的。这样基础的方向感和距离感能否做好。

前一个勇于开拓创新的是杜比耳机,但是杜比耳机的声源定位表现在真正的7.1家庭影院面前是那么的苍白无力,甚至有时和一些简单的2.0音箱系统相比都有不小差距。更别说数十声道的参考听音实验室亦或是现实世界的声场。

https://zhuanlan.zhihu.com/p/68626474?

zhuanlan.zhihu.com图标

空间音频除了声源定位以外,其实也包括混响所营造的空间感以及与LEV相关的环绕感。AirPods能否还原这些我持怀疑态度。验证空间感这一点其实也非常简单,拿著耳机去电影院对比感受一下就可以了。

所以我的观点是,可以做到行业一流,但是很难突破行业瓶颈(当然,也希望苹果打我脸)。

不过话说回来,只要有一定的效果而且是免费的,我们何乐而不为呢?


看看人家苹果,不仅给开发者铺路,还把饭送到嘴边。

再看看微软,不仅要开发者给他铺路,没铺完就把人饭碗砸了,

甚至还抄起了大砍刀。。。


推荐阅读:
相关文章