如何評價 2020 蘋果全球開發者大會（WWDC20）？有哪些驚喜或者遺憾？
6 月 23 日凌晨 1 點，蘋果 WWDC20 開發者大會將在線上以主題演講的方式，在 Apple Park 進行直播。本次預計蘋果將發布 iOS 14、iPadOS 14、watchOS 7、macOS 10.16、tvOS 14 等 OS 全家桶，另外還消息稱，本次發布會還將帶來新的 iMac、ARM 款 MacBook、AirPods Studio、AirTags 追蹤器等，具體我們拭目以待。
對於本次發布會，你認為有哪些驚喜或遺憾？
小更一下
- Translate App效果測試增加到文章末尾
- iOS 14增加了粘貼提示
- 關於跨平台框架的問題
談不上噩耗那麼嚴重，跨平台框架團隊其實從day0就知道這件事情，這是一趟夸父追日的旅程。每家使用跨平台框架的開發商對自己的App的預期不一致，在團隊的人員技術棧上的成本評估也不一致。你看微信，阿里系的團隊每次發布會之後，甚至發布會之前就已經在嘗試新的技術了，但他們同樣使用了跨平台技術，RN/Weex/Flutter都有，但App的複雜程度是不言而喻的。
能做到什麼程度完全和團隊本身的技術能力有關，也和各自的業務緊密相關。對小團隊選擇單一平台的是比較大的挑戰，他們會更依賴社區的成果，在團隊人員的技術棧上一般也存在一些短板，所以相對被動。
選擇跨平台框架的時候要考慮到這些局限，也要看到框架的優勢。如果Flutter今年再精進點，從框架底層考慮一些與原生框架升級結合的可能，那也不是完全不能，只是這種追趕的賽跑會一直存在。（https://github.com/flutter/flutter/wiki/Roadmap 可惜從Roadmap上看，在iOS上沒有什麼特別的計劃，甚至在macOS的UI框架支持上還會更少一些）
之前SwiftUI不是一等公民的時候，大家邊用邊吐槽SwiftUI的各種問題，跨平台框架的角度就很少有基於它去實現UI框架的。但目前來看SwiftUI幾乎是下一代Apple全平台融合的首選框架了，應該會有跨平台生態圈會對SwiftUI進行重新的審視。
久違的暢快感，作為 Mac/iOS 平台的開發者，這樣一場信息密度大到溢出屏幕的發布會，無疑是一份盛宴。
不贅述發布會內容了，只說說感受。
Native App 一等公民
面對iOS 14這種升級，跨平台framework想追，且要花費大功夫了，各種系統平台的大feature和旁系平台（App clips，App widgets，Apple Watch/ Apple TV）的支持跟進就不說了，就連說Universal 2 的支持，設計語言的改進這種更新對RN / Flutter這種社區都是挑戰。 每一次大的平台更新都會造成一波跨平台框架的不穩定，若遇上設計語言的更新，還可能造成視覺上的割裂。
App Clips也擁有 Native SDK，激活方式多樣，NFC/Code都可以，十分期待普及以後的效果，當然希望它的地推和微信或者支付寶合作一下吧…否則又可能變成有生之年系列了。
AirPods 下了一盤大棋
AirPods匹配多個設備，自動切換聲音session的優化，非常貼心！讓原本就很好的體驗更進一步的自動化。
TV+配合 AirPods 聲場支持應該是極香的了，不知道其他平台的App能否支持。如果可以的話，用Apple TV看視頻配合AirPods看視頻體驗可以預想會是很棒了。如果真的可以實現比較好的5.1/7.1這樣的聲音位置模擬，那麼AirPods同時也是為AR眼鏡這類的設備埋下了伏筆。
Apple Silicon！
雖然沒用One More Thing的梗來介紹這個重磅消息，但這個改變的確配得上One More Thing級別了。
Apple Silicon的晶元速度不好說、畢竟Apple從來也不鼓勵用跑分來表現性能優異，只會強調一些真實場景下的使用體驗（看！多流暢！類似這樣）但這裡對Apple的硬體更新策略非常感慨。
換CPU架構對App生態影響很大，這是顯而易見的。但 Mac 使用 Apple 自家晶元的三板斧的過渡方案也相當穩妥，Universal 2 / Rosetta 2 / 虛擬機，配合2年架構過渡期，現在就提供新架構的開發設備支持計劃。不愧是經歷過PowerPC 到Intel架構公司，歷史經驗豐富，一點沒剩下，能用的都用了。這個方案可以最大程度上的leverage已有的iOS App生態和開發者，也讓尚未更新的App依然可以工作。
是不是看上去很自然？但對比一下一些AI晶元廠的發布消息，只提晶元跑分優異，對開發者資源的支持既不公開也不及時的做法，你會發現這是多麼穩紮穩打的方案，既考慮到了已有App，又考慮到了新增App，還提供了相關所需要的支持。
順便值得一提的是Big Sur的設計語言的變化，我首先想到的擔憂就是Catalyst是不是用不了了。但接著發布會就著重提到了Catalyst不僅可以用，還同步支持了新的feature以及新的UI，顧頭顧尾，十分佩服。
AI能做什麼？AI都要把數據交給伺服器么？
最近兩年的總會討論的議題之一，就是AI都能夠做什麼？AI都需要把數據交給伺服器么？今年的WWDC又一次的回答了這個問題。
基於On-Device AI實現的功能就已經可以很好的解決一些問題了。一個小案例，Apple pencil的scribble功能。Apple Pencil 雙擊手寫文字選中單行，手畫圖案後長按變規則幾何形狀的交互，應該是最近見到的技術和交互結合的最好的案例了。任意可輸入位置均可手寫中英文自動識別其實也是很多手寫識別公司想做但做不好的體驗。
還有一個小例子，全平台Translate 支持。文字語音都支持，支持iOS /Apple Watch/ mac 還有Safari插件，令人十分期待。（翻譯效果比較見文章末尾）
關於發布會本身
Apple不愧是視頻大廠，第一屆雲開發者春晚2020 WWDC的視頻製作精良，節奏內容的把控也很好，還有優質的本地化的字幕支持，效果非常服氣。視頻里的每個主題的轉場，基本上帶著觀眾雲參觀了一下Apple園區，視頻的展現沒有被以往現場發布會的固有形式所局限，應該是目前雲發布會裡見到的最高質量的了。
補充一下目前Translate的效果， 這裡與最近很火的DeepL進行比較。
今天天氣不錯挺風和日麗的
Apple: Its a nice and sunny day.DeepL: Its a beautiful day. Its a beautiful sunny day.我們下午沒有課這的確挺爽的
Apple: We dont have classes in the afternoon. Its really cool.DeepL: We dont have classes in the afternoon, which is pretty cool.吃葡萄不吐葡萄皮兒
Apple: Eat grapes. No, vomit grape skin.DeepL: lit. eat grapes but not spit out the skin.吃葡萄不吐葡萄皮Apple: Eat grapes without spitting the grape skin.DeepL: lit. eat grapes without spitting out the skin今天索尼倒閉了嗎？Apple: Is Sony closed today?
DeepL: Did Sony go out of business today?滾滾長江東逝水
Apple: The Yangtze River flows eastward.DeepL: rolling rivers flowing eastward凡人之軀，比肩神明
Apple: A mortal body is divine.DeepL: A mortals body is as good as a gods.我從未見過如此厚顏無恥之人
Apple: Ive never seen such a shameless man.DeepL: Ive never seen such impudence in my life.
測試過程中發現，iOS 14上粘貼有提示了，有一些App是會監聽粘貼板的，就會比較尷尬，每次切換App的時候，都會提示一下，類似的功能在各種提供了複製內容打開App自動跳轉的App上都會有。
iOS 14上具有粘貼板監聽的App會出現這樣的提示
從 iOS 和 Mac 開發者角度來談談幾個我關注的點。
部分小標題里我會附上幾個相關鏈接，若你感興趣可以點擊閱讀。
先糾正個誤解，開發者大會不只是這個視頻，而是接下來一周的 100 多個視頻。
第二個重要視頻內容 Platforms State of the Union 已更新。
所有平台的開發者測試版我裝好了，一些實際體驗後的想法放在文末了。
約了幾個關於 AR ，ARM Mac 和 PencilKit 的一對一問答。這裡不能分享我的提問和蘋果工程師的回答，但可以說下 WWDC 視頻里已經談到的幾個點，還有我的一點想法。USDZ 格式目前的導出工作流比較完善了，不夠第三方軟體的直接支持還需要一點時間，取決於相應軟體自己的開發規劃，對於不支持的格式轉化格式比較推薦 GLTF，目前的 Reality Converter 轉化已經比較讓人滿意了；PencilKit 這邊稍微有點失望，目前許多 API 仍未開放，開發者想要更深度的定製 PencilKit 的界面或者功能仍然十分困難；Mac Catalyst 這邊仍是接下來幾年針對 Mac 的推薦移植方式，未來的 iOS 應用會直接以完全未修改的方式跑在 Mac 上，開發者想要定製的話還是得走 Catalyst 這條路，早開始的話好一些。
Xcode 12 支持跨平台編譯
目前所有開發者版本已放出，預計和下午的 Platform of Union 一起更新。Xcode 12 支持新的應用創建 iOS，iPadOS，macOS 全平台應用。配合 Mac 版 ARM 的更新，蘋果全平台徹底打通。
Mac 會支持所有 iOS 應用
對，你聽得沒錯，以後所有的 iPhone 和 iPad 應用都可以跨平台直接跑在 ARM 版本的 Mac 上了，無需重新編譯。實際上這就是這一次 Mac 遷移的重點。這裡面的優勢是 Intel 晶元無論如何也沒辦法具備的，也是很多人之前看不到的，是自然而來的所有應用的支持。
Linux 架構的創始人說到，開發和編譯的設備的最優解是同架構運行。也就是說，為 iOS 開發的最佳設備，是與其架構相同的 ARM 電腦。那麼之前為什麼不這麼做呢？是因為當時的 ARM 晶元性能還沒發展到與英特爾抗衡的程度，現在時候到了，當然是原生的開發機器最適合。
王禹效 Legolas：iPad Pro 上的教育，創意與專業應用推薦?zhuanlan.zhihu.com
未來，你會在 ARM 的電腦上看到所有 iOS 的應用，但在 Intel 的機器上就沒辦法運行。嗯，也就是現在所有的 Mac 都不行，這個支持沒辦法倒過來。
Mac 全新設計
蘋果已經在 iOS 上使用了幾年的「材料」設計終於全部應用在 Mac 平台了，就是大家看到的那層半透明磨砂效果。下圖我在我的應用中用了這層材質，這就是新 Mac 設計上邊欄的材質，有助於用戶在專註於內容的同時不失去對被其壓住內容的感知。
你可以關注一下頂部的邊欄，可以看到我所說的材質特效。最有趣的是 Craig 的這台展示用 Mac Pro 跑的就是 iPad Pro 上那顆 A12Z 晶元。確實就是年底更新的 iMac 的前瞻了。
ARM 版本的 Mac
我之前在使用 Catalyst 來移植 iPad 應用到 Mac 上。在 WWDC 開始之前，我說很次的翻譯器會保證開始時可以使用全部應用，很多人不相信。其實邏輯很直接，蘋果自家的許多應用早在去年就已經遷移到 SwiftUI，而 SwiftUI 是跨平台描述性界面語言，因此之前有的蘋果應用只需要自己重興給 Mac 編譯一次，或者直接跑 iPad 版就行，連編譯都不需要。
Windows 搞出來的 WOW64 兼容層已經可以滿足 x86 的應用運行，沒理由蘋果不能給出相似的答案。在圖形層，蘋果摒棄了 OpenGL 換用自家的跨平台 Metal 框架，已經過了許多年。今天蘋果在 WWDC 上給出了自家應用的答案，比如 Final Cut Pro X，又完成了所有自家應用的原生 ARM 移植，便是告訴世人我們已經搞定了。
王禹效 Legolas：ARM， AMD，英特爾」硬體科普及我見的未來?zhuanlan.zhihu.com
剛剛發布的 Developer Kit 用的是 A12Z，年底發布的 iMac ARM 版預計會採用新的 A14Z 晶元，要放到年底估計是因為 5 納米的產能目前必須先留給 iPhone。而每一代新的 A 晶元一般要由 iPhone 先發。對很多用蘋果框架的開發者來說，蘋果說的 Universal 2 指的是開發者用將文件架構也編譯給 ARM 一份。比如你看下圖中，我現在編譯的應用寫的是 Intel 64-bit，今天下午發布的 Xcode 14 應該就可以編譯到 Mac ARM 版本了。
iOS 14 快速觸發
關於 iOS 14，有幾個點值得一說。第一個是應用快速觸發，這允許用戶不下載應用，既可以快速使用很多應用的功能。對於開發者來說，需要設計一個新的界面，支持快速下載著一個小區域以便用戶快速用到。
這是個非常實用的功能，方便了用戶和開發者。許多新的開發者會遇到的問題是自己的應用用戶根本看不到，有了這個東西，至少保證了一些便民的應用可以更容易的被大家發現。對於我這種不喜歡裝許多應用的人，也不必擔心在裝一堆垃圾應用。但是關於這個快速觸發的應用，怎麼保存是我比較關注的點。
比如這次下載後，下次使用快捷應用還需要再次下載嗎？這些東西應該會在下午面向開發者的 State of Union 上詳解。我會持續關注這一點，未來的應用中也會帶來對快速觸發的支持，很有意思。（更新：快速觸發已經出發後可在接下來的 8 小時內推送消息。）
iPhone 上的 U1 晶元
很多時候，大家會發現蘋果往設備里塞進去一些看起來暫時沒用的晶元，其實都會有用。比如前幾天 iPad Pro 塞進去的那顆雷達感測器。今天我在 WWDC 上就看到了新的 DepthKit 開發者套件。與之同理，這次的空間感知 U1 晶元被用在了作為車鑰匙的手機位置感知上面。這很重要，因為現有的技術在判斷距離上都不夠完美，比如藍牙並不能明確告知你距離車的距離，只能有個大概範圍。這樣的話其實用在解鎖車輛上十分危險，我開的車之前就因為自動落鎖判斷距離過遠而被偷竊。
因此蘋果用這顆 U1 晶元解決了目前對距離和行為判斷不夠精確的問題。未來還可能在 AirTag 上有更近一步的應用。
A 系列晶元機器學習發力
蘋果在今天發布了這個翻譯應用，很多人可能覺得比較無聊搶別人的生意。其實這是個非常厲害的軟體。在這次發布之前，我曾考慮過做一個離線語言識別的工具，用來識別課程上的文字內容。之前的結果一直不滿意，在線版本會侵犯用戶的隱私，離線版本識別效率太差。
這回蘋果終於把支持機器學習的識別演算法拿出來，做了這麼個翻譯應用，是在保護隱私的基礎上更進一步開發機器學習的又一個重要板塊。大家可能沒注意，谷歌今年年初也拿出來了個類似的離線翻譯器，蘋果這次終於在離線語音識別上跟上了。
王禹效 Legolas：DEEPL：來自未來的優質翻譯器?zhuanlan.zhihu.com
未來值得關注的是這個翻譯 API 是否會放出，以及翻譯 API 是否會採用機器學習的演算法。目前市面上翻譯效果最優的便是有充足語言資料庫的 DeepL，很期待蘋果這次全新翻譯 API 的表現，測試結果會在文末實機測試里更新。
Safari 和應用追蹤器的明示
保護隱私的理想狀態便是離線處理。對於 Safari 來說想做到這一點不現實，那麼有沒有別的辦法呢？就是告知用戶自己都在被誰追蹤。其實很多用戶非常納悶的問題就是，我明明沒用某個軟體，為什麼我的信息還是被泄漏了？關於應用如何泄露隱私，我在這裡回答過。
iOS 是不是能比安卓更能保護隱私？?www.zhihu.com
其實這和廣告聯盟有關。你的隱私不只被一家公司售賣，更可能同時被多家公司售賣。這次蘋果展示用的網站上就有十幾個信息追蹤器，比如亞馬遜的廣告平台，谷歌的廣告平台等。明示之後，用戶自己心裡有數，信息被各方竊聽。
iPad 越來越像 Mac
你看這次全新設計的全局搜索，像不像 Mac 上的 Spotlight 搜索框架？像就對了，蘋果這次把文件的索引估計全部更新在 iPad 上了。以後用 Spotlight MetaDataQuery 框架的應用內容應該都能被搜索到，會是個非常方便的功能，也是在 iPad 上文件索引的進一步提升。
Pencil 手繪文字離線識別
目前手寫應用比如 Notability 支持的手寫識別用的都是聯網識別方案，這樣的好處是非常準確，缺點也明顯，你的隱私從你識別的那一剎那就不是你的了，因為上傳到別人的伺服器里去了。這次的蘋果自家 PencilKit 的識別不出意外是蘋果自己訓練好的離線識別機器學習模型，很期待其識別的準確度。
王禹效 Legolas：「書空 」iPad 上無限畫布的簡約手寫筆記 (之前用 Notability, Goodnotes)?zhuanlan.zhihu.com
而且配合 TextField 文字書寫的 Scribble 功能，保證了體驗的一致性。我也會在我的應用書空中第一時間更新這個新的識別功能。
Watch 上的個性錶盤
手錶方面，今年 WWDC 上著重展示的自定義錶盤很有意思，第一次允許開發者直接動用戶直接看到的表面屏幕。而且這次開發者大會上宣布允許開發者使用 SwiftUI 開定義這個部分，那以後大家會看到許多自定義的全新錶盤內容，畢竟開發者這裡的許可權放寬鬆了。以後我也會開發支持自定義錶盤的應用，很期待，新應用準備採用全新的 Combine 框架。
王禹效 Legolas：Apple Watch 實用性指南?zhuanlan.zhihu.com
Platforms State of the Union 更新
首先是 Find My 加入了對第三方設備的支持，以後你不但可以在這裡找到自己的蘋果設備，也可以尋找其它廠商的支持設備。
我看到有人在問 iOS 和 macOS 是什麼關係，以後是不是 iPad 可以跑 macOS。我覺得下面這張圖可能給你解答，iOS 和 macOS 底層，圖形層，內核層都是一個東西。現在可以跑在不同的硬體架構上，因此不存在 Mac 跑在 iPad 的問題，它們本質上是一個東西。最上層的顯示層不同罷了，而這兩個設備有不同的現實需求，所以不可能移植 Mac 到 iPad。這次 macOS 11 的關注重點也是提升 Mac 和 iPad 視覺和體驗上的一致性。
關於為什麼要換 ARM，這顆晶元有眾多特有的控制器，能在未來進一步擴展 Mac 的使用場景。比如更好的封裝技術，安全晶元集成，更高效的 DRAM 和 GPU。
關於 Mac 11 Big Sur。大家可能關注它應用運行的方式，大致如下。蘋果自家全部應用包括專業應用已完成 ARM 版編譯；第三方原生 AppKit 的應用需開發者重新編譯到 Universal Mac；iOS 應用直接原生的跑就可以；虛擬機應用會運行在 Big Sur 給它的虛擬環境中；開發者想要自定義原生 iOS 應用的話需要在 Xcode 打開對 Catalyst 的支持；第三方應用會 Mac 自動用 Rosetta 2 自動翻譯到 ARM 版，商店內的應用下載前自動完成翻譯，網上下載的應用安裝時完成翻譯。
關於翻譯器的性能方面，這裡用的演示是 Unity Rosetta 兼容的版本。在 A12Z 上直接跑的 HDRP(高清渲染管線)的實機測試。要知道這個 HDRP 本身是 Unity 最新且最高清的渲染方式，跑起來沒有卡頓感，實在厲害。而且 Unity 的 Graph 也用進去了。翻譯層雖然有性能折損，不過它跑這個比我的 Intel 6 核配外置 GPU 跑的感覺差不多。不服不行，折損看樣子完全可以接受。即便如此，Unity 一個月以後會發布 ARM 的版本。用 Unity 的人大概已經發現現在默認都是 Metal 渲染了，圖形性能可以直接原生指令的性能跑開，即便兼容層也是如此，因此圖形性能折損極低。
上面有聊到 Mac 和 iPad 界面觀感的統一。比如 iPadOS 也支持了像 Mac 一樣的顏色選擇菜單。對於喜歡用原生色盤的人有福氣了，希望很快也能看到 Sketch 的 iPad Pro 版本。
上文說到的 DepthKit，也就是那個雷達感測器又多了幾個演示。現在 ARKit 不但支持分析物品類別，還增加了完整的深度數據反饋，對於專業 3D 應用，需要生成深度地圖，都不是事了。物品間的位置關係也可以做到，比如你的 AR 物件可以藏在現實存在的椅子背後，用深度數據就可以判斷遮擋關係。
這次的更新講了很多關於 SwiftUI 和 Mac 及 iPad 側邊欄的應用。這次 iPad 側邊欄支持第三級左邊側滑呼出，以後會成為常態。得益於 SwiftUI ViewBuilder 的應用，以後大家會在第三方應用中看到更複雜的界面排版。
蘋果自家應用現已幾乎全部遷移到 Catalyst 上面。左側邊欄將支持在 Plist 中對顏色的描述。邊欄圖標也受益於 SF Symbol 得以自定義大小。發布會上說 SF Symbol 會在側邊欄中得到更廣泛的應用。
關於全平台上新的小工具。為保證這些工具的顯示不干擾主界面的穩定，且保證其最佳流暢度。這次主屏上的小工具採用最新的 SwiftUI View, 組合成一個 Archived View，最後交給顯卡完成非同步渲染。
設備實測
剛剛所有有設備更新完，晚點我來詳細談談變化。我留了 Mac 更新前後的兩張截圖，大家可以對比看看，明顯感知的是這次圖標全部 iOS 的圓角化了。你可能會有點好奇為什麼 Pages 文稿之類的圖標沒變。像 FCPX，iWork 這些軟體都會在 Big Sur 九月份正式版發布後更新。
- 更新前 Catalina:
- 更新後 Big Sur:
這次更新我個人最期待的就是 Safari 在隱私保護方面的進一步提升。測試了下，用 Safari 打開這個問答網站，發現它原來是谷歌廣告聯盟的成員，難怪總給我推薦最近搜索的內容，有內鬼。生氣。
新的材質毛玻璃特效很好看，Safari 整體觀感又上了一個台階，翻譯效果也還行。說到翻譯，我又用 iOS 14 的 iPhone 仔細測試了幾段話。斷開網這個蘋果的翻譯就中斷了，飛行模式也不行，但是允許用戶下載本地翻譯。幾個結論：1. 在線版翻譯結果和谷歌翻譯差不多，和 DeepL 差得很遠。2. 離線版翻譯效果更差一些。3. 蘋果沒有放出這個翻譯的開發者 API，估計是還不甚滿意。
Mac 這會的新界面設計很乾凈，上邊欄按鈕設計有種 Fedora OS 的即視感。信息中心徹底重新設計，整個系統都大幅去除了背景底色。所以這些通知看起來像懸浮著的，個人蠻喜歡新設計的。Mac 的聲音也重新設計了，很有趣。扔垃圾，確認，拖動的聲音都是新的。
剛剛下樓去試了一下 CarPlay，果然如蘋果所說，就增加了個壁紙的選擇，大概是這樣的。其他的按鈕我都點了一遍，好像沒什麼新功能了。
剛好在在北美，蘋果今年說這邊地圖更新成高清地圖了，效果大概是這樣。看起來細節還不錯，就是不知道準確度提高了沒有。這個導航之前老坑人，確實有幾次導航去了不知名的斷路上。
與開發者有關的內容
下面這張圖是今年給開發者 WWDC 2020 更新的框架內容。主要關注點是 Catalyst 將 iOS 應用更完善的移植到 Mac 上；開發者工具 Xcode 功能提升與新設計（比如個人很喜歡的雙擊打開新選項卡）；SwiftUI 跨平台 UI 框架的進步；新的懸浮窗組建 Widgets；ML 機器學習框架的提升；ARKit 4 和 RealityKit 為 2022 年發布的眼鏡做準備；Swift Package Manager 的素材文件打包；AirPods 新的位置框架等。
Xcode 12 的全平台開發包居然去掉了 AppDegelate, SceneDelegate 和 LaunchStorybord。直接改成 @main 為程序的入口了，方便太多。這會終於是 SwiftUI 的完全體，而不是 UIHostingViewController 了。新的設計如下，很簡潔，標籤頁也比之前好用很多了。
今年的課程表放出來了，看起來接下來的 4 天每天早上 PDT 10 點會放出二三十節課，選幾個我比較感興趣的聊一聊。首先是 SF Symbol，這是蘋果給大家用的圖標庫，集成起來非常方便，大家會在側邊欄里看到許多這些圖標。它終於出第二代了，帶了許多的彩色圖標。之前一直覺得一代的圖標有些不夠用，哈哈哈，看到這個更新非常開心。
這個也值得一說，新的視覺框架要更新了。VisionKit 是為了機器學習準備的框架，好像人的眼鏡一樣，主要負責各種識別的功能。這次的框架更新是為了檢測身體和手的姿勢，意圖很明顯了，是幫助開發者準備即將到來的 AR 眼鏡開發。
關於 CollectionView 除了一些列視頻我到是有點驚訝。本來看 Union 視頻的結尾討論到 SwiftUI 新增的 lazyView 可以渲染多數據，配合 switch 語法我還以為 CollectionView 以後要靠自己了，這次更新很多關於它的視頻有點意外，明天看看再說。
有一堆關於新的關於應用快速觸發的視頻，這個不意外。這估計是 iOS 14 開發者升級自己應用的重頭戲。畢竟有這麼好的宣傳機會不能放過，大概會有很多停車場的，飯館的應用會用上這個。
關於 PencilKit 的筆跡識別放開了，這個新的 PKStroke 允許想我樣用自家筆跡框架的開發者可以更自由的定義筆劃，我猜測是這樣。具體得看明天的視頻，很期待。當然與此相對應的還有一堆關於 Scribble 和 PencilKit 的視頻。
之前有人好奇這個 U1 晶元開發者怎麼才能用到。這不視頻就來了，這個新的近距離互動框架負責空降感知，可以檢測多個設備的相對位置等。
看樣子蘋果是不打算繼續用 AMD 的 GPU 了。這回的遷移視屏里已經去掉了 AMD GPU。還有一點有趣的事情是 metalDevice 獲取的蘋果 GPU 性能方面歸屬於獨立 GPU，看來蘋果這次是要對標 Navi 系列的性能了，有點意思。
（這篇問答有點長編輯不便，本小節內容移到下面的回答里繼續更新。）
作為開發者或程序員，WWDC 20 有哪些技術是你關注的，有哪些發現或實踐??www.zhihu.com
關於蘋果設備及軟體開發
今天蘋果的 WWDC 中聊到了未來還會發布部分採用英特爾晶元的產品。估計有人會關注MBP 未來的發展趨勢如何。我在這篇回答中討論了我對外接獨立顯卡和 GPU 發展的預估。
如何評價 MacBook Pro 16 寸新增的 Radeon Pro 5600M 獨立顯卡選配項？?www.zhihu.com
對於獨立顯卡本身感興趣的，可以看我的這篇科普：
Windows / Mac 外接顯卡盒子科普及選購指南 - 王禹效?sspai.com
關於 iMac 採用 ARM 晶元的原因，為什麼單核性能很重要，我在這篇回答討論過過了。
如何評價蘋果將在 WWDC 2020 上發布 iPad Pro 風格的窄邊框 iMac？?www.zhihu.com
關於 AirPods Studio 和立體聲場，我的看法是它是給 Studio 耳機鋪路用的，用在 Pro 上首發。其實 Pro 並不是最適合立體聲場的設備，Studio 耳機會和去掉耳機口的新一代 Mac 一起發布。
如何評價蘋果新發布的 AirPods Studio？?www.zhihu.com關於蘋果的設計和 iPadOS 對游標的支持，我在這裡討論過。
為什麼很多存在的技術/設計一旦Apple來做就會做到前所未有的體驗和熱度？?www.zhihu.com
關於 Catalyst 移植的現狀及開發者體驗，我在這篇回答里分析過。
wwdc 2019上蘋果發布的project catalyst，開發者使用之後感覺怎麼樣？?www.zhihu.com
關於 Apple Pencil 如何識別筆點位置的，這裡回答過。
Apple Pencil 的原理是什麼？?www.zhihu.com
對蘋果 A12 處理器和顯卡進度感興趣的，我在這裡有回答。
蘋果 A12Z 大概與哪款桌面級處理器及顯卡性能相當？?www.zhihu.com對於這次開發者大會的框架更新，我在這裡談論過期待。
蘋果首次線上舉辦的 WWDC2020 開發者大會將於 6 月 22 日舉辦，有哪些值得期待的地方？?www.zhihu.com關於獨立開發，我寫過我的開發流程。
轉行程序員已3年，現卻不想幹了，我該怎麼辦？?www.zhihu.com
對於對 Swift 感興趣，或者對 iOS 開發感興趣的人，我寫過入門流程。
現在（2019）入門iOS開發學Swift還是objective-c？?www.zhihu.com
（本文邊寫邊保存，會在我看完新的 WWDC 視頻後更新。本次 WWDC 2020 持續一周，預計會有 100 個以上針對開發者的新視頻。）
書空 iPadOS 14 實機演示。
王禹效 Legolas的視頻 · 1.1 萬播放書空 - 無限畫布的手寫筆記?apps.apple.com如果你想叫我寫適用於未來五年的 iOS 教程，可以加我的微信：caryota 並註明 iOS 教程。我會把你拉到一個群里，需求的人多的話我就會系統性的出個教程，帶你入門到把應用上架，並對應用上架後的宣傳等做出講解。
來談談從 macOS 11 的設計指向的未來
（多圖預警）
/ 驚鴻一瞥
像OS X Yosemite 一樣，macOS Big Sur再一次重新定義來深度，陰影和透明度，和隔壁Microsoft的Fluent design system 一樣從毛玻璃推上了更偏向亞克力材料的質感。
而懸浮游標點亮按鈕輪廓則是一個非常蘋果的細節處理（同Apple TV和iPadOS）
/ Neumorphism 「擬態化設計」
四年前我在申請WWDC scholarship的時候寫了個魔方計時器App，對這一介於扁平和擬物之間的設計語言進行了深度探索，也看到了其極大的局限性。
如果說Pre-iOS7的 Skeuomorphism 「擬物化」是將一切現實工業設計紋理材質搬到屏幕時以減輕認知壓力，Post-iOS7的扁平化設計則是「化繁為序」減少獲取信息所需要的精力。
而Neumorphism 「擬態化」則是通過柔和的光影，在屏幕上表現極簡而擬真的工業設計品。
之前iOS上有這種改變的趨向，再比如備忘錄里的工具
蘋果在macOS上非常克制的implementation —— 柔和的陰影和材質只存在於按鈕和滑軌以及少數需要表現層級的top bar —— 這樣做不會是用戶產生嚴重的不適感。
/ 圖標與圓角矩形
這次統一用上了iOS式圓角矩形圖標，所有App窗口也做了同樣的修改。這意味著配備Liquid Retina 屏幕的Arm Mac不遠了。 當然這樣設計也為直接運行iOS程序打通了屏障。
而在保留 mac icon 細膩的風格的同時，使用了越過 Neumorphism 簡潔而真實的質感與陰影。
這種處理使我想起 Guglieri 做的一組 蘋果 glassOS Starboard 圖標概念設計.
這樣的設計語言，和隔壁M$的 Fluent Design System 的目標指向完全一致—— 立體的交互界面設計，在3維空間內是更合理，更符合直覺的存在。
/ 音效設計
音效設計真的不是個小事兒，而絕大多數時候人們都意識不到。每一個細節都在塑造整個體驗。這次蘋果的音效設計團隊把系統音效重新處理了，從keynote的音效就能看得出來，實際系統應該會有一個煥然一新的感覺。
（待補充）
/ Fluent Design System
隔壁微軟早在2017年就發布了服務於「universal windows platform」的 Fluent Design System， 發布的當天使我眼前一亮，沉迷於其中無法自拔。而在之後緩慢的更新到微軟的各種App上，每個更新都有著名動畫公司Tendril 做各種酷炫動畫，儘管實際的App並沒有這麼酷。
Fluent Design System的5大核心理念，Light「光影」，Depth「縱深」Motion「動態」，Material「材質」，Scale「尺度」
不僅和 Neumorphism 「擬態化」有著奇妙的聯繫，這些都指向了混合現實領域的應用。而未來，交互是不局限於傳統意義上的屏幕的。
/ 回到 Mac 本身
這次設計語言大改就意味著會有很多細節處理不到位，不同App的設計不夠和諧統一。這倒也不是什麼大問題，畢竟過去幾年macOS一直是這樣。 此外，指望用一種設計手法解決所有問題是不現實的，總會有新的需求需要考慮，而去完善這些設計需要大量的時間。蘋果從iOS7的大變革迭代到了iOS11 才有了成熟的設計，而 macOS11 則是又一個這樣的起點。
引用現任蘋果 Human interface design VP Alan Dye 的話， 「Mac is the tool we use to create products that we put out into the world, and macOS Big Sur is where it starts.」
講點我熟悉的，也是我看到很多人討論和期待的關於AirPods Pro的空間音頻問題。
作為一個有著80多年專業聲場調音經驗，熟悉房間聲學、多聲道音頻系統聲場調節，熟悉Logic7與QLS等環繞演算法（別問，反正牛X就是了），曾經被蘋果叫去面試過N次的家境貧寒的答主，簡單的談談我個人對此的看法。
設備間無縫切換就不提了，這個主要是傳輸協議的問題。這裡重點聊一下空間音頻。
首先說我對此事的看法，AirPods Pro即將更新的「空間音頻」技術可以做到行業內的頂尖水準（杜比、雅馬哈等），但是很難突破現有消費類耳機虛擬聲場行業技術的天花板，或者說與真正的現實聲場依舊會有不小的差距。
原因很簡單，AirPods Pro的硬體還不夠強大。
在解釋這個原因之前我想先再重複一下兩個基礎的概念。
一 什麼是聲場（空間印象）？或者說什麼是聲源定位？
我們平時所說的「聲場」更多時候是人們對聲音空間感知的集合。大體上可以分為寬度、縱深感、空間感、方向感和包圍感。而這些指標中的大部分均可以有心理聲學中的一些基本概念所描述。
現實生活中，我們所聽到聲音是存在方向和距離的，並且聲源本身也是存在寬度的而非理想的點。不同的方向、距離、寬度的聲音共同組成了我們所聽到聲音的聲源定位。
二 哪些因素會影響我們在現實世界中對聲音空間印象的判斷？
我只以圖中的鼓為例。鼓是一種膜鳴樂器，如下圖所示，當鼓手敲擊鼓時，鼓所發出的聲音會向360度空間均勻傳播。
儘管鼓的聲音向四面八方傳播，但最先到達我們耳朵的聲音是由鼓和人耳的連線這一方向傳播的（兩點之間直線最短）。在聲學中稱為直達聲。
與此同時，向其他方向傳播的聲音會經過一次反射後，在直達聲到達人耳後相繼到達人耳。這些聲音的總和在聲學中稱為早期反射聲。
但還有很多聲音會經過多次反射才到達人耳。這些聲音的總和，也就是能夠傳播到人耳的所有聲音減去直達聲和早期反射聲被稱為混響。而早期反射聲和混響的總和被稱之為反射聲。
當鼓手敲擊鼓時，我們首先聽到的是直達聲，緊接著是單次反射聲，之後便是多次反射聲，且反射的次數越多。
我們之所以會感覺這場流行音樂表演是在一個房間內進行而不是露天表演也不是在音樂廳里的原因在於人的聽覺系統可以感知到我們所處的房間大小。而人的這種感知能力取決於反射聲。
而我們之所以聽到鼓在我們的左前方，除了分別傳達到我們左右耳的直達聲的強度差與時間差（相位差）意外，還與鼓所產生的直達聲入射角度和早期反射聲入射角度有關，即耳廓效應。
人對音樂的空間印象（聲場）不只取決於直達聲、早期反射聲和混響三者的能量和時間，也與直達聲、早期反射聲和混響到達人耳時的入射角度。或者更通俗的講，是我們耳膜最終接受到的聲音，這個聲音實際上會受到人頭以及軀幹等的濾波，並且通常會隨著我們人頭的位置變化而變化。
https://zhuanlan.zhihu.com/p/62812939?zhuanlan.zhihu.com
簡而言之，正是基於人耳的聽覺特性，耳機虛擬現實世界的聲場（空間印象）需要模擬左右耳的聲音差異，並且還要模擬反射聲以及反射聲在左右耳的差異，而且還要做到跟隨人頭變化而實時計算。
然而，我們現實所生活的世界是空間是連續的，反射聲存在無數路徑和可能性，每個人的人頭傳遞函數不盡相同，人頭位置和角度也是在不規則的實時變化。
AirPods Pro本身並沒有足夠捕捉具體聽音者HRTF的感測器（除非蘋果也採用類似於索尼的拍耳朵照片的方法，但即便如此仍然很難精確測量）。對於人耳聽覺的動態因素，AirPods Pro雖然有陀螺儀等感測器，但實際表現仍然有待商榷。
而問題的關鍵可能還是真實環境中的實際反射過於複雜，並且每一條給定的反射聲還要結合人頭的實時位置和角度計算經過HRTF之後的聲音，而這一過程又是不斷變化的。實時處理這些數據需要巨大的計算量，而且計算量會隨著精度成幾何級增長。
這裡舉個例子，之前看到有人把類似的聲音反射計算類比成老黃顯卡的光線追蹤技術。這確實有點像，而光線追蹤就需要很強大的計算能力。即便如此，目前一些效果表現較好的光追遊戲和現實世界的光照還是存在著很大差別的吧。
AirPods Pro本身晶元的計算能力對於想要真正模擬現實世界聲音反射的計算量來說應該是杯水車薪，就算是蘋果手機的晶元能否實時計算可能都是一個未知數。比如說很基礎的，讓聲音聽起來是前方一定距離發出的。這樣基礎的方向感和距離感能否做好。
前一個勇於開拓創新的是杜比耳機，但是杜比耳機的聲源定位表現在真正的7.1家庭影院面前是那麼的蒼白無力，甚至有時和一些簡單的2.0音箱系統相比都有不小差距。更別說數十聲道的參考聽音實驗室亦或是現實世界的聲場。
https://zhuanlan.zhihu.com/p/68626474?zhuanlan.zhihu.com
空間音頻除了聲源定位以外，其實也包括混響所營造的空間感以及與LEV相關的環繞感。AirPods能否還原這些我持懷疑態度。驗證空間感這一點其實也非常簡單，拿著耳機去電影院對比感受一下就可以了。
所以我的觀點是，可以做到行業一流，但是很難突破行業瓶頸（當然，也希望蘋果打我臉）。
不過話說回來，只要有一定的效果而且是免費的，我們何樂而不為呢？
看看人家蘋果，不僅給開發者鋪路，還把飯送到嘴邊。
再看看微軟，不僅要開發者給他鋪路，沒鋪完就把人飯碗砸了，
甚至還抄起了大砍刀。。。
推薦閱讀：
