AI識別 圖形 文字 隨手記


本來沒有關注WWDC,自己也並非果粉,不過一天之內居然有兩個知友邀請了我來回答這個問題,

於是我就趕緊去搜了搜WWDC的錄播視頻,找到了回放,暫且放在這裡,還沒有看過的朋友們可以去看一下:

蘋果 WWDC 2020 官方原版 1080P+ 中文機翻字幕 2020年6月23日_嗶哩嗶哩 (゜-゜)つロ 乾杯~-bilibili?

www.bilibili.com圖標

上面這個視頻里,關於Apple Pencil的內容,於44:49開始:

一個多月以前,第一次有了自己的Pencil,在嘗試完成我腦海中設想的應用的時候,發現好像確實有一些功能目前還不能實現——

比如我想找到一款完全模擬現實生活中的記憶卡片的APP,

可以允許我非常輕鬆地、不受任何限制地,在卡片的正反面記錄、書寫、塗鴉,

不過我找到的,基本上都是創建新卡片後,通過鍵盤鍵入內容,再翻轉到背面,再鍵入,

這樣的話,效率就會很低——

現實生活中,我可以在我面前擺一堆卡片,然後用1分鐘的時間,完成對20張卡片正反面的標記,

步驟僅僅是——

抓卡片,寫,翻面,寫,放在一邊;

抓卡片,寫,翻面,寫,放在一邊……

我理想中的iPad端記憶卡片應用,應該是完美保留了記憶卡片書寫時的便利,而同時避免了現實生活中需要買紙、製作卡片、裁剪、修尺寸等一系列繁瑣的工作。

更何況,有時候記憶卡片的正反面,不僅僅是局限於文字——還會有圖案、形狀組合、非英文或中文的字元如日文假名等。

以及,期望中的完全以Apple Pencil來代替手指+虛擬鍵盤鍵入的交互方式。

正如副總裁Craig Federighi所說,使用手寫並不像鍵入文本那樣簡單,

通過鍵盤鍵入文本,具有很強的可交互性——取詞、點對點修改、複製粘貼、換行空格等,

而Pencil手寫,則更像是,僅僅保留在軟體紙面上的圖形,固然可以拉伸、移動,

但圖形與文字之間,依然有著一個鴻溝。

但是今年WWDC 2020上發布的這個新功能,或許能夠做到Craig所說的——

就像這樣:

在任何對話框上直接進行書寫,

系統自動將手寫筆跡,轉換為鍵入的字元文本。

在提醒事項中直接用Apple Pencil手寫

自動轉化為文本

還有Jenny Chen所演示的,

對手寫筆跡,輕點兩下,選取一個詞,

再輕點兩下,選取一整行。

(聽起來有點像Microsoft Word裡面的操作)

其特點在於,能夠選取手寫筆跡的同時,避開周圍的塗鴉和繪畫。

(Shape Recognition就不說了,很多筆記APP都已經搭載了這個功能)

以及,更強一些的交互方式:

在剛剛手寫轉化的文本上,劃線刪除

(不過,這裡不知道是只能對同樣用Apple Pencil手寫後轉換形成的文本進行刪除,

還是任意已經鍵入的文本,都可以進行劃掉刪除的操作。

這樣的話,想要在iPad端快速清除掉一整頁的文字,就不需要進行:

輕觸文本喚出遊標→長按→單擊Select All→刪除」這樣的操作,

只需要在整頁紙上用Apple Pencil斜著拉幾條線就可以了?

這個功能有待拓展更新穎的應用形式,哈哈哈)

可以看到Jenny Chen的演示,表示手寫識別對不同語言文本的支持:

只是不清楚,除了英文和中文,是否還支持其它語言符號的識別,如日文假名、韓文字母、斯拉夫民族使用的拼音文字西里爾字母等,亦或是特殊字元,如星號、井號(很好奇井號「#」如何與漢字「井」區分開)、對勾等的識別。

如果後續繼續開發了該功能對其它語言的支持,那麼日後肯定會誕生更奇妙的應用方式。

最後,還有Data Detector,可以自動檢測書寫的內容,對接到不同的應用,

如從手寫筆跡中辨認出電話號碼後,直接可以對接到電話簿進行後續操作:

或通過記錄的地址,直接喚出地圖應用:

還有把手寫的筆跡,Copy as Text,

這樣,就可以直接把筆跡識別成文字,粘貼在其它應用的文本框中了。

(小吐槽:看來連蘋果公司自己人都覺得,iPad上面全鍵盤確實是太大了,不如小鍵盤好用)

不得不說,Apple Pencil這次的幾個更新,著實挺吸引人的,

雖然Craig說的是Make handwriting as powerful as typed text,

但我覺得,或許Apple真正的野心是,

想要通過iPad和Pencil這樣的應用,打破硬體交互中鍵入和手寫兩種不同模式的壁壘

讓text和handwriting真正融為一體,同時具有極強的交互性和拓展性,

既擁有方便修改的便捷與效率,又可啟發創新。

這也是我們對未來所期望的。

引用庫克他老人家幾句開場引入語吧,關於創新,挺振奮人心的:

We are not stopping innovating.

Because we are all looking forward to a more hopeful tomorrow.

And Apple, our mission has always been to make the world a better place,

and we are committed to be a force for change.


英文識別率不錯,後期修改也很符合直覺。

中文識別率就那樣,也不算差,但你絕對不會拿它來寫長東西。


標點符號的識別就是災難


以下用ap書寫:

英文識別率不錯,後期修改也很符合直覺,

中文識別就那樣,也不算差,但你絕對不會拿它也寫長輛。

(這次正確率高得嚇人,以前沒那麼高)


用手寫字體識別當付費功能賣的的notebility當場去世

2020年之前的手寫字體識別是買了notebility就送的


謝謝

值得一提的是有關Apple pencil的每一次應用層面的更新都是系統級的更新 這一點跟其他單獨配件比如Airpods不同 這也讓Apple pencil與iPad之間的關係更加緊密

這次WWDC上公布的iPad OS 14其實沒給我太多驚喜 Apple會將許多桌面級應用平移到iPad OS上的傳聞也沒有實現 反而是iOS和iPad OS上的許多應用即將可以在新的Mac OS Big sur(好長)上虛擬運行…雖然對眾多開發者來說這絕對是大好事但是也有點詼諧XD

在這種缺乏重大更新的情況下Apple pencil的應用更新就非常有趣 iPad OS 14可以在任何app中快速且精準的識別使用Apple pencil手寫的內容 並不受語言限制 同時也可以像摘取正常輸入的文本一樣摘取這些手寫的詞或句 這無疑會讓使用Apple pencil進行書寫這一行為更加舒適和頻繁 我個人除了畫畫之外平時是很少使用到Apple pencil的 但如果iPad OS對手寫詞句的識別真如演示中那麼自然和精準 我的Apple pencil使用頻率想來會增加 且Apple pencil的更新無疑會與Apple新推出的Apple Translate應用進行配合 對於總是需要翻譯文獻或者起草大綱的文字工作者來說確實會更加方便

所以你發現了嗎?Apple pencil的更新讓它更像是一支筆 同時也讓iPad更像是一本合格的記事薄 能做很多事情的那種記事薄

在曾經的一支廣告里 iPad air化身為一支鉛筆 象徵著iPad會與這種最普及和最方便的工具一樣 用最簡單的方式來開啟我們的創造 相信我們可以用這塊充滿魔力的玻璃板做的更多。


不是新鮮事早就有這樣的app了,nebo,覺得字丑的小夥伴可以試試,別說漢子英文了,上面的數學公式都是手寫識別的,新系統的操作邏輯跟nebo簡直一模一樣


推薦閱讀:
相关文章