讀書筆記：漫畫和符號學
幾乎所有的文本分析都繞不開索緒爾（Ferdinand de Saussure）的符號學理論，亦即＂符號＝符徵｜符旨＂的結構，其中符徵和符旨又翻譯成能指和所指，例如「god」這個字（包含字音和字形）是能指，而我們腦海裡面浮現的上帝形象則是所指。值得注意的是，為什麼是「god」代表上帝而不是「dog」則是任意的，純粹的約定俗成（所以在美劇《傳教士》裡面，上帝就是隻有著黑白斑點的狗頭人）此外不只文字是符號，圖像也可以是符號——如果考慮到中文就是象形文字的事實，這完全就是廢話——但是必須特別強調的理由是，圖像和文字作為符號的區別：巴特（Roland Barthes）認為圖像具有多義性，但是這個多義性又可以藉由需要語言對圖像發揮錨定的作用，因此在圖文結合的連續性敘事媒材（例如漫畫）文字就充當指引的功用。
例如下面這個出自漫畫《獵人》的例子，就是在玩弄圖像的多義性和文字指引的反轉：在右邊沒有文字的版本（第381話），我們知道長髮禿頂的女性（旋律）和老人（基尼）在商議事情，但是遭到拒絕，按照前後的脈絡，讀者下意識地以為旋律找基尼商議逃亡計畫遭到拒絕；然而到了左邊（第383話），我們才知道基尼不但沒有拒絕幫助逃亡，反而是要犧牲性命斷後——嚴格來說，讀者先前的理解沒有錯誤，基尼確實「拒絕」了旋律，只是他並非拒絕幫助，而是婉拒她的慰留。而這雖然可以是因為圖像多義性才成立的詭計，卻也可以僅僅理解成文字也能達成的，掩蓋部分資訊的敘事詭計。
不過，就像前面已經提及的，中文作為象形文字也是圖像，為何卻不具有圖像的多義性？這就要進入圖像和圖標的區分，或者用更常見的稱呼「漫畫符號」也許更好理解（夏目房之介）。在經過「變形、省略、誇張」的步驟之後（竹內一郎），圖像變成完全的符號，因此有了需要學習的規則——雖然對於已經熟悉規則的我們來說，漫畫符號的表現是如此理所當然，而且其中確實也存在基於人類普遍生理特質的符號，漫畫符號在＂符徵｜符旨＂的對應仍然是任意的，有著需要學習的規則——但同時也代表存在可以打破的規則。
進一步來說，巴特分析圖像的符號化特性有三個層次：第一個層次是對場景或對象的「全體的規制性轉化」，簡單來說就是必須是相同程度的「變形」而不能有風格的斷裂；第二個層次是對象的主觀排除或是放大，也就是「省略和誇張」；第三個層次則是前述的學習的需要。只是這樣對圖像進行符號分析並不足以提供我們完整的分析工具，因為漫畫不僅僅是文字的，也不只是圖像的，而是兩者結合的媒材——有人說，漫畫就是紙上的電影。於是我們遵循著索緒爾的符號學理論在葉爾姆斯列夫（Louis Hjelmslev）手裡進一步發展為語符學的理論模型的脈絡，而後來到閻嘯平為了落實到電影分析，又對這個模型進行之微調，原本的＂符號＝符徵｜符旨＂轉變成＂符號＝表達層／內容層｜實體／形式＂的模型，其中四類符號又各自配置了一組「二項式」從而建構出了如下的新模型。
【實 體】 【形 式】
【表達層】 單媒／互材 文本／超文本
【內容層】 故事／往事 敘事／歷史
此外他更援引巴特在《S/Z》書裡所指認的五種網路符碼（闡釋符碼、行動符碼、義素符碼、徵象符碼、文化符碼）對前述語符結構進行相關詮釋：文化符碼和象徵符碼屬於內容實體層，闡釋符碼和行動符碼屬於表達形式層，義素符碼則是內容形式層。文化符碼是無數的從故事和往事而來的概念和意識型態碎片，但是這些「外延」卻可以因為語境的不同而有不同「內涵」，這是兩個方面的，一面是將上下文的文化符碼提升成為調動主題的徵象系列，一面是從現實情境的兩大主軸（日常言談＆法理論述）換句話說，徵象符碼擷取並取代了文化符碼。這是內容實體的運作，而內容實體與表達形式和內容形式聯繫則是由闡釋符碼的「張力＝懸念（謎題／解答中的延宕）」經過行動符碼（蒙太奇的接合形式）的運作，不斷引出包含敘事和人物的義素符碼。
而在「內容形式」也就是義素符碼，巴特針對內容要素提出「核心－催化－標誌－信息」的主次結構邏輯，人物的部分則有表演四要素「情節、表演、性格、外型」，而連結兩者的則是行動功能邏輯的六個行動者和五個表意單位：1.秩序的破壞 2.英雄的品質 3.取回證據 4.重建秩序 5.要求被承認。在這裡需要注意的是，雖然「需求／阻礙」的戲劇張力往往會被認為屬於敘事元素，但是在此則是屬於文本的表達形式。
蒙太奇源自法文＂montage＂而有兩個意思：「操作零件接合」與「朝上行動」。閻嘯平認為這其實就是賦比興的修辭方法：「先以現象學的『意向性』（intentionalite），作為『興』的內容；再以結構主義語言學的『組合段』（syntagme）和『類聚體』（paradigame），分別聯繫起『賦』和『比』。」換句話說，賦比興的修辭也就是如何組合？組合的意義？為何追求此意義？的三個層次的解答。而蒙太奇的接合類型，又有直接的、鑲嵌的、平行的、辯證的和類聚的等幾種形式。Ａ追求Ｂ是直接的，Ａ和Ｂ都追求Ｃ是鑲嵌的，Ａ追求Ｂ和Ｃ追求Ｄ最後ＡＣ交會是平行的。Ａ和Ｂ的比賦是辯證的，Ｓ和Ｚ的相同又相異則是類比的——電影《鐵達尼號》的兩位主角，男的可愛，女的可憐，而同樣追求自由這是相同的，但是橫亙在彼此的階級差異是相異的，兩者的接合就是類聚的蒙太奇。在Scott McCloud的《理解漫畫》裡面，他將可能的接合類型分成六種：時刻到時刻、動作到動作、主題到主題、場景到場景、方面到方面、毫無關聯。
在這裡可以補充的是，在＂符號＝符徵｜符旨＂的接合，王敦提議使用弗雷澤在《金枝》所建構的「交感巫術」原理，也就是相似律（隱喻）和接觸律（借代）的心智運作模式解釋任意性如何產生普遍性。
不過前面的分析都還沒有涉及純粹的「視覺語言」，也就是漫畫的表達實體（媒材），漫畫不同於單幅繪畫而是多幅圖像藉由畫格分割但併置的組合，進而製造出類似電影的底片格運動之特性。也因此「畫格」的研究，勢必成為漫畫研究的重中之重。
畫格屬於漫畫的「形式」層面，首先呈現給讀者的就是各種畫格類型組合產生的「畫格變化」，其次則是畫格內部圖像和相鄰畫格產生的「視覺引導」，而這兩者進一步形成了漫畫的時間表現。下面分別是Scott McCloud利用「畫格變化」表達時間差異的例子，以及夏目房之介以石森章太郎的漫畫《ボンボン》進行的分析：主要的視覺引導來自對話框和畫面主體的擺放，畫格的壓縮開放帶來不同的速度效果，而特寫拉近（引き寄せ）和視角轉換則有加劇緊張感的效果。
對於「視覺引導」菅野博之更進一步指出「移動角度」和「視線偏離」兩個要素，在「移動角度」方面，角度越小，閱讀的速度越快，此外水平的速度也大過垂直的速度——但是閱讀速度不等於作品的時間流逝，相反地，如果作品時序推進緩慢（畫格內容幾乎是相同瞬間）閱讀速讀更快的效果反而會是時間暫停的慢動作。而「視線偏離」方面，則是空間代指時間，因為偏離視線走向而產生閱讀的停頓，然後物理的空間轉化成心理的時間，進而影響我們對作品時間的認知，於是產生時間剎那停頓的錯覺。
當然，畫格內部的圖像也同樣重要，但是在分析解讀的時候，單幅的圖像其實就回歸到傳統繪畫的構圖，也就是線條、色調和形狀帶來的心理影響，線條就是各種的效果線，這是我們最熟悉的。色調在黑白漫畫裡面主要就是黑白分配，或者更直接的是全黑背景（不是回憶的黑頁）；形狀有比例、位置帶來的經驗模擬，還有「圖形語言」的心理暗示——其實畫格的形狀就是相同機制，斜格更有動感就如對角構圖更有動感一般，而傾斜的人物也是如此——另一種常見的「圖形語言」應用則是角色造型，但這就回到前述內容形式的人物表演要素的範疇了。
最後要提及的是「對話框」和「效果音」，對話框的韻律兼具有圖形的也有文字的，效果音也同樣如此，下面是視覺設計研究所的範例。置於「效果音」目前沒有看到比較完整的討論——另外有待補全的是空間和鏡頭（攝影機運動）在漫畫這個類電影的媒材／連續性分格併置的圖像如何作用，也許可以直接沿用電影分析的技術？或者另有不同？只能把問題暫時記下了。
推薦閱讀：
