臺灣博碩士論文加值系統

本研究就人機互動上的溝通為主，並針對情緒中的喜、怒、哀、樂感知，進行人工聲音與電子圖像的認知模式與聯覺特徵研究，而實驗方式共分成四個階段。第一階段以個案訪談調查，主要透過情緒性語詞文字的傳達探討人類情緒聲音與手繪圖像之認知表達。第二階段針對情緒性圖像進行辨識性分析，作為聯覺實驗樣本；第三階段，針對情緒性聲音的構成，進行訪談與探討，作為聯覺實驗樣本；第四階段，進行情緒性人工聲音與圖像的聯覺特徵調查。
綜觀四個階段實驗調查結果發現，認知判別方面：1.情緒性聲音的認知判別在樣本選定與實測結果兩者相當一致，其認知判別模式大致上喜會以柔和、緩和；怒會以剛硬、煩雜；哀會以緩慢、由高轉低；樂會以跳躍、飛翔的聲音構成作為判別依據；同時也會以鳥鳴、下雨、放煙火、鐵琴等聲音轉換作為判別。2.情緒性圖像在認知判別上，具象事物如翅膀或以類似臉部表情轉化成的抽象圖像，如曲線像微笑的喜、尖角像尖牙的怒，其認知判別程度較高；相對地，以幾何線條形體構成的抽象圖像則因人而易，產生認知判斷的差異。
聲音與圖像的聯覺特徵方面：1.喜以具象臉部表情較容易產生聯覺；怒以具象的臉部表情及狗的牙齒特徵較為容易；哀以聲音類比的轉換(如雨聲)或具象的臉部表情較佳；樂則以具象臉部表情較能產生聯覺。2.受測者會以自己的生活經驗來做聯覺特徵的判定。3.由於怒、哀的情緒特質各有特色，所以在聯覺上較容易判別。而喜、樂的情緒性聲音特質及具象、抽象圖像特徵相近，所以較容易混淆與重疊。
本研究成果將可提供在未來人性化機器中有關情緒性發聲系統及電子圖像顯示設計之參考，以及透過情緒性聲音及圖像的聯覺模式來加強產品與人之間的互動。其次，可提供相關情緒相關聲音指示、聲音語意傳達模式及圖像認知等學術性研究之參考資料，並繼續研究發展。

The purpose of this study was to investigate interactive relationship between human and machines as well as artificial sound signals such as delight、anger、sorrow and happiness ,and cognitive expression model of electric icons and synesthesia features .The experiment was divided into four steps. First, case interview was used to discuss the cognitive expression of emotional sounds and handwritten icons in the expressive model of emotional words and phrases. Second, recognition of emotion icons was analyzed as the sample of synesthesia experiment. The third step was to discuss the content analysis of artificial sounds and interview. The fourth step was to investigate the synesthesia features between emotional artificial sounds and electric icons.
To sum up , findings of the experimental in cognitive recognition were as follows：1.The choice of samples in cognitive recognition of emotional sound consisted with results of the experiment. Mostly in the cognitive recognition model, delight is judged by mild and moderate sounds；anger is judged by hard or complicated sounds、sorrow is judged by slow or sounds from high-pitched sound to low-pitched sound：happy is judged by sounds of jump or fly. Simultaneously, emotional sounds could be judged by chirp , rain fall and firecracker let off. 2.In cognitive recognition of emotional icons, there is higher recognition in concrete stuff such as a wing or abstract icons that were transferred from concrete images ；for instance, curve was like smile of happy, geometric line was like sharp teeth of anger. On the contrary, abstract icons consisted of geometric lines could be judged diversely and individually in cognitive recognition.
In synesthesia features of sounds and icons :1.Delight was easily associated with concrete countenance；anger was easily associated with concrete countenance or teeth of a dog； synesthesia features in sorrow were obvious in analogous sounds（such as rain fall） or concrete countenance；happy was easier to form synesthesia with concrete countenance. 2.Examinees judged the synesthesia features from their life experiences. 3.It was easier to recognize synesthesia because of characteristics of anger or sorrow. However, characteristics of delight and happy were easily confused and overlap in concrete and abstract icons on account of similarity of characteristics
Findings offered guidance for improving the interactive harmony between human and machines in the interface model of emotional sound and icons while using humanity machine as emotional sound system and electric icon design. The result also provided valuable information such as related indication of emotional sound、meaning expressed model and icon cognition for further studies.

中文摘要…………………………………………………………………………I
英文摘要…………………………………………………………………………II
目錄………………………………………………………………………………III
表目錄……………………………………………………………………………VIII
圖目錄……………………………………………………………………………XI

一、緒論…………………………………………………………………………1
1.1 研究動機與背景……………………………………………………………2
1.2 研究目的……………………………………………………………………3
1.3 研究假設與界定……………………………………………………………4
1.4 研究方法與步驟……………………………………………………………7
1.5 研究架構與流程……………………………………………………………9
1.6 研究侷限……………………………………………………………………10
1.7 預期成果……………………………………………………………………10

二、相關文獻探討………………………………………………………………12
2.1 聽覺與聲音的關係…………………………………………………………12
2.1.1 聽覺………………………………………………………………………12
2.1.2 聲音物理特性……………………………………………………………12
2.1.3 聲音的樂音構成…………………………………………………………14
2.2 視覺與圖像之關係…………………………………………………………17
2.3 認知表徵……………………………………………………………………17
2.4 人類認知過程………………………………………………………………17
2.4.1 感覺………………………………………………………………………18
2.4.2 知覺………………………………………………………………………18
2.4.3 認知的信息加工過程……………………………………………………18
2.5 基模…………………………………………………………………………20
2.6 情緒與認知…………………………………………………………………21
2.7 聯覺…………………………………………………………………………22
2.8 情緒性人工聲音與圖像的相關研究………………………………………23
2.8.1 人工聲音與認知之相關研究……………………………………………23
2.8.2 情緒性圖像的相關研究…………………………………………………24
2.8.3 聲音與圖像之聯覺特徵研究……………………………………………26
三、實驗調查規劃與實施………………………………………………………27
3.1 實驗架構與步驟……………………………………………………………27
3.2 實驗樣本標示記號註解……………………………………………………28
3.3 第一階段情緒性聲音與手繪圖像認知表達調查…………………………29
3.3.1 第一階段實驗調查步驟…………………………………………………29
3.3.2 第一階段實驗調查工具與設計…………………………………………29
3.3.3 第一階段受測者資料……………………………………………………30
3.4 第二階段情緒性圖像的辨識性實驗………………………………………30
3.4.1 第二階段實驗調查步驟…………………………………………………30
3.4.2 第二階段實驗調查工具與設計…………………………………………31
3.4.3 第二階段受測者資料……………………………………………………31
3.5 第三階段情緒性聲音的構成分析…………………………………………32
3.5.1 第三階段實驗調查步驟…………………………………………………32
3.5.2 第三階段實驗調查工具與設計…………………………………………33
3.5.3 第三階段訪談對象背景資料……………………………………………33
3.6 第四階段情緒性人工聲音與電子圖像的聯覺特徵分析…………………34
3.6.1 第四階段實驗調查步驟…………………………………………………34
3.6.2 第四階段實驗工具與程式設計…………………………………………34
3.6.3 第四階段實驗變因設定…………………………………………………35
3.6.4 第四階段統計分析方式…………………………………………………37
3.6.5 第四階段受測者基本資料………………………………………………37

四、情緒性聲音與手繪圖像認知表達分析……………………………………40
4.1情緒性聲音的認知表達調查結果…………………………………………40
4.2 情緒性聲音的物理特徵構成分析…………………………………………40
4.2.1 情緒性聲音的高低構成分析.……………………………………………40
4.2.2 情緒性聲音的快慢構成分析……………………………………………41
4.2.3 情緒性聲音的旋律構成分析……………………………………………42
4.3 情緒性聲音的意義表達構成………………………………………………43
4.3.1 情緒意義直接反應的構成………………………………………………43
4.3.2 模擬自然現象的構成分析………………………………………………44
4.3.3 假借物品碰撞的構成分析………………………………………………45
4.4 小結………………………………………………………………………46
4.5 情緒性抽象手繪圖像的構成分析…………………………………………47
4.5.1 點線面構成元素分析……………………………………………………47
4.5.2 圖像構成的類型分析……………………………………………………49
4.5.3 圖像的構成動勢分析……………………………………………………51
4.5.4 情緒特性與抽象圖像構成手法分析.……………………………………53
4.6 情緒性具象手繪圖像的分析與歸納………………………………………53
4.6.1 故事性情節的構成………………………………………………………54
4.6.2 換喻對象物的構成………………………………………………………55
4.6.3 象徵符號的構成…………………………………………………………57
4.6.4 情緒特性與具象圖像的認知表達手.……………………………………58

五、情緒性圖像的辨識性分析…………………………………………………59
5.1 情緒性圖像辨識度與偏好調查分析………………………………………59
5.1.1 情緒性圖像辨識差異分析………………………………………………59
5.1.2 情緒性圖像的認知偏好分析……………………………………………63
5.2 情緒性圖像的辨識性分析…………………………………………………63
5.3 情緒性圖像的辨識特性分析………………………………………………67

六、情緒性聲音構成分析………………………………………………………68
6.1 情緒聲音的構成意義分析…………………………………………………68
6.1.1 喜的情緒聲音構成…………………………………………………………68
6.1.2 怒情緒聲音的構成………………………………………………………69
6.1.3 哀情緒聲音的構成………………………………………………………70
6.1.4 樂情緒聲音的構成………………………………………………………71
6.2 小結…………………………………………………………………………71
6.3 情緒性聲音篩選與歸納……………………………………………………72
6.4 小結…………………………………………………………………………76

七、情緒性聲音與圖像聯覺特徵分析…………………………………………78
7.1情緒性聲音辨識分析………………………………………………………78
7.2 性別對情緒性聲音的辨識差異……………………………………………79
7.3 情緒性聲音與圖像聯覺特徵………………………………………………82
7.3.1 喜的聲音與圖像的聯覺程度及其特徵.…………………………………84
7.3.2 怒的聲音與圖像的聯覺程度及其特徵.…………………………………84
7.3.3 哀的聲音與圖像的聯覺程度及其特徵…………………………………85
7.3.4 樂的聲音與圖像的聯覺程度及其特徵…………………………………85
7.4 性別與聯覺特徵差異分析…………………………………………………86
7.4.1 性別在喜聲音與圖像的聯覺分析………………………………………90
7.4.2 性別在怒聲音與圖像的聯覺分析………………………………………90
7.4.3 性別在哀聲音與圖像的聯覺分析………………………………………91
7.4.4 性別在樂聲音與圖像的聯覺分析………………………………………91
7.5 聯覺感知判斷因素分析……………………………………………………92
7.5.1 聲音感知判斷的根據之分析……………………………………………92
7.5.2 綜合情緒圖像感知判斷分析……………………………………………93
7.5.4 小結………………………………………………………………………94
7.6 休閒活動與聯覺反應關係分析…………………………………………95
7.6.1 小結………………………………………………………………………96

八、結論與建議………………………………………………………………97
8.1研究結果歸納………………………………………………………………97
8.1.1 第一階段情緒性聲音與手繪圖像的認知表達…………………………97
8.1.2 第二階段情緒性圖像的辨識性…………………………………………99
8.1.3 第三階段情緒性聲音的構成……………………………………………99
8.2 結果………………………………………………………………………100
8.2.1 情緒性人工聲音與電子圖像的認知模式……………………………100
8.2.2 情緒性人工聲音與電子圖像的聯覺特徵……………………………101
8.2.3 聽覺與視覺的認知研究嶄新結果………………………………………102
8.2.4 人工聲音與電子圖像的聯覺收穫………………………………………103
8.3 後續研究建議………………………………………………………………103

參考文獻…………………………………………………………………………104
網站資料…………………………………………………………………………108
前測實驗…………………………………………………………………………109
附錄一……………………………………………………………………………141
附錄二……………………………………………………………………………142
附錄三……………………………………………………………………………143
附錄四……………………………………………………………………………145
附錄五……………………………………………………………………………146
附錄六……………………………………………………………………………147
附錄七……………………………………………………………………………148

˙中文部分
1. Allan Pease著，張殿興譯，1988，《肢體語言
》， 台北市，世茂出版社。
2. Henry Gleitman著，洪蘭譯，1997，《心理學上、下》，台北市，遠流出版公司，p.180~181
3. John B. Best著，黃秀瑄、林瑞欽譯，1989，《認知心理學》。(問題)
4. John Fiske著，張錦華譯，1995，《傳播符號學理論》，台北市，遠流出版公司，pp.92
5. K. T. Strongman著，游恆山譯，1993，《情緒心理學》，台北市，五南圖書出版有限公司，pp.3~5。
6. Robert W. Bailey, Ph. D.著，林修如譯，1995，《應用人因工程學》，台北縣新店市，桂冠圖書有限公司，pp.55，pp.70~pp.71、
7. Solso著，吳玲玲譯，1998，《認知心理學》，台北市，華太書局，
8. Windy Dryden著，武自珍譯，1997，《理性情緒心理學入門》，心理出版社
9. 才敏傑，1998，《小型產品顯示介面之認知性探討—以行動電話為例》，國立雲林科技大學工業設計研究所碩士論文。
10.王家祥，1997，《四季的聲音》，台北市，晨星出版社。
11.白明憲，1991，《聲音全相之改良：理論與數值之探討》，台北市，國立交通大
學機械工程研究所。
12.余敏榮，1997，《多階合併式之聲音波形辨識》，國立中興大學資訊科學研究所
論文。
13.余明村，1997，《水晶宮 魚類超能力篇-聒躁的水中世界》，臺灣省漁業局出版品，漁業推廣第124期，pp.49~52。
14.李幼蒸，1997，《哲學符號學》，台北市，唐山出版社，pp.22~24。
15.李江山、孫慶文、陳一平、陳建中、黃淑麗、黃榮村、葉素玲、襲充文、櫻井正二郎，1999，《視覺與認知》，台北，遠流出版公司，pp.9，pp.68
16.何瑞隆，2001，《影像在視覺設計之創作研究─以月曆設計為例─》，國立臺灣師範大學設計研究所在職進修碩士班論文。
17.林芳穗，1998，《從視覺傳達設計的觀點探討線條引起的心理感覺—線條的意
象感覺、吻合情緒感覺和受喜愛及厭惡感覺之研究》，國立雲林科技大學視覺傳達設計研究所。
18.林榮泰，莊明振，1991，從圖像語意探討人機介面圖像的設計。工業設計第73期，pp.85~pp.93
19.林榮泰，1999圖形符號主觀評估認識率的探討，人因工程第一卷第一期，pp.77~pp.88
20.林大偉，1995，《造形與聲音聯想認知之研究》， 國立台灣科技大學工程技術研究所碩士論文。
21.胡惠君，1998，《視覺符號認知研究—以美容塑身電視廣告為例》，國立雲林科技大學視覺傳達設計研究所碩士論文。
22.徐道昌、吳香梅、鍾玉梅，1992，《語言治療學》，台北，大學圖書出版社。
23.莊雅量、莊明振，2000，應用聲音信號表達訊息屬性可能性之研究—以行動電話鈴聲傳達來電屬性可能之研究，中華民國設計學會第五屆設計學術研究成果研討會論文集，pp.379~pp.384。
24.麥哲鳴，1995，《幾何圖形影像資料之CAD向量化研究》，國立中央大學機械工程研究所碩士論文。
25.郭冠麟，1994，《圖形幾何變化的識別》，國立台灣工業技術學院工程技術研究所電子工程技術學程碩士論文。
26.郭美女，2000，《聲音與音樂教育》，台北市，五南書局。
27.陳泰佑，2001，《正面情緒類別、填補機制類別對於等待時間知覺的影響》，國立中央大學企業管理研究所碩士論文。
28.張春興，1992，《張氏心理學辭典》，台灣東華書局。台北。
29.張春興，1995，《現代心理學》，初版，台灣東華書局，台北。
30.張春興，1996，《教育心理學-三化取向的理論與實踐》，台北市，台灣東華書局，pp.86~87，pp.214~215。
31.黃富廷，1997，《分析智障兒發音特質之個人電腦軟、硬體》，南智通訊，57期，2版。
32.黃嘉華，1994，《聲音與多媒體PC》，台北市，全華出版社。
33.黃麗倩，2000，《生氣情緒表現影響因素之研究》，中原大學心理學系
34.黃仁村，1995，《激怒情緒的廣告效果－以藥(補)酒廣告為例》，國立中正大學企業管理研究所碩士論文。
35.星野克美 著，黃恆正 譯，1988，《消費文化的符號論》，遠流出版，台北。
36.黃崇彬、原田 昭，1998，《日本感性工學發展現況及其在遠隔控制介面設計上應用的可能性》，1998中日設計教育研討會論文集， 國立雲林科技大學工業設計系，pp.17~26。
37.彭聃齡，張必隱，1999，《認知心理學》，台北市，台灣東華書局，pp.5~6，pp.10~11，pp.12~14，pp.41。
38.喬 珊，1998，《CCD影像幾何圖形之辨識》，國立中央大學機械工程研究所論文。
39.萬胥亭，1989，《現象學之聲—論德希達的聲音與現象》，國立台灣大學哲學研究所碩士論文。
40.植村 朋弘著，楊靜、李傳房譯，1999，《肢體表現為主的互動作用設計》，1999中日設計教育研討會論文集，pp.14~24。
41.楊 靜，2001，《人工聲音信號在認知意義與區辨性之研究》，國科會專題研究計畫成果報告，國立雲林科技大學，pp.26。(NSC 89-2213-E-224-057)
42.鄒亞權，2001，《收視情境之負面情緒與廣告效果之關聯性--以害怕情緒為例》，世新大學傳播研究所碩士論文。
43.鄧文章，1998，《視覺於登錄階段的視覺處理與語文處理之差異》，國立政治大學心理研究所碩士論文。
44.賴錫欽，1982，《聲音之個人鑑別之研究》，中央警官學校警政研究所碩士論文。
45.鍾聖校，1997，《認知心理學》，台北，心理出版社有限公司，pp.69，pp.177，pp.259
46.簡澤民，1993，《人體工程學》，台北縣新店市，徐氏基金會出版，pp.61~64，
pp.74~75，pp.74~75，pp.77
47.劉家銘，2000，《圖像式功能介面開發模式之研究—以護理紀錄系統為例》，國立成功大學工業設計研究所碩士論文。
48.謝忠利，1994，《圖形使用者介面：本質與隱喻之映對》，國立交通大學傳播科技研究所碩士論文。
49.謝明樺，1999，《視覺對環境音感知之心理影響研究》，國立成功大學建築研究所。
50.饒達欽，1993，《應用於個人電腦上的聲音編輯處理系統》，台北市，國立台灣師範大學工業教育學系。

˙國外部分
1. Bower, G. H. 1981. Mood and memory. American Psychologist, 36, 129~148.
2. Daryle Gardner-Bonneau, 1999, 《Human factors and voice interactive systems》, Boston, Kluwer Academic Publishers.
3. Dodd, D. H., &White, R. M. Jr. 1980. Cognition. In mental Structures and processes. Boston: Allyn & Bacon.
4. Drever, J. 1952. A Dictionary of Psychology. Penguin, Harmonds worth.
5. Ekman, P., 1985, Telling lies, New York: Norton.
6. Freedman, D. G.., 1971, Behavioral assessment in infancy. In stoeling, G. B. A., and Van Der Weoff ten Bosch, J. J. (Eds.), Normal and abnormal development of brain and behavior, pp.92-103. Leiden: Leiden University Press.
7. Fantz, R. L., 1961,The origin of form perception, Scientific American 204:66~72
8. Fantz, R. L., 1970,Visual perception and experience in infancy: Issues and approaches. In National Academy of Science, Early experience and visual information processing in perceptual and reading disorde, pp.351-81, New York: National Academy of Science.
9. Fagam, J. F., 1976, Infants’recognition of invariant features of faces,
Child Development47: 627-38.
10.Izard, C. E. 1971. The face of emotion. New York: Appleton-Century-Crofts.
11.Izard, C. E. 1977. Human emotions. New York: Plenum.
12.Kleinginna, P.R. Jr., and Kleinginna, A.M.1981. ‘A categorized list of emotional definitions, with suggestions for a consensual definition’. Motiv. & Emot., 5, 4, 345-79.
13.McGinnies, E. 1949.Emotionality and perceptual defense. Psychological Review, 56, 244~251.
14.Mandler, G.. 1985. Cognitive Psychology: An essay in Cognitive science. Hillsdale, NJ: Erlbaum.
15.Neisser, U. 1967. Cognitive Psychology. New York: Appleton-Century-Crofts.
16.Noman, D. A. 1980. Twelve issues for cognitive science. Cognitive Science, 4, 1~32.
17.Plutchik, R. 1970. Emotions, evolution, and adaptive processes. In Arnold, M. B.(Ed.), Feelings and emotions: The Loyola Symposium. New York: Academic press.
18.Plutchik, R. 1980. The evolutionary context. In Plutchik, R., and Kellerman, H. (Eds.), Emotion: Theory, research and experience, vol. 1. New York: Academic press.
19.Plutchik, R. 1984. Emotions: A general psycho evolutionary approach. In Scherer, K., and Ekman, P. Approaches to emotion. Hillsdale, N.J.:Erlbaum.
20.Regis J. (Bud) Bates, Donald W. Gregory, 1998, Voice and data communications
handbook, New York, McGraw-Hill.
21.Solso, R. L. 1979. Cognitive psychology. New York: Harcourt Brace Jovanovich Inc.
22.William K. Horton, 1994,The icon book: visual symbols for computer systems And documentation, New York, J. Wiley.
23.毛 峽、丁玉寬、田 耕，1999，《一種圖像向音樂轉化的方法》，北京航空航天大學電子工程系。
24.松田行正，2000，《part》，Designscape 20，designer’s workshop Jun.2000 vol.17no.109
25.松田行正，2001，《モンタージュ》，Designscape 20，designer’s workshop Apr.2001
vol.18 no.115
26.森本一成、西村武、黑川隆夫、押部直克，1998，《音アイコンの音がコンピュータの操作感に与える影響》，BULLETIN OF JSSD Vol.45 No.1 1998
27.鄭 載旭，原田昭，1999，《聽覺情報の印象評價パタ-ンにおける性別差に關する研究》，デザイ學研究第46回研究發表大會概要集，pp.36~pp.37

˙網站資料

基礎聲學 http://www.tw-bethel.com/acoustics.htm
基礎聲學II http://www.tw-bethel.com/church-music-11-1.htm
聽覺心理學 http://www.webjiin.net/rom/ap101.htm
知覺心理學 http://ceiba.cc.ntu.edu.tw/htm
科隆科技http://www.skylarkdevice.com