081125[mz2]他者の感情を，目と耳で推し量ること

081125[mz2]-1 emotion; multisensory; disgust; fear
Audio-visual integration of emotion expression

ふつう誰かと面と向かって話しているときに，その相手の感情を推測するには，
1)表情（視覚情報）
2)声（聴覚情報）
3)話の内容（聴覚情報）
4)身体動作や身体状態（視覚情報）
などが手がかりになると思われるが，3)4)を除いた状態（言語じゃなく，顔部分だけ）での，
1)2)の統合的処理についての心理学的（行動学的）検討。
つまり，表情手がかりと，音声手がかりのみを呈示して，（この実験では）恐怖か嫌悪かを判断。

研究1では，
視覚のみ，聴覚のみ，視覚＆聴覚（一致，または不一致の同時呈示）。
→両モダリティ呈示において，速くて正確。
　ただし，不一致条件では視覚優位。
　しかし，表情がノイジーな条件下では，音声に従った判断をする。状況に依存。

研究2では，
視覚＆聴覚同時呈示において，「強制的に」一方のモダリティ情報に注意を払わせる，という
条件でのパフォーマンスを検討。
→無視すべきモダリティの側の情報の影響を受ける（不一致条件下で）。
　特に，研究1と同様，注意すべきモダリティからの情報が劣化しているときには。

...ということで，対人場面における相手の感情の認知は，
わりと強固にマルチモーダルになっている，という。

「他者感情の認知」の研究で，視覚と音声を同時に呈示するという，
この研究のようなのは（とはいえ，その方がずっと自然なはずなんだけど），
あまり多くない。