DeHumor: 分解幽默的可视分析系统(DeHumor: Visual Analytics for Decomposing Humor)

尽管幽默是一项重要的沟通技巧,但理解幽默往往充满挑战——成功地运用幽默需要结合引人入胜的内容构建和适当的口头表达方式(比如停顿)。先前的工作强调笑点(punchline)的文本和音频特征,但忽略了在更长的上下文中对笑点的铺垫(build-ups)。此外,这些理论通常过于抽象,无法理解每个具体的幽默片段。

在这篇研究中,作者开发了 DeHumor,一个用于分析公开演讲中幽默行为的可视化分析系统。

本工作 [1] 综合已有工作中量化幽默元素的技术,增加了对幽默理论的拆解和补充,总结出五个核心设计需求。

  • R1:同时分析幽默的声音和内容以揭示它们的相关性
  • R2:提供视频层级的概览,展示幽默的语音和语言风格及其分布
  • R3:提供上下文层级的概览,展示上下文铺垫中的幽默元素及它们之间的关系
  • R4:在句子层级,支持高亮某个单词和其语音特征之间的成对关系
  • R5:支持直观的交互,帮助用户在不同层级之间穿梭,揭示不同层级的细节。

如下图所示,用户可以使用控制面板 (A) 查找感兴趣的演讲。幽默聚焦 (B) 帮助用户进一步聚焦到具有特定语言和声音风格的幽默片段。幽默探索 (C) 通过增强时间矩阵(左侧)引导用户进行多层次探索,用于总结幽默特征和上下文链接图(右侧),用于分析幽默的上下文及其文本内容和口头表达方式。用户可以点击句子来显示和播放幽默焦点 (B) 中的原始视频片段。

图1:DeHumor的使用界面。

作者使用案例研究来验证系统的有效性,在一个案例中,用户E1使用DeHumor探索“单口喜剧”数据集,并检查喜剧演员如何有效地使用他们生活中的有趣事件来设置幽默。特别是,研究者E1对笑点中词语的使用很感兴趣,并想看看它如何帮助创造幽默效果。

首先,E1在控制面板中过滤了关键词“个人经历”的视频。然后她对经常出现幽默时刻对视频产生了兴趣,她按照笑声的总次数对视频进行了排序,并选择了排名第一的“显然你不能假装你是警察”的视频。

在视频层级中,E1想要探索喜剧演员的语音和语言风格,她发现在笑点中“重复”和“断开”是被频繁使用的两个技巧。E1提出了两个问题,一个是演员使用了什么词语来制造不协调感并且是怎样传达的(对应R1、R4)?第二个问题是,在浏览增强时间矩阵时,E1发现代表笑点的深灰色线条之间的间隔很短,这意味着笑点非常临近,她想知道演员如何在简短的语境中建立幽默感的(对应R2、R3)。

在上下文层级,E1发现开头的一个笑点具有丰富的幽默特征,于是点击时间矩阵找到相应的幽默片段。在代码段中。她注意到包含“警察”一词的短语在笑点前重复了3次。通过检查相应的句子,她意识到演员出现在犯罪现场,那里的人问他是否是警察。为了避免明确宣称自己是警察,他引用了电影和电视中警察的一个常见比喻,误导人们相信他是警察。

在句子层级,E1参考了句子的幽默特征标注,发现演员在笑点的前几个字提高了声音。然后,演讲者停顿了一下,才揭示了内容的实质。“我会问你问题!”,最后,他通过一个语气词“okay”强化了自己的愤怒。E1点击了这个句子,在幽默焦点视图跳转回原始视频片段。

然后E1单击第二个突出的片段,发现上下文摘要中有多个重复的短语,通过观察重复短语中的红色矩形(“to the ground”)和紫色矩形(“going to kill you”、“kills”),她发现这是演员在讲述自己和学生的一次冲突。学生说如果自己输了就“ready to die”,在后面E1发现“ready to die”这个短语又出现了,通过探索这个短语的上下文,E1发现演员说自己才是因为低薪“ready to die”的人,笑点在于演员将低薪工作与教学生所付出的努力进行了对比。演员在薪酬的词语之后插入停顿并提高音量,以强调他对自己的工作具有挑战性但收入低的抱怨。

图1:E1使用humor context来探索语句的上下文。

在查看了原始视频后,E1确认这些幽默特征标注有助于揭示幽默的内容和表达方式。在探索过程中,E1 得出结论,喜剧演员设置了对话场景来讲述他有趣的个人经历。他擅长使用上下文重复来连接故事的各个部分,并使用词语来制造不协调。此外,他调整自己的声音(例如,使用停顿和提高音量)来表达他的情感并增强幽默感。

参考文献:

[1] X. Wang, Y. Ming, T. Wu, H. Zeng, Y. Wang, and H. Qu, ‘DeHumor: Visual Analytics for Decomposing Humor’, IEEE Trans. Visual. Comput. Graphics, pp. 1–1, 2021, doi: 10.1109/TVCG.2021.3097709.

评论关闭。