插值”快乐”:理解不同文化中表情符号的强度层次 (Interpolating Happiness: Understanding the Intensity Gradations of Face Emojis Across Cultures)

互联网时代发展,使得(文本)线上交流变得十分普遍。尤其在当前受到COVID-19的影响,线上办公变得更加普遍,线上交流也成了一种非常主流的交流方式。而这种交流方式不可避免的带来一些问题:由于不能使用语气、手势、肢体语言等进行对文本的互补,使得我们容易造成一些误解。这时穿插在文本中的表情包,尤其是内嵌在我们输入法中的emoji表情变得十分受用。然而使用这些emoji还是会不可避免的造成一些模糊以及语义歧义,作者通过提供一个emoji到人类基本情感的强度映射表来解决这些歧义,并通过大规模用户调研,验证这个映射表对不同文化背景用户的鲁棒性。

在此之前有一些关于emoji的相关工作,比如 Novak [1]等人将emojis映射到特定的情感类型——积极的、平常的、消极的等;而 Illendual 与 Sheth[2]等人将该工作进一步推进,将其映射到更广泛的人类基本情感类型;还有一些有趣的工作如 El Ali[3]等人开发了一款emoji推荐系统,将实时识别当前屏幕前的人脸,感知情绪并为用户推荐其最可能想要输入的emojis。

虽然有以上的种种工作,但这些工作者大都将精力放在如何将emoji进行分类以及映射,对情感的梯度层级却少有考虑。

首先应该明确,作者的调研针对的是emoji而非emoticon(颜文字),区别如下。


该工作整体看分为三个主要阶段:

1、对于当前的emojis,是否可以将其映射到特定的情感分类(这是一个对之前工作的验证性总结)

2、提供emoji到基本情绪的映射,并提供比较明确的情感层级

3、为以上表进行验证,验证其对于不同文化背景使用者的鲁棒性

在进行主要调研前,该工作先进行了预调研,主要目的在于将超过3000个Unicode编码的emojis数据集进行缩减,以方便大规模用户调研。该步骤只选取那些模仿人脸表情的emojis,其余进行剔除(最终得到68个emojis以及8个基本情感类)。

之后进行全球大规模用户调研,抽取约1200名世界各地、来自不同文化区间的用户个体。分别针对以上的三个主要步骤,得到如下的结果。

针对emojis到情感的映射部分:

1、大部分我们选取的情感可以被成功映射到基本情感类(46/68);

2、那些用户分类倾向明显的emoji获取本身就带有极高的情绪强度(举例:disgust相关的emojis);

3、一个emoji可能会有不同的情感映射,可以携带“主要情感”和“次要情感”,且一般来说,二者的“情感携带量”呈现负相关;

4、那些被归到“Other emotion”的emojis,并非不易进行解读,而是与上下文的关系非常大。

对于第二部分,情感强度的谱分布:

作者使用ANOVA(Analysis of Variance)的方法进行分析,检验数p的阈值设为0.05。以happines为例得到如下结果:

1、首先观察到,不同情绪聚类之间的谱上的采样分布密度差距非常大,有些是因为特定情感分配到的emojis数量本身就非常少,disgust为例。

2、针对那些分布高度集中的位置,作者提出问题:是否这些同等强度的emojis是冗余的,可否处于简洁性考虑,将其从emoji表中提出,使其变得精简。但随后又从上下文情景不同的角度提出了反驳(情感强度虽然相同,但不同语境适用的emojis不一定相同)

3、对于那些本来就有很少采样的谱,可以使用多个emojis表情重复的方式,来作为“更高强度”的情感在表中进行梯度插值。

下面来到第三阶段,文化背景的验证。

首先,我们直接使用的是Lewis的文化背景模型[4],将文化背景分为Liner-active、Multi-active、Reactive三种。分析方法同样是ANOVA,用于验证各个文化区域的情感强度打分值是否可以显著地被分开,从而说明某个文化区域相对其他文化背景的用户有更“高/低”的打分倾向。

根据探究发现,Liner-active文化背景的用户群体,更加倾向打高分,这从其文化背景的角度考虑有所解释,即:这类人在日常的交流中更加倾向“无情感交流”,更加依赖对话本身而非附加的“肢体语言、手势、面部表情”等,所以,一旦这些情感表露出现,他们就更倾向于变得敏感且易于“过度解读”这些emojis。

最后是对于该文章的一个概览性总结:

1、提出brief-introduction:线上交流引出emojis的大量应用

2、提出问题:ambiguity在情感强度以及不同文化背景两个方面的体现

3、给出调研方式:pre-study以及大规模用户调研方法

4、根据调查结果,给出一个tool或者说table,用于emojis到基本情感类型映射,并且该映射法带有清晰的情感强度的区分,而非仅仅是分类。

5、根据调研结果,表明不同文化背景确有影响,但这种影响是群体内相对的,并不影响我们的映射表的应用,映射表对于文化背景的鲁棒性足够强。

对于相关工作的一些启发:

1、非传统的可视化编码方式?考虑作为一些数据类型的额外编码维度(比如作为标签进行索引)

2、调研方法。(尤其是做大规模用户调研,以及预调研的方法)

参考文献

[1] Kralj Novak P, Smailović J, Sluban B, et al. Sentiment of emojis[J]. PloS one, 2015, 10(12): e0144296.

[2] Illendula A, Sheth A. Multimodal emotion classification[C] //companion proceedings of the 2019 world wide web conference. 2019: 439-449.

[3] El Ali A, Wallbaum T, Wasmann M, et al. Face2emoji: Using facial emotional expressions to filter emojis[C]//Proceedings of the 2017 chi conference extended abstracts on human factors in computing systems. 2017: 1577-1584.

[4] Lewis R. When cultures collide[M]. London: Nicholas Brealey Publishing, 2010.

评论关闭。