评选 | EGA2019评分标准算法白皮书发布

文章目录[隐藏]


上周,我们公布了EGA2019全国优秀密室主题评选的入围结果。

在全国四万余名爱好者与二百位评委的共同举荐下,近三成参选主题成功入围。在接下来的“评委评选”阶段,所有入围主题将为“2019全国最佳密室主题”展开角逐。

评选 | EGA2019评分标准算法白皮书发布

与往届相比,本届评选得到了大家更多关注,让我们的动力满满的同时也压力倍增。

密室这种实景娱乐体验,无法像游戏、电影、小说等文娱产品能得到广泛而统一的体验反馈,其产品的强地域性,非标准化特色让评选变得很难,各地玩家口味,体验数量,范围皆不同,而且同样主题各地门店的产品也会有很大差异,如何尽量客观去发掘大家心目中公认最佳,是我们面对的最大挑战。

前三届评选,我们每年都在更新评选规则,收集大家的反馈和意见,并把我们收集的各方数据进行总结,本届评选我们专门邀请了数据专家小组重新设计“评分算法”与“评分工具”,并制定《2019评分标准算法白皮书》在我们有限能力范围内尽力做到最好

2019评分标准算法白皮书

EGA全国优秀密室主题评选

作为新兴产业,线下实景娱乐一直在进化和变革,而作为专业的测评团队,我们的测评方式也始终在紧随行业发展的脚步,同步进行调优和改革。既要保持严谨的态度,又要拥抱每一次新的变化和变革,以保证最终的测评结果专业和权威。
评选 | EGA2019评分标准算法白皮书发布

2019年EGA评选的评分标准将分为3个步骤逐步进行 ——

● 测评维度的权重调研和调优

● 测评主题的打分机制重制

● 跨区域的全国测评及调优

纬度权重的调研和调优


● 纬度的分割
随着实景娱乐的发展,娱乐的形式和内容都在进化,有了更多的创意,形式也更加多样化,相对于之前的测评维度,2019年我们对维度进行了重新的分割,以保证测评的维度能紧跟时代步伐。

每一种新模式的引入都意味着一种新的尝试,也会给测评带来新的维度的考量,但是这并不意味着缺少创新元素的传统密室会在这其中失去竞争力。对于新的创新元素的引入,其维度会相对发生变化,但权重的总值和相对值保持不变,因此最终分数的计算方式不会发生改变。 

评选 | EGA2019评分标准算法白皮书发布
如果新的维度在维度调研中产生了较大的权重值,则这个新的尝试则会被定义为线下娱乐实景中的重要变革量,其维度下的相应密室会获得相应的创新鼓励值,也会在将来的量化中考虑成为核心元素之一。
除了综合比分外,个别维度将会被抽出综合出一些特色的奖项,对于热衷传统,或者是热爱创新的密室,只要定位明确,都能得到相应的奖项。
● 纬度的权重值
纬度的权重将不会由个人决定,每个人都将对维度的权重给出自己的理解值,最终权重值将由每个玩家决定。

[调研片段]

请用户对于以下因素的重要性进行打分(10分满分)。
评选 | EGA2019评分标准算法白皮书发布
同时,考虑到不同区域的玩家,其喜好和偏重点会有所不同,权重值的计算会以区为单位,每个赛区的权重值由该赛区的玩家来决定。每一年的权重比例都会由当年的投票决定。

最终的权重值会进行相对调优计算,保证最终总和始终为1,且维度之间的相对比例始终相同。

测评主题的打分机制重制


密室的评分将由众多评委给出相对专业的玩家视角分数,同时也会参考以往以往获奖作品,给出设计者专家视角分数。对于数据的量化算法,我们也在精心设计后邀请了帝国理工大学相关专业的博士为我们进行解析和优化,保证数据科学有效。

评测数据专家组介绍

2019年的测评算法,我们邀请了毕业于帝国理工大学的博士生,同时现在在华中科技大学担任硕士生导师的包子同学为我们进行了打分算法的审核和重构,除此之外,还有目前就职于亚马逊,担任资深数据科学家的镜子同学,专攻大数据领域的硕士研究生花花同学,以及毕业于香港大学,目前在亚马逊担任软件工程师的饺子同学来对算法进行优化和提炼。

评选 | EGA2019评分标准算法白皮书发布

● 玩家视角测评
每位玩家评委将在测评期间通过测评积累自己的贡献值,其最终打分也会根据贡献值进行最终的个人测评分数调优。

往年的测评中,评委会对单个主题进行投票打分,而2019年将不同于以往的单个密室独立打分,而采用对比式评分。对比式评分的好处是玩家在评判过程中的标准将相对统一,且测评出的结果呈正态分布而非平均分布,更加符合自然数学规律。

评选 | EGA2019评分标准算法白皮书发布
玩家测评 – 对比式测评排序
测评过程将随机排序所有参赛作品,后采取晋级式测评(如下图)。每个评委的初始排序都是随机给出,完全不同。随后评委根据当前的维度选择自己觉得更优的作品。经过滚轮式比较后,可以得到当前评委对于当前维度下,对于参赛作品的心理排序。 
最后给出的纺锤形优先级排名,也将考虑不同评委参与过的主题数量可能有所不同,为保障公平性,每个优先级的分数将根据该评委的打分独立计算。 
在评委给出测评的比较结果后,比较结果的层级关系将会用做初始数据之一,结合评委的贡献值,使用公式计算出最终结果。Px的标准公式如下:

评选 | EGA2019评分标准算法白皮书发布

例如一个作品只被50个评委测评过,则它将只出现在这50个评委的测评结果中,且它的相对分数将只考虑这50个评委的贡献值,结合该作品的分数,运用专门的公式得出最终分数。避免部分作品因为开业较晚,评委体验过少而得到不公平待遇。

玩家测评 – 贡献值计算

所有玩家评委在整个评审过程中,将参与大量的作品体验,并给出体验报告,这些都将计算入该玩家的贡献值中,体验报告的文字质量也影响贡献值。

同时,参与体验过的主题更多的玩家,其贡献值也将更高。贡献值不累积入次年,但是可以作为次年选拔评委的条件之一,为了避免单个玩家的贡献值过高,话语权过重,累积时将进行封顶折算。 
评选 | EGA2019评分标准算法白皮书发布

玩家测评 – 最终结果的稳健性计算和调优

主题的最终分数包含维度分数,区域分数和全国分数三种。

其中维度分数直接由评委测评分数给出,只考虑评委的测评结果和评委的贡献值。

主题区域分数将考虑该主题的所有维度分数和维度权重计算得出。

全国分数的计算则会考虑块区域维度权重的重置,由全国维度的权重,和跨区域相对分数的重置计算后得出。

总分数由维度最终分数乘以权重后相加得出。
评选 | EGA2019评分标准算法白皮书发布

以维度为单位的计算则涉及到评委的贡献值和打分,后台的回归值的分析计算,在计算中首先会根据打分的分布计算出其分数的分布规律,在最终的分布规律计算中我们将统计当前普及率最高的几个分布值统计方式,即拉普拉斯分布,高斯分布和正态分布,随后判断其分布更符合哪一个特性,即在哪个分布算法中的偏差最小,稳健型最强,最后根据其分布参数算出P值最大点的分数。

单个主题在单个评委的单个维度比较最终分数将根据分布方式的公式计算出参数,得到最终最高点分数。由于保密性需求,算法公式将不予公开,以下列出此次算法中运用到的分布模型及其公式。

正太分布的公式及分布图示例:

评选 | EGA2019评分标准算法白皮书发布

拉普拉斯分布的公式及分布图示例:

评选 | EGA2019评分标准算法白皮书发布

高斯分布的公式及分布图示例:

评选 | EGA2019评分标准算法白皮书发布

模型选择

我们会根据最终模型的参数以及其与分数分布的方差,来得出最终使用的模型数据以及在该模型中取得的最终分数值。

方差计算示意图:

评选 | EGA2019评分标准算法白皮书发布
● 最终分数调优
在公布最终结果之前,后台会对主题的分数进行抽样测试,查看评分是否具有聚合性,太过离散的分数则代表该主题的争议较大,对于类似的争议性主题,也会被纳入考虑因素之一,在这种情况下,专家视角的测评结果权重将会适当增加。

最终的分数会进行整体分布统计,确保分数的最终分布符合科学分布规律。

跨区域的全国测评及调优



相较于区域内的评选,全国范围内的评比难度在于如何打破地理壁垒,降低评分的主观性,公平的评选出全国范围内的最佳实景。 
2019年的全国测评方案,将在每个区域筛选出3~5个远征最受欢迎项目,这些项目将作为基准项目,也称之为参照物项目,每个远征过的玩家评委和专家评委将会对所有的参照物项目进行测评打分,作为最终全国范围内的项目分数集成的参照分,所有分数采取相对分数的模式进行调整,从而得出全国范围内的最高分密室。
评选 | EGA2019评分标准算法白皮书发布
由于多区域的维度权重不同,为了量化统一,最终全国评比的维度的权重将会综合所有区域的维度调查结果后得到平均值,也就是说,在全国评比过程中的维度权重,可能和任何一个区域的权重都不相同,是综合了全国玩家后给出的权重结果。
基准项目的分数计算依旧以维度为单位,在计算过程中,参照项目之间会被互相评比打分,得到他们之间的相对分数,其所在区域的分数会根据参照物项目的分数进行调整,最终综合全国项目的最后得分排名。
– 参考文献 –

江伟  奚欢  《多维正态分布函数近似值的研究》 2017年

维基百科《Laplace Distribution》 https://en.wikipedia.org/wiki/Laplace_distribution

张金槐《验前分布的稳健性》2000年

朱仲义,韦博成《半参数非线性模型的统计诊断与影响分析》2001年

随着大众评选投票结束与评选入围主题的公布,我们将基于《EGA2019评分标准算法白皮书》,开展“EGA2019全国优秀密室主题-评委评选”的相关工作。
另一方面,由于受新型冠状病毒感染性肺炎疫情的影响,“EGA2019全国优秀主题评选”的颁奖典礼需要延期,整体评选进度将依据实际情况适当延期。
目前,各分区已完成对入围主题的补提与确认,各区团长也已开始对分区参选主题的测评工作的进行阶段性总结,并根据评委的表现评定贡献值。
各项大奖花落谁家
让我们一起静候结果
评选 | EGA2019优秀密室主题评选-入围公布 2020-03-03
评选 | EGA·2019大众评选正式开启 2020-01-17
评选 | EGA·2019参报主题最终名单公布 2019-12-17
评选 | 2019EGA全国评委名单公布 2019-08-05
EGA·2019全国优秀密室主题评选-报名启动 2019-07-02

沿 / 深 / 权

ID:Chinaega

评选 | EGA2019评分标准算法白皮书发布

“ 不了解密室逃脱?

我想你应该关注一下