深入体验南风APP,伊芙·卡莉不得不承认,虽然这款APP很像是临时拿翻译软件过来凑数的,但核心算法确实很强。
甚至一如这款软件宣传标语所说的那样“地表最强”。
除此之外这款软件宣称的摘要速度与摘要准确度碾压同类软件也所言非虚。
等等,想起南风APP这款软件宣传标语中着重强调的“准确度”,伊芙·卡莉突然想到了什么。
现在的新闻摘要软件算法在宣传方面都是强调速度的,很少又在准确度方面大谈特谈的。
倒不是因为准确度在新闻摘要方面不重要,恰恰相反,准确度在新闻摘要这方面极其重要,可以说准确度是衡量一个摘要算法堪不堪用最根本的因素,但各种摘要算法很少有对精确度进行极其精确的量化宣传的。
原因无它,因为现在业内对准确度的衡量缺乏一个统一的标准。
听起来很不可思议,但是事实如此,评估一篇摘要的准确度看似很容易,但其实这是一件比较困难的任务。
对于一篇摘要的衡量而言,很难说有标准答案,不同于很多拥有客观评判标准的任务,摘要的评判一定程度上依赖主观判断。
在摘要任务中,有关于语法正确性、语言流畅性、关键信息完整度等衡量摘要准确度的标准都缺乏一个统一的标尺。
在现今评估自动文本摘要质量的两种方法:人工评价方法和自动评价方法。
人工评估就是邀请若干专家人为制定标准进行人工评定,这种方法比较接近人的阅读感受。
但是耗时耗力,不但无法用于对大规模自动文本摘要数据的评价,和自动文本摘要的应用场景也并不符合。