上个月底,一家名为“流利说”的企业宣布自己获得了近亿美元的C轮融资,一时间地铁里铺满了其旗舰产品“英语流利说”的广告。人工智能+教育、超懂你的AI老师,此类话术深深吸引了脑极体的老伙计们,让我们摩拳擦掌想要评测一番这款产品。
为了不被AI老师吊打,我们派出了我司英语水平最高的同事(我本人),购买了99元/月的定制课程,进行了为期一周的测试。
(从3号到10号,光是付费课就学了3个多小时,把王者农药的时间花在了英语上T-T)
为了方便大家阅读,我们将对于这款产品的大致体验放在文章最前面:
用过一个星期后,从一个普通用户的角度,我个人对于这款产品的评价不算太差,100分满分,这款产品可以得到70-75分。
图文并茂的全英文教学是其最大特点,沉浸式的教学模式有利于培养语感,较多的口语训练和评分一定程度上弥补了中国哑巴英语的教育缺憾。
当然这款产品也存在着不少的缺点,比如听+读的教学模式对于使用场景有较高要求,缺乏语法教学不适用于应试,教材全英文不适合0基础学生等等。
总是,如果你有一定的英语基础,想练练英语口语/听力,平时又能抽出少量时间专心学习,英语流利说或许是个不错的选择。
但从一个测评者的角度,接来下就要谈谈对于这款产品使用中的不便和发现的问题了。
个性化学习还是个性化推荐?
一开始,流利说提出的AI个性化教学是这款产品最吸引我的地方,因材施教可以说是教育产品的最高境界。在新闻稿中,流利说联合创始人林晖表示:“流利说在AI研究领域的最前沿自适应部分,打造了根本不同于常见的自适应学习方法:流利说的自适应学习系统没有一个预先设定的知识图谱,而是通过递归神经网络的深度学习模型,让系统产生了自学习能力,把学生和对该学生最合适的学习内容的相关性不断提高。”
可是在实际使用中,我完全没有体会到这一点。
交付了99元/月的费用后,我先是做了一套水平测试题,做题的时候感觉测试题很简单,通过一些日常对话做相关语义理解的选择题,加上一些语音简单跟读、文本朗读等等。
(图为一道定级测试题)
而我本人考过英语六级、做过字幕组,对于这种难度测试还是比较有自信的。
不过意外的是,结果测出来我的英语水平是L3,距离四六级考试还有着不小的距离。呃…好吧,对于这种测试结果,我只能当做自己口语太差,而AI老师对我有着严格的要求。
测试之后,我被拉进一个100人的群里,群里有一位流利说的员工,自称是我们的班主任,而群里其他用户都是和我在同一天购买了99元/月课程的学员。
(图为进群第一天,学员们很自觉的开始分组,其中不乏一些好学的微商朋友)
进入App正式开始学习,系统先是让我选择,大意是“学习英语的目的是什么”,我选择了“英文办公”、“旅游英语”等选项。在我的App首页,就出现了一些相应的小课程,例如《旅行好伙伴》、《你喜欢旅行吗》,里面的内容大概是“Do you like traveling”一类的简单对话,读了两课之后,我的感想只有一个:浪费时间。
作为高贵的付费用户,我点开了“定制学”入口,希望在这里能够看到更适合我的课程。定制学的课程根据用户的测试水平自动匹配,作为level3的用户,我可以学习level1-3的课程,但在通关L3之前不能进入L4。
进入L3课程后,学习内容和测试内容差不多,对话理解、朗读打分等等。话题繁杂,涉及到购物、地球自转、形状等等。耐心学了几课后,又咨询了其他同学,我发现,所有付费用户用的都是一套教材,并不会因为学习目的的选择或学习过程中产生的数据所改变,最多题目出现顺序有所变化。而L3的课程,尤其是口语之外的听力、选词填空等,对我来说依然比较简单,做题时依然有种浪费时间的感觉。
(图右为免费对话小课程,图左为付费课程,这个难度大家自己体会一下)
到这里我才明白,原来所谓的个性化学习,只不过是在非付费入口根据我的选择给我推荐一些小课程,跟第一次登录今日头条时选择感兴趣的话题差不多。并且这些课程难度的匹配性很差,对我来说完全不适用。另外我一直没有看到我需要的商务英语相关课程,不知道是因为题库的缺失还是其他原因。
AI老师没见到,人工班主任很辛苦
至于地铁广告上一直说的AI老师……恐怕只能当成一个美好的比喻了。在学习中,英语流利说会为你读的每个句子打分、标注出来哪些词读的不对(准确度待会再谈)。如果你玩过唱吧,你会觉得这个功能很熟悉……在每个单元学习后,英语流利说会展示你的错题,告诉你这一题考察的是哪个知识点。剩下的,没有了。想知道自己究竟是不流利还是单词重音不对?不好意思,听一遍原音吧。想统一复习错误的地方?不好意思,自己整个错题本吧。
(百度翻译配流利说,这样的套路是AI老师教不了的)
AI老师堪称是一位撒手掌柜,我甚至在微信群里见过一些非常认真的学员用XX翻译单独学习课程中句子单词的发音和含义,这些都是AI老师不会教给你的,在App中很难找到明显的入口。
相比AI老师的悠哉哉,微信群里的班主任可以说是非常辛苦了。从她的自我介绍中,我得知这是一个年轻的姑娘,每天负责早上在群里发一首英文歌,督促大家上传学习时间截图,时不时在群里发送直播课链接、小视频、小知识点等等。如果有学员提问,她还要发送语音朗读单词或句子。
(流利说班主任在朋友圈发鸡汤的样子和我的健身教练很像)
除了负责群里的事务,她还要时不时私聊学员,询问学习状态,耐心的解答学员的问题。通过我和班主任的聊天,得知她负责着8个这样的百人群,都是99/月课程的学员。想想她每天要和至少800人聊微信,真的感觉很心疼,想给她的午饭加个鸡腿。
另外,班主任还负责着一项工作,就是帮助学员纠正读音。在流利说的微信公众号上有个很复杂的入口,可以上传一条语音,读课文后,班主任会为你人工纠音,指出哪个单词读的不对,应该怎样读。
(微信跟读人工纠错,建议各大中小学也引入这个功能)
一款以NLP技术为宣传重点口语学习软件,却要靠人工来听+指导800多个人的英语读音……简直是一出现实魔幻大戏啊。
至于NLP技术,emmmm……
以上这些缺点都可以暂时原谅,毕竟英语流利说的NLP技术才是我们关注的重点。
经过个人使用中的测试,我发现在语音识别中,流利说表现较好的是可以从略为杂乱的环境中识别语音。当然,这和硬件自身的拾音能力甚至拾音位置都不无关系。
另外,英语流利说在语音识别中也存在着不少错误,比如在使用时,我某些长单词明显读错了,系统却显示正确,但of、and、a这些较短的连接词却总显示不正确。
这一错误,可能是因为of、and这些词较短,在波形文件被分割时容易和前后连接的词“粘连”,导致错误分割。至于长单词,应该就是长波形文件识别时容易有所忽略。而至于一些单词的重音位置应该在哪、语气语调等等,英语流利说也很难准确识别。在测试时,只要单词没有出现错误,我常常靠着一口干巴巴的Chinglish得到90+的评分。
(知乎上网友的发言,看来这些问题不止我一个人遇到)
语音识别准确度的考量一般分为几个维度,一是上下文、语调、语速的影响,二是对近音词的判断,三是环境噪声的影响。
像英语流利说这种有底稿(不涉及近音词、不涉及上下文语义判断)的语音识别,目前的表现只能算是中流,毫无惊喜。
总之,经过一周的体验下来,我只能说英语流利说是一款有可取之处的产品,但是打起人工智能的旗号,实在有些言过其实了。英语流利说最大的创新,无非是把漏斗理论、补贴政策、用户运营等等互联网常见的理念用到了教学产品中。
在群里,常常能看到班主任宣传他们的返学费政策,大意是购买某一档次的课,经过一段时间后进行水平检测,如果通过可以获得学费返还。
(班主任常在朋友圈大力宣传返学费政策)
99元的低廉课程作为入口,通过人工增加和用户的联系,利用漏斗理论从99元付费人群中筛出愿意购买更昂贵课程的用户。至于返学费,谁不知道是一个变相促销做流水的好办法?脱离开流利说,这套玩法用在任何一款教育产品中都能奏效。令人失望的是,一款据说包含了NLP、知识图谱等等多种高科技的教育产品,依然要靠一个人带800个学生这样密集的劳动进行运营。一想到流利说总部里可能坐着数十位(甚至更多)年轻人,拿着手机面对好几个微信群不断解答问题就是他们一整天要做的事,这样类似“共享家教”的画面让我感觉AI+教育的未来非常渺茫。
总之,英语流利说的运营思路要比他们的人工智能聪明多了。今后我还会用这款产品吗?或许会吧,毕竟花了99块钱。