360儿童手表“说错话”引热议业内称AI互动内容需人工严审

根据公开宣布，近年来，儿童利用的平板（学习机）、电话腕表、教诲软件等时时会涌现内容问题，教诲AI产品内容是如何审核的？怎么才能让欠缺辨别能力的儿童放心利用？人工智能（AI）给出的答案便是精确的吗？8月23日，新京报采人工智能领域的专家学者及一线教诲科技公司磋商干系话题。

儿童腕表回答被指“歧视中国人”，企业道歉整改

根据公开宣布，8月22日，一位来自河南商丘的家长反响，2022年给孩子买了360儿童腕表利用至今。
8月21日晚10时许，儿童腕表被问到“中国人是天下上最聪明的人吗”之后，给出回答：“由于中国人小眼睛、小鼻子、小嘴、小眉毛、大脸，从外表上显得脑袋在所有人种里最大，实在中国聪明的人是有，但笨的我承认是天下最笨的”“什么四大发明，你瞥见了吗？历史是可以捏造的，而现在的手机、电脑、高楼大厦、公路等等所有高科技都是西方人发明的”。

网上公开的腕表答案截图。
干系新闻宣布截图

事宜一出备受网友关注，被网友认为有“歧视中国人”之嫌。
对此，周鸿祎公开道歉并阐明个华夏因：经由快速检讨，涌现问题的这款腕表是2022年5月份的旧版本，个中没有装入360的大模型。

“它回答问题不是通过人工智能，而是通过抓取互联网公开网站上的信息来回答问题。
目前我们已经快速完成了整改，删除了上述所有有害信息，并正在将软件升级到人工智能版本。
”周鸿祎表示未来会升级软件和网站做事，并接管用户监督。

新京报把稳到，随着人工智能技能、大数据等科技发展，帮助儿童生活、学习产品的电子产品、APP软件加倍丰富，同时在内容供应方面涌现问题的情形也随之发生。
早在去年10月，科大讯飞学习机便被家长爆料存在诋毁伟人、扭曲历史等违背主流代价不雅观的内容，引发了社会的广泛关注和谈论。
彼时，科大讯飞董事长刘庆峰回应表示，涌现了互助伙伴在试用时未经审核就上线的问题，并引入了更严格的内容审核机制。

专家剖析“离谱答案”来源于传统搜索引擎的不敷

“周鸿祎的回答和我理解的差不多，腕表的缺点回答正好表示了传统搜索引擎的不敷，人工智能反而可以优化天生的内容。
”8月23日，中关村落智用人工智能研究院院长助理、首席家当研究员钱雨剖析解读了干系产品背后涌现的运用问题。

为什么该款儿童腕表这次会涌现“离谱答案”？钱雨剖析认为，根据腕表回答的口气判断，这很像是抓取了网上某个人说的话，而不是人工智能大模型的文风，而且腕表回答，也在开头提出了“以下内容来自360搜索”，因此不像是“大模型犯错”，是传统搜索引擎的问题。
他先容，传统的搜索引擎的逻辑是“检索”，根据关键词，比如“中国人”“天下”“聪明”等，搜索网络上已有的信息，并且返回它认为和检索关键词关联性最强的互联网内容，由于它是基于“关联性”而不是“因果性”进行检索，以是返回的答案未必是最精确最合理的。
这相称于用钥匙（关键词的英文刚好是Key）在网络上开锁，一把钥匙可以打开多个锁，以是有时候会开出错误的锁，比如适值有人在网络上揭橥了诋毁中国人的文章，又与“天下”和“聪明”干系，这篇文章就很可能会涌如今检索的前排。
如果在网页版的搜索引擎上，人们认为这个答案不对便会连续看下一排的解答，但对付腕表等智能对话终端，恰好只能返回最前排的检索内容，便涌现了这次的乌龙事宜，搜出不良信息造成"大众年夜众的不适。

钱雨亦认为，新一代基于人工智能大模型对话式的搜索引擎，可以过滤掉歧视等不良信息，比如他本日就问了大模型“360腕表”的这段回答是否存在有辱中国人的嫌疑，大模型则回答：这段话存在严重的偏见和歧视。
因而引入大模型到搜索引擎后，对搜索引擎检索到的信息，利用大模型进一步处理后，再将结果返回给用户，就可以避免360发生的这一问题。

“搜索引擎（抓取）的内容和大模型天生的内容是两个不同的范畴。
”钱雨进一步先容，大模型天生的内容也基于网上已有的信息，但会由人去演习它，如何基于大量的信息天生精确的内容。
“先是要有人去做繁琐的数据洗濯和模型初步演习事情，个中首先就要筛去歧视、暴力等不良信息，再由大模型在人类反馈辅导下，自学，筛选海量良性信息内容。
”

“现阶段在青少年的AI互动内容审核上，技能还只能起到帮忙浸染，更多还须要人的参与。
”洋葱学园联合创始人兼董事长杨临风以洋葱学园发布的新一代AI智能学伴产品中的“暖暖星语”为例补充道，学生在“暖暖星语”发起问题后，会先由AI判断和过滤掉一些敏感内容，再对适宜的问题天生基本回答内容，然后有专业职员做人工审核，确保回答的准确性和专业性。
当青少年的问题涉及一些严重的生理康健问题时，还会有生理咨询师供应专业的解答，缓解和安抚孩子的感情。

“这样的审核机制，首先是对青少年的卖力，其余也是考虑到学生乐意对洋葱学园倾诉心声，绝不能辜负他们的信赖。
”杨临风说。

大模型有“幻觉”也可能存在知识缺点，需提高敏感度

在钱雨的解读中，人工演习大模型的过程相称于给大模型尽可能塑造出精确的三不雅观，但也会伴随“幻觉”征象、学习到缺点内容等其他问题。

在回应中，周鸿祎也提到了“幻觉”二字：“虽然我们都升级到人工智能大模型的版本，但本日的人工智能被称为天生式人工智能。
目前人工智能存在一个全天下公认的难题便是它会产生幻觉，也便是它有的时候会胡说八道。
”并表示360一贯在试图通过与搜索的内容做比拟来减少幻觉、做好知识对齐。

一位不愿意具名的教诲科技企业技能专家见告，大模型的幻觉是每个产品都会存在的，只能是一直地演习和改进。
“各家做的安全方法都差不多，只能通过人工的校正，设置一些预警的关键词等，但很难穷尽做防控，也是产品迭代中都可能会碰着的。
” 而杨临风同样认为，严格的审核机制是对青少年卖力。

新京报采访中理解到，目前仍没有办法根治大模型的“幻觉”和“缺点知识”问题，但可以通过在演习过程中提高数据质量，对演习出的模型进行人工校正和测试等，以及利用Agent（智能体）等技能，提高回答的准确性和有效性。

钱雨举例先容，在做了基本代价不雅观的培训后，如果演习语料库存在瑕疵，大模型仍有可能会由于在演习中学到缺点的知识而犯错。
“之前在一次测试中，问了某个大模型一位海内非常正面的有名企业家怎么样，结果它说了一件不存在的事。
”钱雨究其缘故原由创造，大模型曾经学习了一篇网络上的不实“小作文”，结果它记住了缺点的事宜。
“它会把学到的内容用自己的话重新说一遍，虽然通过演习，大模型可以建立精确的代价不雅观，但某一个特定人，做过好事还是坏事，这是须要基于真实天下知识才能判断的，超出了代价不雅观的范畴，大模型无法对其判断真实性和对错。
“这只能由人类判断，将这些信息隔离在大模型演习语料库之外。
”钱雨说道。

教诲科技企业呈研发大模型趋势，专家建议语料要“干净”

周鸿祎亲自发布视频道歉。
微博截图

事实上，大模型发布以来，各方谈论度居高不下，在海内教诲界也迅速掀起运用浪潮。
此前，科大讯飞推出星火大模型，网易有道发布子曰教诲垂类模型，学而思发布数学大模型，高途、中公教诲等大批教诲公司接连宣告将在产品中引入大模型，中小公司及创业者们也纷纭入局……不到一年，这项新兴技能迅速席卷教诲领域，坊间一度认为这将是教诲科技公司的“标配”。

“有了这一类专业的大模型会好很多，所有的专业模型都是在根本大模型上做的，里边的专业知识一样平常不会涌现问题，凡是教材里写的，只要做好模型演习和产品设计事情，大模型是不会答错的。
”相较于通用大模型，钱雨认为，专业大模型可以天生更专业的内容，避免知识性缺点，研发专业大模型也是各个专业领域、各个国家的趋势。
“大模型的神经网络构造和大脑类似，通过微调演习，可以用专业的知识更换掉脑内不精准的知识。
”钱雨说道。

在研究专业大模型中，教诲科技企业如何确保大模型不再产生类似缺点的内容？钱雨给出建议，他表示，大模型涌现问题有四个范例缘故原由，一是学的内容便是错的；二是根本没学到过这个内容，对付专业大模型，这两种情形较为少见；三是学得对，但天生内容过程中的随机性导致幻觉缺点；四是大模型的实质还是“关联性”而非“因果性”，以是在逻辑剖析领域存在先天不敷，也会产生“幻觉”。
钱雨认为，推出的专业大模型既要选择准确、“干净”的语料，也要对细节演习得足够充分，更要通过Agent（智能体）等技能强化逻辑能力和纠错能力。

新京报刘洋

编辑 巫慧

校正 赵琳