钉钉推出智能无人前台M2S 搭载“多模态交互”技能

随后从钉钉智能硬件团队获悉，M2S是钉钉面向企业用户推出的智能无人前台产品，基于多模态交互，设备具备能听、能说、会认人，乃至会思考的能力，智能化知足访客接待、员工考勤、自动算薪等企业场景化需求。
据悉，包括M2S在内，钉钉即将在未来组织大会上发布系列智能硬件新品，进一步升级钉钉的“软硬一体”智能移动办公生态。

环球首次利用“多模态交互”的智能办公硬件

搭载多模态交互技能的M2S智能无人前台，能轻松做到“视人而语”，根据来人身份主动供应不同的做事，更靠近人跟人之间的沟通办法。

作甚多模态交互？所谓“模态”，普通来讲即“感官”，多模态交互即是指为机器领悟多种感官，让机器具备视、听、说等能力。
即通过笔墨、语音、视觉、动作、环境等多种办法进行人机交互，充分仿照人与人之间的交互办法。

事实上，从多模态交互技能的观点被提出至今，即便人工智能技能的发展逐步多样化，但真正意义年夜将多模态交互技能实现产品化的却至今未有。
达摩院机器智能技能语音实验室研究员付强(花名：先声)先容，钉钉智能无人前台M2S是环球首个在小型智能设备上利用多模态交互技能，且工程优化成熟的产品。

目前业界主流的语音交互产品，都须要通过“唤醒词+语音指令”的办法进行交互。
而钉钉智能无人前台M2S能够通过图像算法准确检测到人靠近机器的间隔，同时结合钉钉的组织关系，自动判断身份然后主动发起交互，无需唤醒词即可唤醒设备，这也更适用于企业办公场景下的人机交互。

在技能上，M2S基于图像识别的人脸检测和运动轨迹判断，通过云端处理引擎，将音视频信息充分领悟在一起，再结合基于麦克风阵列的声源定位和语音分离算法，纵然多人同时在设备前，M2S也能轻松分辨交互用户机器谛听、理解来人语义的能力进一步提升。
在旗子暗记处理层面的另一亮点是运用了基于深度学习的反应肃清算法，可以有效应对消费级电子设备上的非线性声学效应。

在语义理解上，钉钉智能无人前台利用了包括最新的结合知识的神经网络模型，如Knowledge-BERT等，来检测说话人的行为意图，同时也在数据层面采取了多种增强、企业个性化纠错以及实时热词更新技能等，担保模型的泛化性能。

钉钉组织能力让“多模态交互”找到用武之地

目前主流的AI产品在实际事情时，各模态之间还是独立运作，即虽然这些产品都有眼、有耳，但眼只做图像处理，耳只做语音识别，运行时并没有领悟打算，利用上也就没有形成协同交互。

钉钉智能办公硬件工程师苡仁先容，钉钉目标是打造环球最领先的智能办公根本举动步伐，钉钉智能硬件产品团队在调研海内企业办公场景，以及日本，美国等发达国家的企业办公场景后，创造传统前台效率和管理存在诸多痛点。
比如中国的企业前台，大多都是身兼多职，每每劳碌不堪，作为一家企业的“脸面”，最主要的来宾接待做事反而上不去。
或者是由物业、保安兼职，帮沟通外部访客不专业，沟通、登记错漏繁多，效率低下，乃至让企业丢失主要潜客。
在日本，由于人力昂贵，多数中小企业雇不起前台，只能放一台电话机，访客到前台自行联结，办法传统，效率也很低。
钉钉智能硬件团队希望在环球率先打破，研发一款可以很大程度解放企业前台，能够直接承担前台职责的智能硬件产品。

基于这种思考，和钉钉的组织在线能力，让多模态交互这项AI技能有了落地土壤。
大略来说，钉钉的组织在线能力，让企业组织信息信息高度构造化、在线化。
这种成熟、完善的组织关系和能力，与视觉识别技能相辅相成，能够精准识别员工身份，为多模态交互的落地供应了成熟的环境，也是免唤醒词唤醒、精准身份识别等技能落地以及实现智能访客接待的根本。

M2S通过引入知识图谱技能，建模各企业“员工-职位-部门”间的关系，就可以实现智能匹配，知足访客的精确查找、模糊查找等各种需求。

在人机交互系统的各个环节，引入多模态的信息会使得交互过程更加自然和精准。
据悉，这次钉钉智能无人前台M2S所采取的“多模态交互”技能，正是阿里巴巴达摩院重点研究方向之一。

钉钉构建软硬一体的数字化事情办法

基于多模态交互技能和钉钉软硬一体的办公生态，M2S具备能听、能看、会认人的能力，帮助企业实现智能化访客接待、考勤等场景需求。

M2S通过检测人走近的行为，自动判断身份并主动发起交互。
是员工，自动进行人脸识别智能考勤。
设备采取6核2G A72 CPU，支持0.5s快速识别、8人多人识别、10000个单台设备可识别人数、1000000条离线打卡记录。

是访客，M2S智能无人前台将会进行智能访客接待。
通过主动发起对话，M2S勾引访客进行自助登记，并发起视频通话快速完成身份确认，访客信息录入魔点访客(钉钉的第三方运用);已经安装魔点门禁并设置访客通畅权限的企业组织，被访人在视频通话页面直接点击接待，访客即可限时刷脸进出公司门禁。
同时，来访记录将彻底在线化，访客预约和记录沉淀到线上，实现无纸化的访客接待，支持PC及手机端一键导出访客来访记录，提升统计效率。

同时，基于与钉钉智能人事的打通，M2S还能实现考勤自动统计和自动算薪，让HR再也不用再整理Excel表格、拉数据等等事情上花费太多精力。

钉钉智能硬件奇迹部总经理任卿(花名：易统)表示，钉钉做硬件不是为了将某单一款硬件智能化，而是为打造一个软硬件一体的生态，为企业供应从物理空间到信息系统，及管理思想的全链路数字化。

易统先容，企业数字化就哀求物理办公空间的数字化，空间数字化就须要M2S这样的智能办公硬件。