小米AI算法能力登顶声音识别领域高峰，AI全面赋能业务再进一步

2023-09-13 10:35 由杨亮发表于 #商业

9月13日消息，近日，小米自研声音识别算法取得最新进展，算法模型领先其他机构，性能国际排名第一。小米是在 Google 发布的 AudioSet 音频标记任务中获得的这一突破。

它是音频标记任务影响力最大的数据集，被认为是声音领域的 ImageNet （注：计算机视觉领域最著名的数据集，由著名学者李飞飞等主持发布），权威性颇高。

Google 将 AudioSet 数据集分为三个子集，前两个子集用于训练，被合并称为 “AudioSet-2M”。正是在这个合并后的训练集中，小米的声音识别算法模型首次在业界突破了50 mAP，刷新了音频标记技术指标，成为截至目前性能最好的模型。

此外，小米还发布了一个 Mini 版模型，适合资源受限的场景。该模型的参数量被压缩到了原模型的约九分之一，远小于其他机构的模型，但性能却优于其他所有机构。

这项技术的突破意味着小米的声音识别算法能力再次精进，小米的众多智能硬件设备应用此项技术后，可以更敏锐地捕捉和识别环境声音，大幅提升硬件的智能化程度，从而为用户创造更加便捷的智能生活体验。

不仅如此，小米声音识别算法下的音频标记技术能力，还为业界的前沿研究提供了巨大的技术价值，有力推动了相关研发进程。

（小米自研声音识别算法性能国际排名第一）

小米算法应用场景广泛，AI赋能惠及普通大众

小米此次精进后的声音识别算法，具有极高的应用价值。它能够广泛应用于小米的智能设备中，大幅提升用户的智能生活体验。具体来说，音频标记算法能够识别广泛的环境声音，比如婴儿的啼哭声、动物叫声、汽车引擎声、爆炸声、烟雾警报、门铃声、水流声等，并让环境中的声音以文字等模态表达，让声音被“看”见。这可以让硬件设备更加智能，为用户带去更高效和更准确的声音识别体验。

以搭载在小米手机中的“小米闻声”功能来说，它可以监测 14 种重要的环境音，包括火警、婴儿啼哭、烧水壶声等，并以手机通知栏进行文字推送。这让听力障碍用户得以“看见”生活中的声音，与普通人一样享受智能生活的便捷。小米手环也可以同步显示和接收这样的声音信息。

智能家居设备上的应用则更加广泛。小米的声音识别算法已经应用于众多的智能家居设备中，比如米家摄像头的宝宝哭声监测功能，它能在监测到宝宝哭声的时候，实时向用户手机推送通知。

Xiaomi Sound 音箱也搭载了声音识别功能，它能够识别家用报警器、婴儿啼哭、火警、流水、猫叫、狗叫等六种用户关心的家居环境声音。小米健康 APP 的睡眠鼾声监测，则可以帮助跟踪用户睡眠时的鼾声梦话。

此外，针对家庭场景，小米还对音箱环境音的监测做了特别适配。比如为了避免一开水龙头就触发通知，打扰用户，研发人员将水流声的识别提醒条件改为一分钟之内多次监测到。

这项算法技术还广泛应用于小米机器人的研发中，大幅提升了机器人的感知能力。小米历时10个月全栈自研的第一代全尺寸人形机器人 CyberOne，可以识别 85 种环境声音，能够通过听觉感知 6 类、45 种人类情绪。而小米第二代仿生四足机器人 CyberDog 2 则可以识别 38 种环境声音，实现更强大的动态响应能力。

小米强大的 AIoT 平台生态，为这项算法技术的应用提供了广阔的空间，这也是小米技术研发的先天优势，有丰富的场景推动技术迈向应用层面，让科技成果真正惠及普通大众。

目前，小米的声学语音团队已将自研声学语音技术全面应用于小米手机、音箱、电视、耳机、手表、机器人等 79 个品类，共计 5000多款智能产品中。而小爱同学的月活跃用户数量则达到了1.15 亿，是世界上最忙的语音助手之一。

长期深耕底层技术，小米推动行业前沿探索向前迈进

小米自研声音识别算法的突破，还为业界的前沿研究提供了巨大的技术价值。目前，业内已知的相关研究成果几乎都应用到了预训练的音频标记模型，用作音频编码，为音频领域的研究提供关键的音频信息提取能力。

小米此次在音频标记任务上的出色表现，不仅充分彰显了技术实力，更直接推动了音频领域前沿探索向前迈进。

这是小米又一次展露出深耕底层技术的决心和实力。今年8月，小米对其科技战略进行了升级，提出“选择对人类文明有长期价值的技术领域，坚持长期投入”的科技理念，并指出了具体路径和原则，即深耕底层技术，长期持续投入，软硬深度融合，AI全面赋能。

事实上，历经十三年的发展，小米的技术研发已经从应用层面更多转向了底层技术层面。其中 AI 领域是小米长期持续投入的底层赛道之一。据悉，小米自2016年组建AI团队以来，人工智能团队经过7年6次扩展，人员规模已达3000多人。

同时，小米 AI 技术能力也已经覆盖了视觉、声学、语音、NLP、知识图谱、机器学习、大模型、多模态等众多方向，并全面赋能了手机、汽车、AIoT、机器人等众多业务板块。

2023年4月，小米还正式组建了 AI 大模型团队，全面拥抱大模型，目前陆续有了一些应用尝试。其中第一个应用大模型，就是将智能语音助理小爱同学升级了大模型版本，并开启邀请测试。这次声学语音团队刷新行业音频标记技术指标，再次证明了小米强大的AI实力。

从更全局的视野看，小米的技术体系已蔚然成林，研发布局进入了12个技术领域，包括5G 移动通信技术、大数据、云计算及人工智能，同时基于智能制造，进入机器人、无人工厂、智能电动汽车等，总体细分领域达99项。小米的技术研发还有持续的资金保障，未来五年（2022-2026）研发投入将超过1000亿元。

小米还在持续通过多个层面的努力提升科技创新能力。9月11日，小米正式成立集团科协暨院士专家工作站，携手更多力量、汇聚更多资源进行关键核心技术攻关，加强基础性、前沿性研究和成果转化。

（9月11日，小米集团科协成立暨院士专家工作站授牌仪式在京举行）

中国科协党组成员、书记处书记殷皓在当天的授牌仪式活动中表示，小米集团科协的成立，体现了小米集团高管对科技创新工作的高度重视。他指出，期待小米集团科协充分发挥资源优势，大力普及科学知识，拓展开放合作，共同营造具有全球竞争力的开放创新生态。

中国工程院院士丁文华成为小米院士专家工作站的首位进站院士。他指出，在以手机镜头为代表的成像技术领域，小米实现了光学镜头小型化的重大突破，是行业的佼佼者。

小米已经牵头成立了智能图像处理北京市工程研究中心，他希望未来能够努力升级为国家工程研究中心。他还表示，期待与小米科技工作者团队共同开展关键技术攻关，推动行业向前发展。

在新的科技战略指引下，小米正朝向着世界科技巨头的目标锐意进取。而在历经十三年的丰厚积淀，又汇聚起强大外部科研力量后，小米势必迸发出更加强劲的创新活力。