感谢伙伴们的努力，感谢投资人的支持，经过我们半年的工作，“爱弹奏”小程序更新了！
“爱弹奏”小程序应该是目前线上体现人工智能最完整的钢琴弹奏评测小程序。“爱弹奏”可一键评测用户弹奏的一首钢琴曲，完成按键分析、识曲、对齐等一系列智能计算，并给出最终评价。“爱弹奏”不要求用户将一个曲目从头弹到尾，允许片段弹奏以及不熟悉曲目情况下的各种错误、跳跃和重复等，用户无需选曲，只要简单按下开始和结束评测，即可一键完成评测。我们目前的首要目标是将这个小程序打造成能帮助钢琴初学者练习钢琴的工具应用。
新版本的特色功能主要有：
-
详细的分析报告。在五线谱上可视和动态地展现弹奏的效果，给出弹奏可能有问题的位置。同时分析报告可分享到朋友圈或微信好友；
-
同时支持音频和视频输入。用户可使用音频（小程序限制可支持10分钟）进行评测分析，也可选择拍摄视频（小程序本身限制，只能拍摄一分钟）或从相册中选择视频上传（因为缺乏视频压缩过程，上传会消耗一定时间）；
-
支持智能音箱作为输入终端。我们自己DIY了一个智能音箱完成评测操作，解放家长的手机，这样小孩自己就能方便地进行评测；
而相比较之前的版本，改进的功能主要包括：
-
检索对齐算法的高度优化。目前小程序主要依靠智能识曲完成用户弹奏曲目的定位，并利用更好的对齐算法完成按键和五线谱音符的对齐。整个计算过程相比较原版本，在效果提升的前提下，处理速度提升了超过一个数量级。现在我们的服务器能够支持更多用户同时使用；
-
分析程序目前允许存在一定的背景声音，包括较低的说话声等，尤其我们目前支持“节拍器”背景音下的弹奏分析，这是比较上一个版本非常大的改进；
-
数字化五线谱、示范弹奏的生成。因为可能涉及版权问题，我们的示范弹奏没有用网上爬取的真人弹奏，但又没钱自己录制，所以只能用程序读取数字化五线谱后生成示范弹奏。不过这样带来的问题是，对于复杂的曲谱，示范弹奏不是非常准确合理，但作为旋律参考还是够用的。
使用方法简介（在使用过程中需要用户信息和授权等，请配合操作）
微信->发现->搜一搜 中搜索 爱弹奏 即可发现我们的小程序。
功能目前分为“曲库”、“弹奏”和“我的”三部分。
打开默认“弹奏”页面后，直接按下“开始评测”按钮，在语音提示（语音提示可在 我的->设置 中关闭）后开始弹奏一首钢琴曲。按“结束评测”后稍等片刻，小程序就会提示评测的结果。同时本次评测记录会出现在下面的列表中。点击分数可进入详细的评测报告页。
下面视频简单体现了目前详细分析报告的效果。点击最下方的 查看详情 后，五线谱上会显示用户弹奏的一些具体问题。
下面两张图显示了使用音频（左图）和视频（右图）时候的报告显示效果。
目前“爱弹奏”主要分析按键的准确率和流畅度方面，所以问题也主要体现在两个方面。小节会按照得分显示相应的背景色，纯白色的小节表示得分很高，颜色越红则表示问题越严重。按键方面，小程序会显示错弹、漏弹、重复弹和多弹四种情况：
注意系统分析出错不一定真正弹错，只是一种提示，钢琴声音较小，噪音或者其他背景音，弹奏速度过快等都有可能造成小程序的错误分析。“爱弹奏”目前还不能分析例如按键强弱、弹奏情绪等问题，这也是我们后续逐渐会解决的问题。
“曲库”部分列举了我们目前支持的所有教材和曲目。当智能识曲出现问题时，用户可以在曲库中选择到对应的曲目页面（会显示曲目的历史弹奏情况）直接弹奏，这样就不会出现曲目定位出错的情况。
“我的”中主要包括用户信息、弹奏历史、用户反馈等辅助信息。各种功能有待大家挖掘，例如：点击弹奏历史最前面的图片会直接跳到对应的曲目页面，左滑记录可删除等。
关于智能音箱
因为这不是量产产品，所以目前不能发售，有兴趣自己DIY的朋友可以联系我。
目前的一些问题
目前我们DIY的智能音箱借助了Google AIY Voice Kit搭建，外表如下图。这个红色按钮就相当于小程序的红色按钮一样，按一下开始评测，再按结束评测。中间的语音交互和小程序也完全一致。家长依然可在小程序中查看弹奏的分析报告。我女儿现在非常喜欢用这个硬件，因为这不需要占用妈妈的手机，妈妈不在身边也可以自己评测了。
转载自久章智能（微信公众号，久章智能于 2020-02-23 转载），内容保持原貌，版权归原作者及原账号所有。阅读原文 ↗