一文了解智能钢琴系统:介绍与分析
|
智能钢琴,是互联网时代的一个全新概念,以智能设备连接App,引导学习者进行自我学习,降低了学习入门难度,与传统钢琴相比使钢琴学习更有趣味性。除了学习,学生在课后要进行大量的练习,智能钢琴完美的解决了练习过程中需要专业指导的刚性需求。 目前市面上与钢琴教学有关的智能化产品有两类,第一类软件类钢琴智能化产品,结合乐音识别技术实现智能化,代表软件是AI音乐学院;第二类硬件类钢琴智能化产品,通过硬件对用户的弹奏数据进行采集,然后由相匹配的软件对数据进行分析和呈现,代表软件是The one智能钢琴、钢琴家和Find钢琴等。 由于乐音识别技术局限性,软件类智能化产品尚不能应用在专业教学中,在实际钢琴教学中,普遍使用硬件类智能化产品。 一、硬件类智能钢琴的分类及介绍硬件类智能钢琴分为两类,一类是与智能设备连接的钢琴,另一类是将智能设备与钢琴巧妙融合在一起的智能钢琴。本文旨在分析第一类智能钢琴系统,只对第二类智能钢琴做简单地介绍。 1. 与智能设备连接的钢琴这类智能钢琴将数码钢琴与手机、平板电脑等设备进行连接,之后通过设备中的App进行练琴,形成人机互动,如下图。 目前在市场上可以见到的有The one智能钢琴App、海伦钢琴的钢琴家App以及罗兰钢琴的彩虹钢琴App等等。用户可通过操作智能设备进行学习练琴、欣赏音乐、查找乐谱以及获得智能陪练等用户体验。
图 与智能设备连接的钢琴(来源:The one官网) 该类智能钢琴通过观看App中的教学视频学习乐理知识和钢琴技能,教学视频由各大音乐院校的钢琴教授或钢琴讲师参与录制,例如The one的教学视频是由著名钢琴家郎朗和中央音乐学院的钢琴老师录制的,学生在家里就可以上大师课。 在陪练功能中,最常用的是跟灯模式,音符弹对时指示灯变为蓝色或绿色并前进至下一音符,弹错指示灯变为红色并且还停留在目前弹奏的音符上。跟灯模式能够帮助学习者在练习过程中熟悉键位,能够在无人陪同的情况下正确的练习。
图 跟灯系统(来源:The one官网) 游戏功能能够提高学习者对钢琴的学习兴趣,例如The one智能钢琴App中内置的类似节奏大师的音乐游戏,海伦钢琴的App中内置推塔、找茬儿等游戏,游戏模式以瀑布流的方式叫用户弹琴,使用户在娱乐的同时可以规范练琴的指法和熟悉键位。 2. 与智能设备相结合的钢琴第二类智能钢琴是将数码钢琴与传统钢琴合为一体的新型钢琴,如Find智慧钢琴和京东方智能钢琴,在传统钢琴的基础上进行改造,取消了琴键上方的琴盖与谱架,变为高清大屏幕,可同时显示4页曲谱,如下图。 此类钢琴操作简单易上手,用户可通过敲击功能图标所对应的琴键来完成查找曲谱、观看演奏或教学视频等操作。
图 与智能设备相结合的钢琴(来源:find钢琴官网) 功能上,通过App远程控制掌握学习进度、自动示范演奏功能、大数据分析弹奏情况为学习者提供准确的指导建议、云平台提供名师教学课程和欣赏视频等海量资源。 此类钢琴在教学上具有更大的特点:
二、软件设计方式本节介绍与第一类智能钢琴的软件设计方式。 1. 乐谱显示方式智能钢琴的软件系统中首先要解决的就是乐谱的显示以及同步的播放。要满足智能钢琴的这类需求,需要计算机音乐制版技术制作的数字乐谱,然后开发对应的解析和重现技术。数字乐谱的制作平台很多,例如Sibelius、Finale、Vexflow、Guido Engine等,他们都具有自己独特的功能。 在上述制作数字乐谱的工具中,最常用和适合的乐谱通用交换格式就是Music XML,Music XML是一个开放的基于XML的音乐文件格式,用于进行音乐交换和音乐分发,Music XML旨在创建一个通用的普通西方音乐记谱格式。 Music XML有两类元素:一类用来标识音乐应该怎样播放,这些元素通常可以被用来导出MIDI文件。另一类用来标识音符在五线谱等上的位置,即谱面,这些元素可以导出XML格式的文件,Finale软件可以渲染为可读的谱面。 在数字乐谱的显示方面,可分为单层模式和双层模式。 1)单层模式 单层模式也就是通过专门的五线谱字体库或乐谱符号图片,将乐谱和播放标记等等安排在同一个层面显示出来,乐谱信息可从Music XML解析得到。
2)双层模式 双层模式包括背景层和前置层两层来显示整个乐谱,背景层为原始的整张五线谱文件,图片或PDF;其他标记等都置于前置层。
2. 乐谱播放数字乐谱的一大优点就是可以被播放,播放同时还可以同步乐曲的伴奏或其他声部的音响,也可以调节播放的速度。乐谱和伴奏的播放有两种方式,分别为MIDI的方式和音频播放的方式。 1)MIDI播放方式 MIDI文件体积小,可节省大量存储空间和数据流量,而且MIDI文件方便编辑,所以可在不降低音质的同时改变它的播放速度。 但由于MIDI文件本身是不发声的,需要准备软件音源配合,但是平台、操作系统、程序设计语言不同,实现音源播放的方法和碰到的问题也都不同,所以导致开发难度比较大。 2)音频播放方式 音频播放不需要提供音源,而且还可以采用真实乐器录音的方式,还原感和音质会比MIDI播放的方式好。音频一般为wav,mp3等格式,所以占用的存储空间和数据流量会大大提高。音频进行变速处理后音质会明显下降,有可能会有延时,不利于显示和播放的同步。 3. 纠错和评分机制智能钢琴最智能的地方就是在弹奏过程中能够实现自动纠错和自动评分的功能。智能钢琴在评判体系中,主要的批判点包括准确度,力度,节奏和时值。 1)准确度 准确度批判可分为漏弹音、多弹音、错弹音。流程为:
关于权值的确定目前并没有相关的论文或理论来支持,所以这也是音乐评判标准量化过程中的一个难点。 2)节奏
在节奏评判时,还存在两个问题。第一,演奏的时间点不可能完全准确,所以需要结合音符时值和当前速度计算出一定的时间冗余度。第二,节奏并不可以完全用计算机语言量化为数据。 3)时值 每个音符实际演奏时值 = 按钮抬起时间点 – 按钮按下时间点。 与节奏评判类似,时值也只能时值只能用一个刻板的量化标准来衡量。 4)力度 在力度的评判上,无法用一个具体的数值来衡量对错或者好坏,所以只能忽略力度的评判。 综上,在整个评判中,对于演奏者音高准确度的批判是较为合理的,占了整个评判的最大比重,节奏和时值占很小的比重,而力度基本可以不予考虑。 4. 谱面排版方式曲谱在软件的排版方式也有两种,包括折行模式和非折行模式。 1)折行模式 采用接近传统纸质五线谱的标准排版方式,当本行乐谱超过页面宽度后,会另起一行继续排版,如下图。
图 The one智能钢琴App截图 这种模式最大的优点就是最大限度的接近纸质谱排版方式,有利于学习者养成正确的读谱习惯。但如果使用与智能设备连接的钢琴,其智能设备终端一般为平板或手机,屏幕的大小会小于纸质乐谱的大小,为了方便预先看到下一行曲谱,一个版面至少要显示两行曲谱,这就导致乐谱的大小会相对较小,在弹奏时识谱会比较吃力。 为了方便弹奏者翻谱方便,与智能设备连接的钢琴一般会采用自动滚动的方式,而与智能设备相结合的钢琴一般会增加两个踏板用来翻页,可以解放双手,尽情演奏。 2)非折行模式 将一首乐谱排版在一行中,播放乐谱的过程中,通过程序自动将乐谱向左边移动,从而达到最终显示目的,如下图。
由于这种模式在屏幕中只需要安排一行乐谱,它最大的优点是乐谱可以以较大的尺寸排版。而该模式有很多的缺点,首先需要将谱号、拍号、调号一直保持在乐谱左边开始处,破坏了乐谱的整体性,当乐谱中出现反复记号以及其他跳转记号等情况时,乐谱需要及时利用程序跳转,弹奏者很难跟上乐谱的显示,其次该模式这种显示方式也不利于学习者养成正确的看谱习惯。 5. 智能钢琴表现模式智能钢琴在目前软件中常用的解决方案有两种表现模式,分别为跟谱模式和演奏模式。 1)跟谱模式 以五线谱谱面为基础,加上标示方法,标识方法通常为一条播放线或其他标识标识需要弹奏的音符,如下图,当弹奏者在弹奏对应时间点的音符并弹对的情况下,“标识”就会移动到下一组需要弹奏的音符上,在该模式下不受拍器的限制,弹奏错误则保持原位置不动。
图 钢琴家App跟谱模式截图 跟谱模式也叫弹对前进模式或者步进模式,在该模式下,基本不用考虑时间和节奏的问题,弹奏者有充足的的时间来识谱,跟谱模式能帮助学习者熟悉谱子,循序渐进。 2)演奏模式 演奏模式也可称为纠错模式或者跟曲模式,纠错和评分机制主要应用在此模式中,该模式也是基于五线谱的谱面,节拍器开始播放后,演奏者需要在对应时间尽量演奏正确的音符,软件实时将演奏结果显示在曲谱上,达到纠错和评分的目的。该模式可以帮助学习者遵照每首曲子的演奏标准,不断磨炼弹奏水平。
图 钢琴家App跟曲模式截图 上图为该模式的评判截图,图中符头为绿色代表演奏者弹奏该音符时准确度、节奏及时值掌控很好;符头为黄色代表节奏和时值稍微差一点;符头为红色代表多音或错音;符头没有变化代表漏音。 6. 钢琴游戏——瀑布流瀑布流的屏幕上方是像瀑布一样下落的方块或长条,下方是键盘,弹奏者通过触摸与长条相对应的琴键或者在与其相连的钢琴上弹奏来完成弹奏,如下图。
图 The one智能钢琴App游戏模式 瀑布流模式的游戏,在弹奏过程中可以起到熟悉键位的作用,学习者可通过对琴键位置的记忆完成一首简单的钢琴作品即使钢琴水平再低的人也可以根据提示弹奏完整的曲子,提高了弹琴的乐趣与成就感。下图为学生使用五线谱和瀑布流的成绩对比折线图。
图 五线谱和瀑布流的成绩对比折线图 可以看到使用瀑布流弹奏后的成绩比使用五线谱弹奏的成绩要高,瀑布流功能可以使钢琴初学者将一首曲子从15.7%的正确率短时间提升到76.6%,表明智能钢琴的出现能够让从来不会弹钢琴的人学会弹奏钢琴,实现了钢琴的普及教育。 三、总结与思考
本文由 @蒲智辉 原创发布于人人都是产品经理,未经作者许可,禁止转载。 题图来自Unsplash,基于CC0协议。 |
时间:2019-12-25 11:25 来源: 转发量:次
声明:本站部分作品是由网友自主投稿和发布、编辑整理上传,对此类作品本站仅提供交流平台,转载的目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,不为其版权负责。如果您发现网站上有侵犯您的知识产权的作品,请与我们取得联系,我们会及时修改或删除。