V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
这是一个专门讨论 idea 的地方。

每个人的时间,资源是有限的,有的时候你或许能够想到很多 idea,但是由于现实的限制,却并不是所有的 idea 都能够成为现实。

那这个时候,不妨可以把那些 idea 分享出来,启发别人。
raiz
V2EX  ›  奇思妙想

从音乐的波形能识别出 情感趋向吗? 悲伤 或 愉悦

  •  
  •   raiz · 2015-10-09 12:58:22 +08:00 · 3437 次点击
    这是一个创建于 3362 天前的主题,其中的信息可能已经有所发展或是发生改变。
    16 条回复    2015-10-14 09:43:25 +08:00
    vincentqi
        1
    vincentqi  
       2015-10-09 13:39:35 +08:00
    频谱分析,不止这些,还能识别更多
    powergx
        2
    powergx  
       2015-10-09 13:57:16 +08:00
    感觉这东西 ,计算机识别不出。 比如欢中带怨。
    raiz
        3
    raiz  
    OP
       2015-10-09 13:57:18 +08:00
    @vincentqi 计算量有多大, 目前条件是 单片机,要求实时能识别(一小段时间内)
    gaitana
        4
    gaitana  
       2015-10-09 13:59:09 +08:00
    从腿型能看出处女和非处吗?从鼻子能看出男人 JB 的大小吗
    zhujinliang
        5
    zhujinliang  
       2015-10-09 14:33:41 +08:00
    简单(忽悠人)的办法, FFT ,统计 bpm , bpm 越高越欢快
    更进一步分析的话,得有乐理知识了吧,比如节拍,大调小调什么的,完全不懂了
    google 搜 音乐 情感 分析,能搜到一些论文,看不懂。。。

    FFT 计算量不算小,至少得是 STM32F103 这类的 ARM 单片机吧
    raiz
        6
    raiz  
    OP
       2015-10-09 14:35:40 +08:00
    @zhujinliang 是 M0 的, 现在 64 点 fft 勉强,论文的都是什么机器学习啊, 难
    est
        7
    est  
       2015-10-09 14:41:41 +08:00
    波形就能分析出情感? 标准正弦波是悲伤还是愉悦?
    nevin47
        8
    nevin47  
       2015-10-09 15:07:40 +08:00
    @raiz
    严格意义上来说单纯依靠单片机是不能实现的,但是我们可以将一些工作先在高性能计算机上做好,感觉 LZ 不是太熟悉机器学习这一块的东西,那我用我自己比较熟悉的 SVM 做例子讲一个可能的解决方案吧

    1. 设置好观测方式,也就是<属性>(单纯的波形很难来做分类,可以先获取节拍、波形突变的数量等等,没学过乐理,只能随便举点例子)
    2. 批量获取一些已经知道风格的音乐的属性,也就是获取<样本>,同时要考虑这部分的功能能迁移到你的单片机上
    3. 将这些样本带入 SVM 中进行学习,根据实际情况选择适当的<核函数>、<SVM 训练方法>与<参数>,获取<分类器>,一般来说 SVM 的分类器可以用一个矩阵来存储,落实到 C 语言的环境里面的话可以考虑数组储存
    4. 将<核函数>、<参数>与<分类器>封装成模块,烧录进入单片机,同时将( 2 )中的样本获取模块烧录进去

    其实要获取一个分类器并不是很难,现在除了 SVM 以外还有很多算法可以搞定,我觉得难点在于怎么去设置好<属性>并且较为精确的获取,这一块就是靠人工的事儿了。有一句话不是说“人工智能,越多人工,越多智能”嘛 XD
    menc
        9
    menc  
       2015-10-09 15:14:15 +08:00
    @nevin47 对波形还用什么 svm ,直接上 NN ,能有质的飞跃
    nevin47
        10
    nevin47  
       2015-10-09 15:44:32 +08:00
    @menc 😏不一定啊,测度定好了 SVM 有奇效啊。而且要跑到单片机上面, NN 的话算力够么
    ETiV
        11
    ETiV  
       2015-10-09 16:46:02 +08:00   ❤️ 1
    http://eprints.eemcs.utwente.nl/19893/01/vanderZwaag-Emotional_and_psychophysiological_responses_to_tempo_mode_and_percussiveness2.pdf


    如果是我的话, 会先用 音乐, 节奏, 情感 搜几篇论文, 看看到底有啥关系和怎么判断一首曲子到底是什么样的情感. 然后再开始做.
    pheyer
        12
    pheyer  
       2015-10-10 09:15:04 +08:00
    有情感识别这个研究方向的
    linxy
        13
    linxy  
       2015-10-10 10:29:05 +08:00
    话说 sony 的 walkman 一直有这个功能 分析音乐分类成不同风格
    ggshiney
        14
    ggshiney  
       2015-10-10 10:33:50 +08:00
    我稍发散一下
    “从绘画的色彩分布与构成 识别绘画表达的情感趋向”

    近日的腾讯“鉴黄识别图片色情内容”
    WayneWangWM
        15
    WayneWangWM  
       2015-10-10 11:56:59 +08:00
    不同情绪的旋律与节奏都有特定的规律,要不就瞅瞅计算机声学相关论文,要不就根据这两个变量,上人工做训练集吧
    zty5678
        16
    zty5678  
       2015-10-14 09:43:25 +08:00
    记得《大腕》里,如果把哀乐用快 2 倍的速度演奏出来就成欢快的风格了.......
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   834 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 20:57 · PVG 04:57 · LAX 12:57 · JFK 15:57
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.