V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
jd186
V2EX  ›  程序员

有个想法,手势控制电器,求思路。

  •  
  •   jd186 · 2023-07-12 17:39:57 +08:00 · 1712 次点击
    这是一个创建于 498 天前的主题,其中的信息可能已经有所发展或是发生改变。

    举个例子 一个房间有多个电器

    手势 A 指向电器 A ,电器 A 开、手势 B 指向电器 A ,电器 A 关 手势 A 指向电器 B ,电器 B 开、手势 B 指向电器 B ,电器 B 关 手势 A 指向电器 C ,电器 C 开、手势 B 指向电器 C ,电器 C 关

    使用 Yolov5 具体该怎么标注训练模型或者其他方法。求大佬给个思路

    20 条回复    2023-07-13 20:14:14 +08:00
    yankebupt
        1
    yankebupt  
       2023-07-12 18:21:20 +08:00
    我也在想这个问题。
    然后发现,电器 A 不能是灯
    是灯的话,手势 B ,好了,摄像头什么都看不见了,上红外照明吧
    然后夜视的摄像头好几百,红外下因为光照点不同(正面直射)还不能和可见光的同一套模型,各种烦心事都来了
    看各种竞赛那个高识别率高性能,估计都是钱堆出来的

    我当初想的更激进,我妄想可以用一般非眼动仪红外摄像头捕捉视线实现床上显示屏自动开关。
    后来发现,这个问题早就有人采集好高质量视线数据库等你训练了,之所以还没出成品,不是模型正确率不够,就是硬件钱不够。
    很伤心......
    LLaMA2
        2
    LLaMA2  
       2023-07-12 18:26:42 +08:00
    例子不对,你这个例子让我想起来商场导购向大妈推销「真」「纯」触屏电视,不需要(电视机不配)遥控器!

    体态追踪,手势追踪都涉及到视角。
    LLaMA2
        3
    LLaMA2  
       2023-07-12 18:29:23 +08:00
    @yankebupt 买个普通的摄像头,拆开,把红外滤光片去掉,就得到一个效果不那么好的红外摄像头
    yankebupt
        4
    yankebupt  
       2023-07-12 18:34:26 +08:00
    近距离采集手势的,有 leap motion ,没法用。远距离采集手势,估计得多摄像头 opencv 人体骨架估算手臂指向(可能相对容易),高清摄像头大致判断手势类型(可能需要各个角度的个人手势照片训练),然后合成一下吧……
    yolov5 不知道行不行,看他们标注都是 curved fingers,stretched fingers 什么的,估计不训练偷别人数据的话能识别攥拳和伸平两种手势就了不起了……
    joesonw
        5
    joesonw  
       2023-07-12 18:37:39 +08:00 via iPhone
    可以用毫米波雷达,做人体感应的那种。
    yankebupt
        6
    yankebupt  
       2023-07-12 18:38:13 +08:00
    @ye4tar 红外摄像头没用,要的是红外照明。没照明什么都拍不出来。而且照明在有可见光的时候还不能开,否则过曝。
    yankebupt
        7
    yankebupt  
       2023-07-12 18:40:24 +08:00
    @ye4tar 而且红外照明还和各种东西有干扰,比如各种VR头显主动的被动的统统不支持红外照明,有干扰
    yankebupt
        8
    yankebupt  
       2023-07-12 18:45:49 +08:00
    @ye4tar 说到不配遥控器的电视,还真有个想法,可以在手上手势识别(比如 m5stack 那种大小的单片机,没有广告的意思),然后红外发给电器。(想办法干掉信号反射就是了)
    因为是穿戴品同样没人用就是了。
    lpf0309
        9
    lpf0309  
       2023-07-12 18:53:24 +08:00
    只用训练电器就行了吧,一个手势识别,一个骨架识别,这俩都有现成的模型,关键是骨架识别怎么指向电器,毕竟图像只有 2D ,指向是 3D 的
    TerryRobles
        10
    TerryRobles  
       2023-07-12 21:18:54 +08:00 via iPad
    手势识别好做。但是指向没做过。
    duke807
        11
    duke807  
       2023-07-12 21:26:36 +08:00 via Android
    高清热成像
    至少 320x240 起步
    好似是不怕隐私泄漏,在家光 pp 也不怕被拍
    duke807
        12
    duke807  
       2023-07-12 21:26:59 +08:00 via Android
    @duke807 好处是
    Gill123
        13
    Gill123  
       2023-07-13 10:21:49 +08:00
    小米出了一个皮皮灯,里面有做这个功能
    jd186
        14
    jd186  
    OP
       2023-07-13 14:14:35 +08:00
    @Gill123 再想想再回复
    jd186
        15
    jd186  
    OP
       2023-07-13 14:16:26 +08:00
    目前没有实际性的思路或建议。求大佬漏一漏
    blankmiss
        16
    blankmiss  
       2023-07-13 14:26:36 +08:00   ❤️ 1
    我感觉是伪需求,我有时间指这 指那 已经一句话让小爱同学打开了
    wanniwa
        17
    wanniwa  
       2023-07-13 14:28:04 +08:00
    @blankmiss 是的,感觉还是喊一声方便
    0bing
        18
    0bing  
       2023-07-13 14:36:34 +08:00
    不用训练,靠堆设备:
    2 个动捕摄像头+穿戴手套。你要通过跳舞来控制拖拉机都可以~
    jd186
        19
    jd186  
    OP
       2023-07-13 15:30:09 +08:00
    @0bing 回复前仔细审题
    yankebupt
        20
    yankebupt  
       2023-07-13 20:14:14 +08:00
    @jd186 比较可行的方法可能是苹果表那套方案,通过手表拍照手背上的那两根筋,做固定但精确的手势检测(不知有没有专利),然后确保红外遥控 LED 只照到一个设备就是了
    听 CSDN 说 yolov5 装树莓派里只有 0.3fps 到 3fps ,比较可怕
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1443 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 17:18 · PVG 01:18 · LAX 09:18 · JFK 12:18
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.