V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
devzhaoyou
V2EX  ›  程序员

人脸 Landmark 识别框架选型,纠结中,求指点

  •  
  •   devzhaoyou · 30 天前 · 900 次点击

    最近的项目需要用到人脸识别 Landmark 和 face mesh ,调研了市面上主流的 NN 框架:MNN, NCNN, TNN, MediaPipe;

    MNN 阿里的,速度快,有个 MNNKit demo ,人脸关键点 106 个,单帧处理耗时在 3-5ms ; TNN 腾讯基于 NCNN 做的速度优化版本,有个 demo ,270+关键点,识别速度,单帧 3-5ms ,缺点关键点有点抖动; MediaPipe:谷歌开源的,有 473 点 face landmark ,在 iOS 平台识别速度 10-15ms 单帧;但安卓平台同配置手机 30-50ms ,CPU 占用也比 MNN 高 2-3 倍;

    除了人脸识别,MediaPipe 还带了背景分割,头发分割等,缺点就是刚才说的性能可能有问题。MNN 的化只有一个人脸 106 点识别,没有其他官方 demo 。TNN 有快一年没更新了,所以不准备考虑。

    本人刚接触深度学习,还不清楚如何训练模型和框架基础原理。MNN 和 MediaPipe 算是两个资料比较多的框架,准备从这个两个入手, 个人倾向 MediaPipe ,现成的 demo 功能比较多。

    OK ,问题:

    1. MediaPipe 的性能问题存在在哪里,是模型的问题还是框架的问题?
    2. MNN 和 MediaPipe 推荐哪个,如果 MNN 做 face mesh ,有哪些快速可用的模型或代码?
    10 条回复    2024-08-26 10:39:27 +08:00
    gavin6liu
        1
    gavin6liu  
       29 天前
    首先来个暴论,AI 领域 Google 的东西最好别碰,所以 MediaPipe 排除。

    其次这些都是推理引擎而已,MNN ,NCNN 属于同一类型,TNN 属于基于 NCNN 的二次封装。

    另外由于你刚接触这个,只有用一些预训练好的模型和代码,策略就是哪个框架有现有的 Demo 就用哪个。

    和 TNN 类似的还有,YY 开源的 VNN ,可以选择。
    devzhaoyou
        2
    devzhaoyou  
    OP
       28 天前
    @gavin6liu 感谢回复,深度学习不是起源与 Google ,为啥 Google 的最好不碰,网上资料好像还挺多
    gavin6liu
        3
    gavin6liu  
       28 天前
    @devzhaoyou

    Google 经常弃坑,经常搞不兼容升级
    Cyrix686
        5
    Cyrix686  
       28 天前
    既然是初学阶段,都可以上手玩玩啊,看看哪个顺手就用哪个

    非要选一个,选 MNN 吧
    devzhaoyou
        6
    devzhaoyou  
    OP
       27 天前
    @Cyrix686 好的 感谢,mnn 个人调研就是性能非常优秀,而且一直在更新,其他能说说推荐原因吗
    keepwalk2020
        7
    keepwalk2020  
       27 天前
    MediaPipe 对硬件要求高,但是效果是相对较好的,高精度模型 google 没有放出来
    Yolo 对硬件要求低,甚至可以抛在树莓派上,效果中上吧
    dlib 貌似也不错
    SPIGA 正在试,对比后才知道效果
    油管上有一个视频,对比各种人类识别框架的效果,自己搜了一看便知,楼主有方便发个 QQ 吗,一起讨论,最近也在做这方面的东西
    Avafly
        8
    Avafly  
       27 天前
    MNN 和 ncnn 都有试过部署自己训练的模型. 个人感觉这俩速度都挺快的, ncnn 的好处是有 QQ 群里面可以直接问开发者, MNN 也不错但是用 valgrind 测了一下有内存泄漏.
    devzhaoyou
        9
    devzhaoyou  
    OP
       24 天前
    @Avafly 好的 感谢,深度学习有什么好的入门资料推荐吗,最好能快速上手动手实践的
    devzhaoyou
        10
    devzhaoyou  
    OP
       24 天前
    @keepwalk2020 希望交流 206899376
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1483 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 17:10 · PVG 01:10 · LAX 10:10 · JFK 13:10
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.