目前有2个方案,1个是基于google的midiapipe https://github.com/google/mediapipe
facemesh是基于js+npm安装,缺点就是返回的网格信息没有绑定骨骼动画,也不支持morph
流程大概如下
另外一个方案需要神经网格+训练
https://github.com/huailiang/face-nn
这套方案的是,我们把捏脸的数据interface 暴露,走对比和训练
*unity 项目训练方案
目前来看方案2更适合cocos,用户上传服务器,服务器返回生成好morph,颜色,和骨骼数据,本地做渲染,可以完美的支持骨骼动画;