lemooljiang avatar

数字人初步开发体验 / ai #11

lemooljiang

Published: 13 Jun 2023 › Updated: 13 Jun 2023

数字人初步开发体验 / ai #11

AI·Joe 更新完有一段时间了,运行还算不错。考虑到后期,应该是增强功能和升级之类。前段时间大伟兄对数字人直播很是着迷,一番交流下,想想,升级到数字人也是不错的方案。

初步测试了几个开源的方案,数字人实现一般是两种方案:一是实时生成视频,音频,再合成;二是使用虚拟引擎,直接用音频控制。其中Fay数字人方案挻不错的,集成了很多时髦的方案。

digit.jpg

Fay数字人长这样

上面是Fay采用虚拟引擎的数字人方案: 用音频与用户交流,再用音频控制数字人的嘴型与表情。目前来看,还是比较早期,还有蛮多的细节要做。这里面的细节也挺多的,Ai驱动这块倒不算难,毕竟有过开发AI·Joe的经历,就是虚拟引擎(Unreal Engineer)挺麻烦的,对电脑要求也高,测试时也是很卡,麻烦的一逼!

metahuman.jpg

市面上heygen、闪剪这些数字人方案都还不错,向它们也学习了一些设计思路。下一步是使用较简洁和便利的方法来实现本地数字人的生成和视频,进一步再到直播。大家有好的方案和建议也请不吝赐教。

Leave 数字人初步开发体验 / ai #11 to:

Written by

Designer , Poet , Technology enthusiasts

Read more #cn posts


Best Posts From lemooljiang

We have not curated any of lemooljiang's posts yet. But you can encourage our curation team to review posts by visiting them regularly and by referring other readers. Because we give priority to frequently read content.

More Posts From lemooljiang