任务详情
简介：本项目开发机器学习算法的AI-Vtuber，通过数据训练出customized generic model，让AI在直播中实现简单的杂谈+唱歌+游戏的功能（项目预算和交付周期只是拟定的，可根据实际方案进行调整）基本功能需求：（只是提供一种思路，若有其他更优思路可修改方案） ①bilibili直播间的事件实时监听框架（已有源码） ②使用自然语言处理技术（如NLU的语义理解和NLG文本生成）来处理观众的弹幕输入和虚拟主播的回复文本输出③使用文本转语音技术（如开源的VITS模型）将生成的回复文本转为语音（暂时没想到用哪种技术实现唱歌功能，可以参考下diffsinger模型）④使用机器学习和深度学习技术（如 DQN 和 RL）来实现打游戏的功能⑤使用自研的VTS插件控制LIVE2D模型动作（通过捕捉桌面音频驱动LIVE2D模型的动作实现基本的同步口型等动作）⑥将上述技术整合到一个系统中，并在 bilibili 直播间中实现直播功能
