千影QianYing
千影QianYing简介
“千影QianYing”是由巨人网络推出的有声游戏大模型,包含游戏视频生成大模型YingGame和视频配音大模型YingSound。实现了有声可交互游戏视频的生成,标志着ai游戏领域的技术突破。YingGame由巨人网络AI实验室与清华大学SATLab联合研发,支持角色多样动作的交互控制,用户可以自定义游戏角色。
千影QianYing的主要功能
YingGame:作为游戏视频生成大模型,它能够创造开放世界游戏视频,支持通过文本、图像或传统的键盘鼠标操作来控制角色动作,允许用户自定义游戏角色。YingGame的强项在于角色多样运动与个性化设计,以及无需传统3D建模和渲染的物理模拟特性。
YingSound:视频配音大模型,专门用于根据视频画面生成匹配的音效,包括复杂环境音和角色对话,无需人工提示词,直接从视频内容中提取语义进行高精度音频生成。YingSound的泛化能力使其适用于多种视频类型,从真实场景到动漫和游戏,提升游戏的沉浸感。
千影QianYing模型技术:
YingGame:由巨人网络AI实验室与清华大学SATLab联合研发,支持角色多样动作的交互控制。
YingSound:由巨人网络AI实验室、西北工业大学ASLP Lab和浙江大学联合研发,具备超强的时间对齐和视频语义理解能力。
开放世界游戏:YingGame可生成开放世界游戏视频,通过文本、图像或键盘、鼠标操作实现角色动作的交互控制。
音效生成:YingSound能够根据画面生成与之匹配的复杂音效,实现有声游戏视频。
技术突破:千影QianYing模型展示了通过文字描述生成游戏内容的可行性。
千影共创计划
计划启动:巨人网络启动“千影共创计划”,开放模型技术、应用和原创游戏项目的合作。
合作领域:包括模型技术、模型应用、原创游戏项目等方面的合作共创。
应用落地:加速“游戏+AI”技术的应用落地,推动从降本增效到颠覆式创新的转化。
人才招募:计划中还包括人才招募,以支持技术的持续发展。
开放性:计划旨在通过开放合作加速技术的成熟和应用。
巨人网络在2024年度中国游戏产业年会上推出了“千影 QianYing”有声游戏生成大模型,显示巨人网络在“AI游戏”领域的重大技术发展。