FramePack：斯坦福大学团队开发的开源AI视频生成工具

FramePack 是什么？

FramePack 是一个由斯坦福大学博士、ControlNet 作者张吕敏（Lvmin Zhang）团队开发的开源ai视频生成工具，它通过帧上下文压缩和抗漂移采样技术，打破了AI视频生成的高硬件壁垒。

FramePack核心特性

• 首尾帧视频支持：用户可以指定首尾帧来生成完整的视频片段，创作者专注于关键画面设计，软件自动填补中间部分，适合制作动画短片或广告宣传片。

• 批量生成：支持批量处理多个视频项目，设置好参数后可一次性生成多个视频文件，提高内容创作者的工作效率，适用于为社交媒体平台准备系列宣传视频等场景。

• 分辨率调节：提供灵活的分辨率调整选项，从高清到超高清，再到适合移动设备的小尺寸视频，能满足不同应用场景的需求。

• 兼容 50 系显卡：支持 NVIDIA GeForce 50 系列显卡，6GB 显存的要求使得大多数现代显卡都可胜任，利用 GPU 加速计算，缩短视频生成的等待时间。

• 长达 120 秒的视频支持：用户可生成最长 120 秒的视频，能满足大多数短视频平台的需求，便于讲述完整故事、传达信息。

FramePack技术优势

• 智能帧压缩：通过改变 Transformer 的 Patchify 核大小，对不同重要性的帧进行不同程度的压缩，将输入上下文压缩到恒定长度，使生成工作负载不随视频长度增加而增加，降低了显存占用，提高计算效率。

• 双向记忆采样：引入抗漂移采样技术，让模型在生成当前帧时既能参考最近的帧，也能回溯到初始帧的核心特征，避免了传统逐帧预测模型中容易出现的漂移问题，提高视频质量，使模型能够生成更长的视频序列。

• 灵活调度策略：支持几何压缩、首帧优先、对称压缩等多种模式，可适配实时直播、图生视频、教学演示等多场景应用。

FramePack应用场景

• 视频编辑：在视频编辑和后期制作中，通过预测下一帧来帮助用户创建连续的视频内容。

• 动画制作：能高效完成动画制作中连续动作的生成任务。

• 游戏开发：为游戏开发提供实时的帧生成，助力实时视频反馈。

• 教育应用：帮助教育工作者更直观地展示教学内容，例如批量制作动态课件。

FramePack安装及使用方法

安装步骤

1. 环境准备

• 你需要安装 Python 环境，建议使用 Python 3.9 及以上版本。

• GPU：支持 fp16 和 bf16 的 Nvidia GPU，如 RTX 30XX、40XX、50XX 系列。

• 操作系统：Linux 或 Windows。

• GPU 内存：至少 6GB。

2. 克隆仓库

打开终端或命令提示符，运行以下命令克隆 FramePack 的 GitHub 仓库：

git clone https://github.com/lllyasviel/FramePack.git
cd FramePack

3. 创建并激活虚拟环境

python -m venv framepack_env
# 在Windows上
.\framepack_env\Scripts\activate
# 在Linux或macOS上
source framepack_env/bin/activate

4. 安装依赖

在激活虚拟环境后，安装项目所需的依赖包：

pip install -r requirements.txt

使用方法

1. 配置参数

在项目目录下找到配置文件（通常是.yaml格式），根据你的需求修改配置参数，例如视频的分辨率、时长、生成模式等。

2. 生成视频

准备好首尾帧的图片文件，将其放置在指定的文件夹中。然后在终端中运行以下命令来生成视频：

python main.py --input_path /path/to/input/images --output_path /path/to/output/video

其中，/path/to/input/images是首尾帧图片所在的文件夹路径，/path/to/output/video是生成视频的保存路径。

3. 查看结果

生成完成后，你可以在指定的输出路径中找到生成的视频文件，使用视频播放器进行查看。

相关链接

GitHub 地址：https://github.com/lllyasviel/FramePack

项目官网：https://lllyasviel.github.io/frame_pack_gitpage/

技术论文：https://lllyasviel.github.io/frame_pack_gitpage/pack.pdf