DeTikZify:将手绘草图或图形自动生成TikZ图形代码
DeTikZify是什么?
DeTikZify 是一个基于多模态语言模型的工具,可以自动生成科学图表的 TikZ 图形程序。它能够将手绘草图或现有的科学图表转换为语义保留的 TikZ 代码,可用来绘制复杂的科学图表。
DeTikZify核心功能
自动图表生成:将手绘草图或现有图表转换为 TikZ 图形程序,生成的代码可以直接用于 LaTeX 文档中。
语义保留:生成的 TikZ 图形不仅在视觉上与输入草图相似,还保留了图表的语义信息,方便后续编辑和修改。
多模态输入支持:支持多种输入方式,包括手绘草图、现有图表等,适用于不同的使用场景。
DeTikZify技术特点
基于多模态语言模型:利用先进的多模态语言模型技术,能够理解图像和文本信息,从而生成准确的 TikZ 代码。
MCTS 基础推理算法:采用蒙特卡洛树搜索(MCTS)算法,能够迭代优化生成的 TikZ 程序,而无需额外训练。
DeTikZify使用场景
快速生成图表:研究人员和学生可以利用 DeTikZify 快速将手绘草图转换为正式的科学图表,节省手动编写 TikZ 代码的时间。
复现现有图表:对于没有语义信息存储的现有图表,DeTikZify 可以帮助重新生成图表,方便进行进一步的编辑和修改。
DeTikZify优势
高质量输出:生成的 TikZ 图形程序能够保留图表的语义信息,确保图表的准确性和可读性。
高效性:通过自动化的图表生成过程,大大减少了手动编写和调整 TikZ 代码的时间。
灵活性:支持多种输入方式,适用于不同的使用场景。
DeTikZify安装与使用
安装:DeTikZify 提供了 Python 包,可以通过 pip 安装。此外,它还提供了 Hugging Face Space 和 Google Colab 的在线演示环境。
使用:用户可以通过命令行启动 DeTikZify 的 Web UI,或者通过编程接口直接调用其功能,包括编译、渲染和保存 TikZ 图形。
模型与数据集
模型权重:DeTikZify 的模型权重和相关模型版本(如 DeTikZify-v2-8b)托管在 Hugging Face Hub 上。
数据集:虽然 DaTiZv2 数据集的公开版本中移除了一些来自 arXiv 的 TikZ 绘图,但项目提供了数据集创建脚本,供用户自行重建完整的数据集。
DeTikZify适用人群
研究人员:需要快速生成高质量科学图表的研究人员。
学生:需要绘制科学图表的学生。
LaTeX 用户:希望在 LaTeX 文档中插入高质量图表的用户。
相关链接
GitHub 仓库:https://github.com/potamides/DeTikZify
Hugging Face 模型页面:https://huggingface.co/nllg/detikzify-v2-8b
Hugging Face 数据集页面:https://huggingface.co/collections/nllg/detikzify-664460c521aa7c2880095a8b
体验试用:https://nllg-detikzify.hf.space/