核心思想是：不再将文本作为离散的 Token 序列直接输入 LLM，而是先将其渲染（Render）成紧凑的图像，再利用视觉语言模型（VLM）进行处理。 这种方法将文本的“字形”（Glyph）作为信息载体，通过视觉表征实现对原始文本信息的高密度压缩。一个视觉 Token 可以承载多个甚至数十个文本 Token 的信息，从而在不牺牲语义保真度的前提下，大幅降低输入模型的 Token 数量。

• 论文地址：https://arxiv.org/abs/2510.17800
• GitHub地址：Glyph

deepseek ocr并没有做文本转为图像这一步，重点是对图像视觉压缩然后还原的逻辑验证，而glm的这个框架则是重点在做这个文本转为图像这一前置步骤。

研究背景与核心思想

主流 LLM 依赖于 Transformer 架构，其核心是自注意力机制。该机制允许模型中的每个 Token 与序列中的所有其他 Token 进行交互，从而捕捉长距离依赖关系。然而，这种能力的代价是巨大的：

• 计算复杂度：自注意力计算量与序列长度 N 的平方（O(N²)）成正比。当 N 从 8K 增长到 128K 时，计算量会增长 256 倍。
• 内存开销：存储注意力分数矩阵（KV Cache）需要 O(N²) 的内存空间。对于百万级上下文，这会轻易耗尽现有最高端硬件的显存。

现有的优化方案，如稀疏注意力、滑动窗口注意力等，通过限制每个 Token 的交互范围来降低复杂度至近线性（如 O(N log N) 或 O(N)），但这可能牺牲模型捕捉全局信息的能力。而像 YaRN 这样的位置编码扩展技术，虽然能让模型“接受”更长的输入，却无法降低推理成本，且在超长外推时性能会下降。检索增强（RAG）则通过外部检索来缩短输入，但面临着检索失败导致关键信息丢失的风险。这些方法都在性能、成本、信息完整性这个“不可能三角”中进行权衡。

Glyph 的创新之处在于它彻底改变了模型与长文本交互的方式。它将长上下文处理从一维的序列建模问题，巧妙地转化为二维的视觉理解问题，从而绕开了传统方法的固有瓶颈。核心思想：通过将文本渲染为图像，利用 VLM 的视觉压缩能力，实现对原始文本信息的高密度压缩。

这种范式转移带来的直接优势包括：

• 显著降低计算与内存需求：由于输入序列的有效长度（Token 数量）被压缩了数倍（例如 3-4 倍），自注意力机制的二次方开销被显著削减，从而大幅降低推理时的计算和内存需求。
• 扩展有效上下文窗口：对于一个固定上下文窗口（如 128K Token）的 VLM，若能实现 4 倍的视觉压缩，其能处理的原始文本长度就能达到 512K，极大地扩展了模型的应用范围。

注：与某些仅进行图像视觉压缩和还原的 OCR 模型不同，Glyph 的重点在于文本到图像的渲染这一前置步骤，并在此基础上构建 VLM 理解框架。

技术架构

1. 第一阶段：持续预训练 (Continual Pre-Training)
   • 目标：将模型固有的长上下文理解能力从文本模态迁移到视觉模态。教会 VLM “阅读”各种风格的渲染文本。
   • 方法：使用海量长文本数据，通过多样化的渲染配置（θ）将其转换为图像。这些配置覆盖了文档、网页、代码、暗黑模式等多种风格，以增强模型的鲁棒性。在此基础上，设计了 OCR 任务、图文混合语言建模任务和生成任务，让模型在视觉层面学习文本的结构与语义。这一阶段的产物是一个具备基础视觉阅读能力的模型，称为 Glyph-Base。
2. 第二阶段：LLM 驱动的渲染配置搜索 (LLM-Driven Rendering Search)
   • 目标：在压缩率和模型性能之间找到最佳的平衡点。不同的下游任务可能需要不同的渲染策略，手动设计既耗时又难以达到最优。
   • 方法：设计了一个基于遗传算法的自动化搜索流程。该流程以预训练阶段的多种渲染配置作为初始“种群”，通过迭代进行“变异”和“交叉”，生成新的配置方案。最巧妙的是，研究者引入一个强大的 LLM 作为“分析器”和“评论家”，根据模型在验证集上的表现（准确率和压缩率）来指导搜索方向，从而更智能地探索参数空间。最终，搜索算法会收敛于一个最优的渲染配置 θ*。