应用介绍
#视觉RAG #网页检索 #AI工具 #知识库
PixelRAG 是一套 基于爬虫网页截图和视觉模型构建的开源 RAG 检索方案。与传统工具先解析 HTML、再提取纯文本不同,它会直接把网页、PDF、论文或本地应用界面渲染成图像,让视觉模型从像素中理解和检索内容。这样能够尽可能保留表格、图表、公式、排版结构等传统文本解析流程容易遗漏的信息,让 AI 检索到的内容更接近用户真正看到的页面。
项目采用“页面截图、视觉嵌入、向量索引、视觉检索”的处理流程,可将页面切分成图像块,再通过经过截图数据优化的 Qwen3-VL-Embedding 模型生成向量,并保存到 FAISS 索引中。官方介绍显示,团队还构建了包含 3000 万张以上维基百科页面截图 的视觉索引,并在相关纯文本问答测试中取得了较好的效果。
软件功能
像素级网页检索:不依赖传统 HTML 文本解析,而是直接索引网页渲染后的截图内容。
保留页面完整信息:能够识别 表格、图表、数学公式、图片和页面布局,减少纯文本提取造成的信息丢失。
支持多种内容来源:可处理普通网页、PDF 文档、arXiv 论文以及本地应用界面等可视化内容。
视觉向量嵌入:使用 Qwen3-VL-Embedding 对页面截图进行向量化,并针对截图检索场景进行 LoRA 微调。
FAISS 向量索引:将生成的视觉向量保存到 FAISS 中,实现大规模页面内容的相似度搜索。
视觉问答能力:检索结果可交给视觉语言模型分析,让 AI 直接根据渲染页面回答问题。
Claude Code 扩展:项目提供相关插件,可让 Claude 截取网页、PDF、论文或本地应用,并基于截图内容进行检索和回答。
降低解析器依赖:绕过复杂且容易丢失信息的 HTML 清洗、正文抽取和格式转换流程。
模型升级更灵活:索引围绕页面视觉内容构建,后续更换更强的视觉理解模型时,可减少重新抓取和解析原始页面的成本,具体是否需要重建向量索引取决于嵌入模型和索引方案。
完全开源:项目代码开放,适合用于视觉知识库、网页问答、论文检索和多模态 RAG 系统研究。