GPT-4系列模型，在文档理解中的多维度评测

今日应用

阿里云AI数字人

阿里云——阿里巴巴集团旗下公司，是全球领先的云计算及人工智能科技公司之一。提供免费试用、云服务器、云数据库、云安全、云企业应用等云计算服务，以及大数据、人工智能服务、精准定制基于场景的行业解决方案。免费备案，7x24小时售后支持，助企业无忧上云。

今日话题

GPT-4系列模型，在文档理解中的多维度评测

 

重点标签 AIGC社区、大语言模型、文本生成、图像理解、市场研究

文章摘要

Snowflake研究人员发布的论文深入探讨了OpenAI的GPT-4系列模型在文本生成、图像理解、文档摘要等方面的能力。通过对GPT-4、GPT-4 V、GPT-4 Turbo V +OCR等模型在DocVQA、InfographicsVQA、SlideVQA和DUDE数据集上的多维度测试，研究人员发现GPT-4在执行文档解读任务时效果不佳，原因在于文档理解不仅需要文本解析，还需理解文档布局、图片视觉内容等。

GPT-4 V在评测数据上表现有所提升，而结合第三方OCR技术如Tesseract、Azure Cognitive、Amazon Textract等，GPT-4 Turbo V+OCR在视觉理解能力上显著增强。然而，研究也指出了数据污染问题，即GPT-4系列模型在DocVQA和InfographicsVQA数据集上可能因为预训练时接触过这些数据集而给出看似正确的答案，而非真正的理解。

为验证这一点，研究人员采用了“指导性指令”技术，通过在模型输入中加入特定数据集名称，检查模型是否根据数据集特征给出不同答案。结果显示，当明确提及数据集名称时，模型性能提高，暗示模型在训练时已接触过这些数据集。

此外，实验还发现，结合OCR技术的GPT-4 Turbo V在文档理解任务上表现显著提升，尤其是在SlideVQA和DUDE数据集上，达到了先进水平。OCR技术将图像文本转换为机器可读格式，使模型能直接处理文本信息，从而增强了对文档的视觉理解能力。不过，不同OCR技术在不同数据集上的表现也有所差异，表明开发者可根据应用场景选择适合的OCR技术。

整体而言，论文揭示了GPT-4系列模型在文档理解任务中的潜力与挑战，并强调了OCR技术在提升模型视觉性能方面的重要作用。同时，也提醒了在模型评估时需注意数据污染问题，以更准确地衡量模型的真正能力。

文章来源

原文地址: 点我阅读全文
原文作者: AIGC开放社区