3月上旬,法国一家AI独角兽公司进军OCR(光学字符识别)领域,发布了一个号称“全世界最好的OCR”产品,根据其技术团队的说明,这款OCR产品具备优秀的准确度和认知能力,能够理解文档的每个元素(包括文本、表格、公式等),从图像和PDF中提取内容信息。与当前市场或学术界其他文档解析工具一样,这款产品(下文中简称为“A产品”)旨在对AI难以直接识别的复杂文档进行解析处理,提升类似RAG等文档场景下的AI应用性能。
产品文档中介绍了它的几项优势:
A产品发布后,全球众多开发团队进行了试用并发布他们的评价。在多元化的使用场景下,A产品获得的评价也各有不同。如下图中的推文表示,在中文样本测试中,A产品的表现没有显著优势。也有AI团队认为,A产品超越了一些前沿LLM的OCR性能,但尚未完全为企业使用做好准备。
在实际生产环境中,A产品表现是否出色?它的中文文件处理性能与国内产品相较如何?
面对这些问题,TextIn测试团队进行了一次针对性测试,基于丰富的真实样本,全方面评测OCR产品能力。
测评指标中分了6个维度,针对标题、段落、文本、阅读顺序、公式、表格进行定量测评。
指标 | 说明 |
---|---|
标题F1 | 2 * (标题识别率 * 标题召回率) / (标题识别率 + 标题召回率)其中:标题识别率=标题匹配的个数(标题编辑距离小于0.2) / 预测出的总标题数标题召回率=标题匹配的个数(标题编辑距离小于0.2)/ 总的标题数 |
段落F1 | 2 * (段落识别率 * 段落召回率) / (段落识别率 + 段落召回率) |
文本编辑距离 | 1-文本编辑距离(med) |
版面阅读顺序 | 计算预测值和真值中,所有匹配段落的编辑距离 |
公式F1 | 2 * ( 公式识别率 * 公式召回率) / (公式识别率 + 公式召回率) |
表格文本识别率 | 文本全对的表格个数(pred)/ 总表格个数(gt) |
表格结构TEDS | 所有表格树编辑距离分数之和(pred,不包含文字)/ 总表格数量(gt) |
表格综合TEDS | 所有表格树编辑距离分数之和(pred,包含文字)/ 总表格数量(gt) |
本次测试基于实际生产环境中的多类型文件样本,包含PDF扫描文件、图像与电子文件,包含印刷、手写字体,语言以英语、中文为主,文件种类涵盖学术、商业、教育等场景,具体种类及数量如下图所示。
测试文件种类 | 样本数量 | 测试文件种类 | 样本数量 |
---|---|---|---|
学术论文 | 20 | 企业招股招股书 | 20 |
金融年报 | 20 | 金融研报 | 20 |
招投标文件 | 20 | 英语手写文件 | 11 |
合同文件 | 20 | K12试卷 | 14 |
电子书 | 20 | 国家标准文件 | 20 |
教育题库 | 20 | 中文专利文件 | 20 |
ESG报告 | 20 | 简历 | 20 |
少线表格 | 20 | 传统表格 | 20 |
银行承兑汇票 | 20 | 增值税发票 | 20 |
测试团队对A产品与TextIn文档解析工具开展对比测试,各项指标测试结果如下图所示。
整体而言,TextIn文档解析在各项指标上表现良好,其中表格解析能力较为突出,公式识别相对一般;A产品在英文论文、英文PDF扫描文档等文件类型上识别效果较好,中文以及手写性能一般,整体技术能力在中文环境及商业文件复杂样本下存在薄弱项。
其中:
如图中识别结果可见,对于英语科学论文样本,A产品和TextIn都可以正确识别标题与文本,其中A产品能完全准确解析复杂数学表达式,而TextIn解析的公式存在细微误差。
对于中文少线表单,TextIn能够正确解析,A产品则无法识别表格结构。
对于英语复杂表格,A产品出现乱码、合并单元格错误等问题,TextIn正确识别特殊符号与合并单元格,但两者都没有准确识别表格中的旋转字体。
对于试卷样本,A产品和TextIn都能正确解析试卷中的印刷体,但无法保证较为模糊的手写字体完全正确,其中,TextIn能够识别部分手写字体,A产品则缺少手写解析结果。
通过实测对比,我们可以更清晰地评估国内外前沿文档解析产品的技术优劣势,便于用户完成技术选型。
👇欢迎后台私信小助手,免费开通在线测试。
⭐欢迎来交流群领取更多福利与大模型应用技术学习材料,与我们共同探讨技术发展与AI应用的可能性。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
扫码关注腾讯云开发者
领取腾讯云代金券
Copyright © 2013 - 2025 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号:粤B2-20090059 深公网安备号 44030502008569
腾讯云计算(北京)有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287
Copyright © 2013 - 2025 Tencent Cloud.
All Rights Reserved. 腾讯云 版权所有