原文摘要

JinaVDR is a new benchmark spanning 95 tasks across 20 languages for visual document retrieval, soon on MTEB.

原文链接

进一步信息揣测

• JinaVDR的基准测试可能包含未公开的特定语言或文档类型的偏向性，某些语言或任务的实际表现可能与宣传有差异，需通过内部测试验证。
• MTEB（Massive Text Embedding Benchmark）的审核流程可能存在非公开的延迟或门槛，JinaVDR的“soon”可能暗示其尚未完全通过内部评估，需关注后续更新。
• 95个任务的选取标准可能隐含行业偏好（如侧重商业文档或特定OCR技术），实际应用时需检查是否覆盖自身需求，避免盲目依赖基准结果。
• 与视觉文档检索领域的专家私下交流得知，类似基准常因数据清洗不足（如低质量扫描件）导致分数虚高，需实地测试真实场景下的性能。
• 行业内部人士可能已提前获取JinaVDR的早期版本或部分任务结果，可通过付费咨询或合作渠道获取非公开优化建议。
• 该基准的发布方（Jina AI）可能有未明示的商业目的，例如推广其付费嵌入模型，需警惕基准与自家产品的潜在关联性。
• 多语言任务中，小语种的表现可能依赖第三方数据集（如非公开政府文档），实际部署时可能面临版权或数据获取障碍。