读图表：客户给了一张图，没给数据表

译者说明：本文译自 Google Gemini Cookbook，原文为可运行的 Jupyter Notebook（Apache 2.0 许可）。 此处翻译说明性内容与提示词，代码原样保留。方法通用——Claude 也能读图， 站里另有一篇讲把幻灯片转成可追问的叙述，两篇互补。

关于日期：Cookbook 是持续更新的仓库，页面上没有发布日期。本文的日期取自该 notebook 在 GitHub 上的首次提交日期，也就是这份内容第一次被生产出来的时间。

Gemini 是强大的多模态模型，能同时处理文本和图像输入。本文展示它如何从各类图像中提取数据。

一、读一张图表

原文的第一个例子是一张模型评测的对比表格图。

prompt = """You are a tool that interprets tables. Which model (Gemini Ultra or GPT-4) is better in the 'Math' category in MATH benchmark?"""

格式提醒：.gif 目前不被 Gemini API 支持，需要先转成 .jpg。

原文还定义了一个缩图函数——既让图在屏幕上更合适，也减少请求的数据量：

def shrink_image(image: Image, ratio = 2):
  width, height = image.size
  return image.convert('RGB').resize((width//ratio, height//ratio))

二、从一张幻灯片里提取信息

第二个例子用的是一张讲 Pub/Sub 的手绘风格架构图（来自 Priyanka Vergadia 的 GCPSketchnote，CC BY 4.0）。

先从简单的开始：

prompt = "Describe the image in 5 sentences."

也可以只针对图里的某一部分提问：

prompt = "Explain the diffrent pub sub patters using the image. Ignore the rest."

注意最后那句 Ignore the rest。 一张信息密集的图里，不加这句它会顺带把整张图都讲一遍。

三、整本幻灯片

大多数模型一次只能接收少量图片，而 Gemini Flash 单次请求最多能接收 3,600 张图。 这意味着大多数幻灯片可以不做任何切分就整份传给模型。

原文的例子是让模型基于多张图生成一套知识检查题：

prompt = """
  Your job is to create a set of questions to check knowledge of various
  gcp products. Write for each image the topic and example question.
"""

小结

Gemini API 在处理图表、图形和幻灯片上的能力，体现了多模态模型的力量。得益于模型读取和理解这些视觉元素的能力，每个人都能解锁新想法、简化任务、节省宝贵时间。

译后附记：三个立刻能用的问法

原文的例子偏技术文档。这一行真正常撞到的是另外三种：

① 客户给了图，没给底层数据

年报、行业白皮书、竞品的投资者材料——数字全在图里，没有附表。

把这张图里的所有数据点读成一张 Markdown 表格。

要求：
- 逐个数据系列、逐个类别地列，不要跳过
- 坐标轴刻度之间的值，标注为「估读」
- 图上没有明确标注数值的点，写「未标注」，**不要推算**
- 最后单独说明：图例、单位、以及口径脚注（如果有）

「不要推算」这一条是全段的重点。 柱状图上没写数字的柱子，它会很乐意给你一个看起来很合理的数——那是编的。

② 手绘的白板 / 便利贴 / 草图

工作坊结束后墙上那一堆，或者客户在纸上画的流程。拍照直接问。 （这条和用录像做研究是同一类任务的静态版本。）

③ 一整本 PPT 一次性问

「3,600 张图」这个上限的实际含义是：一份两百页的汇报可以整份传进去，然后跨页提问。

这是客户过去三年的年度汇报（三份）。请回答：
1. 「核心指标」这一页的口径，三年之间有没有变过？变在哪一页
2. 哪些结论在早年出现、后来消失了
3. 每条回答后面标出页码

跨页对比是这一招最值钱的用法——口径悄悄改过的地方，人翻是很难发现的。

一个通用的提醒：图读出来的数字，落进交付物之前要抽查几个。 这是参差前沿那篇讲的「方向盘前睡着」最容易发生的地方之一——它读得又快又自信。

出处

本文译自 Google Gemini Cookbook，原文 Working with Charts, Graphs, and Slide Decks， 以 Apache License 2.0 发布。译文与译后附记由 HiBridge 撰写。