GPT Unicorn：每天作图，持续评估GPT-4的能力

AI时代如何评估AI能力是一个问题，或许每个人都有自己标准。但是如果弄一个随着时间变化，对同一问题进行持续测试评估可能也很有意义。

GPT Unicorn就是通过每天做一个图来评估GPT-4的能力变化的。

概述

GPT Unicorn 是一个通过每天生成一个新的独角兽（Unicorn ）图像来探索 OpenAI 的 GPT-4 模型的图像生成能力的项目，从而跟踪模型随时间的变化和进展。

项目的灵感来自论文《Sparks of Artificial General Intelligence: Early experiments with GPT-4》 。论文中通过研究评估它在跨越各种领域和任务的性能表示来验证其和人类对此类问题的表现对比。

GPT Unicorn 则专注于 GPT-4 的图像生成方面，特别是它创建独角兽（Unicorn）SVG图像的能力。通过每天生成一张新图像，然后通过评估模型对视觉信息的理解及其连接语言和视觉表示的能力。

步骤

GPT Unicorn 每天查询GPT-4一次，生成SVG格式的新独角兽图像。图像生成过程包括以下步骤：

用提示“Draw a unicorn in SVG”等（源代码中的完整提示）查询 GPT-4。

处理输出以提取SVG代码。

渲染SVG代码以生成最终图像。

每日生成的独角兽图像和每日生成图像的历史，进行对比。

对比10号到今天的图形表现，变化还是很明显的，刚开始基本不成形象，第三天后就很好了。