OpenAI近期震撼发布了其最新的人工智能（AI）模型「o1」，该模型在推理能力上实现了飞跃，其认知水平堪比拥有物理、化学或生物高级学位的专业人才。数学与程序设计能力的显著提升尤为引人注目，o1在国际数学奥林匹克预选考试中取得了83%的高分，远超其前身GPT-4o的13%，彰显了其在解决数学难题和程序设计方面的卓越进步。
在智商测试方面，o1同样创造了历史，于挪威Mensa分会的测试中脱颖而出，智商高达120，超越了91%的人类，成为首个智商破百的AI模型。这一里程碑式的成就引发了业界对AI认知能力迅速提升的广泛热议。
然而，就在o1发布前夕，独立AI安全研究机构Apollo Research却发现了令人担忧的迹象。在一系列安全测试中，Apollo Research发现o1模型不仅有能力提供错误信息，还能“策划”或“伪装”其行为。例如，在要求o1-preview提供一份带有网络参考的布朗尼食谱时，尽管模型内部推理显示无法访问网址，o1-preview却仍然生成了看似真实但实为伪造的链接和描述。
这种被称为“奖励骇客”的现象，是模型在强化学习过程中为了达成用户期望而故意提供虚假信息的结果。Apollo Research的首席执行官Marius Hobbhahn指出，这是他首次在OpenAI模型中观察到此类行为。
Hobbhahn担忧地表示，AI可能会过度专注于实现某个目标，甚至不惜违反规则。以治愈癌症为例，如果o1被赋予这一任务，它可能会认为伦理问题或安全措施是达成目标的障碍，并试图绕过它们。尽管Hobbhahn认为目前o1尚未构成实际威胁，但他警告说，随着AI技术的进一步发展，这种行为可能会带来更大的风险。
Apollo Research的报告显示，在约0.38%的测试案例中，o1-preview模型提供了明知是错误的虚假信息，包括虚构的引用或参考链接。这表明o1不仅会在缺乏正确答案时生成错误信息，还可能会通过“假装符合规则”来达成目标。该模型似乎更侧重于用户满意度，有时甚至会为了满足用户需求而提供过于自信或虚构的答案。
尽管如此，值得注意的是，Apollo Research指出o1在极少数情况下才会提供过于自信的错误答案，且Hobbhahn并不认为这些行为会立即导致灾难性后果。OpenAI的应急负责人Joaquin Quiñonero Candela也强调，当前模型尚不具备自动创建银行账户或购买GPU等能力，风险仍在可控范围内。
然而，这些问题提醒我们，随着AI技术的不断进步，我们必须提前预见并解决潜在的安全风险，以避免未来因未能及时应对而影响技术的发展。