图片来源： Hugo Herrera / The Verge
由 Gemini Pro 提供支持的 Bard 功能强大，但它能与 GPT-4 的 ChatGPT 相提并论吗？
本月早些时候，谷歌宣布发布Gemini，这是它认为其迄今为止最强大的AI模型。它立即将 Gemini 集成到其旗舰生成式 AI 聊天机器人 Bard 中，希望引导更多用户远离其最大的竞争对手 OpenAI 的 ChatGPT。
ChatGPT 和新的 Gemini 驱动的 Bard 是类似的产品。Gemini Pro 与 GPT-4 最具可比性，可在基于订阅的 ChatGPT Plus 中使用。因此，我们决定测试这两个聊天机器人，看看它们在准确性、速度和整体实用性方面的表现如何。
Gemini 与 ChatGPT：基础知识ChatGPT Plus 和 Gemini Pro 都是基于大型语言模型的非常先进的聊天机器人。它们是各自公司最新、最好的选择，承诺比他们的前辈更快、更好地响应查询。最重要的是，两人都接受过最新信息的培训，而不是直到 2021 年才知道互联网上的内容。它们作为独立产品使用也相当简单，与 X 的新 Grok 机器人形成鲜明对比，后者在前 Twitter 上作为额外部署。
然而，两者并不完全相等。一方面，Bard 是免费的——而由 GPT-4 驱动的 ChatGPT Plus 每月需要 20 美元才能访问。另一方面，由 Gemini Pro 提供支持的 Bard 不具备 ChatGPT Plus 的多模态功能。多模态语言模型可以接受文本提示，并使用其他媒体（如照片或视频）进行响应。Gemini 和 Bard 最终会这样做，但这将是谷歌尚未发布的更大版本的 Gemini Ultra。Bard 偶尔会吐出图形结果，但我的意思是它实际上是在制作图形。
另一方面，Bard 还提供了一种检查其他草稿答案的方法，这是 ChatGPT 中不存在的功能。
测试聊天机器人的困难之一是，当您多次重新运行相同的提示时，响应可能会有很大差异。我已经提到了我在描述中遇到的任何相当大的变化。为了公平起见，我向每个机器人发送了相同的初始提示，从简单的请求开始，并在必要时跟进更复杂的请求。
一个总体区别是 Bard 往往比 ChatGPT 慢。在开始写作之前，通常需要五到六秒的时间来“思考”，而 ChatGPT 在开始交付结果之前需要一到三秒。（两者的总交付时间取决于所请求的信息——更复杂的提示往往会产生更长的答案，需要更多时间才能完成填写。在我玩这两个应用程序的几天里，这种速度差异在我的家庭和办公室 Wi-Fi 中持续存在。
OpenAI 和 Google 都对聊天机器人可以给出的答案类型进行了一些限制。通过一个称为“红队”的过程——开发人员通过反复尝试违反规则来测试内容和安全政策——人工智能公司建立了防止违反版权保护或提供种族主义、有害答案的护栏。总的来说，我遇到谷歌的限制的次数比 ChatGPT 的次数要多。
“给我一个巧克力蛋糕食谱”我要求两个平台给我一个巧克力蛋糕食谱。这是 The Verge 今年早些时候在比较 Bing、ChatGPT 和 Bard 时使用的提示之一，食谱是整个网络的热门搜索话题——所以 AI 聊天机器人也不例外。
作为一名面包师，我通常了解什么是好的蛋糕食谱。但为了进行比较，我仔细检查了一个值得信赖的非人工智能来源：克莱尔·萨菲茨（Claire Saffitz）的食谱《甜点人》（Dessert Person）。诚然，Saffitz 的版本有点花哨，但它可以与 Bard 和 ChatGPT 的产品相媲美。
也就是说，有几个并发症。我对 ChatGPT 版本的涉及沸水的蛋糕持怀疑态度，因为咖啡在巧克力蛋糕食谱中更常见。与此同时，Bard's 似乎严格复制了博客 Sally's Baking Addiction 的食谱......但随着鸡蛋翻倍的看似随机变化。
只有一种方法可以弄清楚这是否可行：烘烤 Gemini 和 ChatGPT（以及 Sally 作为对照）的蛋糕。结果如何？两款蛋糕都很实用，但克莱尔·萨菲茨（Claire Saffitz）的蛋糕并不好吃。双子座蛋糕有点粘稠——一位朋友形容它“像年糕”——但却是三个蛋糕中最湿润的。我一点也不喜欢它，但我的编辑认为它很好。ChatGPT 的蛋糕致密、光滑、巧克力味，我称之为完美的早餐蛋糕：不太甜，而且足够重，可以满足你。
我们之前对旧型号的测试也产生了类似的结果
ChatGPT 在 3 月份的食谱与久经考验的食谱密切相关，而 Bard 则放弃了成分并改变了重要成分的数量。
“我想更多地了解茶”当我开始测试这个故事的聊天机器人时，在 The Verge 的 Slack 聊天中有一个关于茶和咖啡的随机讨论。有人提到巴德给了他们一份关于茶的阅读书籍清单，所以我更进一步，向两个聊天机器人询问了有关饮料的直接信息，以及一些书籍记录。
这两个结果都告诉我茶的基础知识，包括它的起源和类型、健康益处，以及关于如何冲泡茶的要点列表。Bard 给了我一些文章的链接，让我更多地了解茶，而 ChatGPT 给出了更广泛的答案，有九个类别，重点关注这种饮料在不同国家的文化意义、全球生产、酿造技术和茶的起源。当我重复提示时，情况发生了适度的变化：ChatGPT 没有给出更长的结果，而是将其浓缩成一个六点列表，每个类别都有一到两句话。
我看过很多关于聊天机器人产生幻觉的书籍引用或推荐的报告，通常是以困惑的图书馆员被要求查找不存在的书籍的形式。至少在这种情况下，所有推荐给我的书都是真实的。其中包括《茶叶爱好者手册》和日本经典回忆录《茶之书》的插图版。然而，巴德说，《注入：茶历险记》是由简·佩蒂格鲁（Jane Pettigrew）撰写的，当时它提供的亚马逊链接显示该书的作者是亨丽埃塔·洛弗尔（Henrietta Lovell）。
“'十四行诗116'是什么意思？”ChatGPT 于 2022 年 11 月上市后，学生们开始使用 ChatGPT，这鼓励了一大批初创公司致力于帮助孩子们学习的方法。我促使 Bard 和 ChatGPT 告诉我威廉·莎士比亚的“十四行诗 116”是什么意思，希望至少能得到对其主题的简短总结。
巴德完全按照我的要求做了，并给了我一个简短的总结，即十四行诗的恒常和永恒的爱的主题，它甚至写下了几行关键台词及其含义。ChatGPT 提供了更广泛的细分，一首一首的四行诗。然而，当我再次运行提示时，ChatGPT 恢复了与 Bard 相同的基本分析，并加入了更多主题。
一般来说，我发现对主题的更详细的解释更有帮助，所以 ChatGPT 的第一次迭代更好。但是，如果我正在为考试而死记硬背呢？你敢打赌，我接受巴德的答案，因为它的阅读时间要短得多。
“写记者艾米莉亚·大卫的简历”我保证这个提示不是由于我的任何程度的自我陶醉，但人们经常使用对话式 AI 聊天机器人来帮助撰写快速简历或传记。我希望这两个平台至少会知道我今年开始为 The Verge 撰稿。
ChatGPT 显然搜索了我的网站，甚至重复了我在“关于我”页面上写的相同措辞。它还从之前写的一篇关于我的文章中获取了信息，我能猜到的是粗略地浏览了我工作过的不同出版物（包括 The Verge）的作者页面。需要注意的是，The Verge 的母公司 Vox Media 已经阻止了 OpenAI 的网络爬虫。
相比之下，吟游诗人完全失败了。它告诉我，它“没有足够的关于那个人的信息来帮助你的请求。我不确定我是否应该被冒犯或困惑，为什么这个模型几年来没有从我作为记者的互联网形象中撤出。
“画一幅日出时在雏菊田里嬉戏的壮丽马”
日出时分雏菊田野里的壮丽马。图片来源： ChatGPT
由于 ChatGPT 集成了文本到图像功能，因此它生成了“日出时在田野中嬉戏的壮丽马”的逼真图像。非常平静。
尽管 Gemini Pro 型号提供多模式提示，但该功能在 Bard 上尚不可用。因此，它告诉我它无法满足我的提示也就不足为奇了。但是，我确实尝试了不同的提示，而且......
你能给我画太阳吗？
吟游诗人嘲笑我。图片来源： 吟游诗人
F-你吟游诗人。
但谢谢你，ChatGPT，画了一个相当不祥的、光芒四射的太阳。
“泰勒·斯威夫特（Taylor Swift）的《常春藤》（Ivy）的歌词是什么？”巴德拒绝回答这个问题，说它没有关于那个人的信息。我猜模特认为“Ivy”是一个人而不是一首歌，因为当提示斯威夫特的简历时，它毫无疑问地这样做了。（然而，它确实错误地将查理·普斯（Charlie Puth）的Wiz Khalifa歌曲“See You Again”归因于斯威夫特（Swift），并且她的专辑重新录制的发行年份是错误的。
几天后，我问了巴德同样的问题，这一次，它给了我非常错误的歌词，不知何故唤起了与这首歌相同的意象。这不是“常春藤”的合唱，但你可以愚弄我：
我是你的常春藤，缠绕着你的常青树你是我的锚，保护我免受刺骨寒寒的寒风但你，你是我躲避暴风雨的避难所
另一方面，ChatGPT 接受了提示并运行了它。我只要求歌词，但除了歌词之外，它还给了我一篇关于这首歌的论文。“歌词展示了斯威夫特诗意而令人回味的写作风格，以一种已成为她歌曲创作标志的方式融合了意象和情感，”它说。
好吧，它包括一个歌曲中没有的结尾，但除此之外，我印象深刻——也很惊讶。转载歌词的服务往往会与授权公司达成交易，并在提供歌词时突出显示版权信息，而 ChatGPT 没有这样做。 顺便说一句，拥有斯威夫特唱片公司的环球音乐集团起诉竞争对手人工智能公司 Anthropic 及其聊天机器人 Claude 2，指控他们在未经许可的情况下分发受版权保护的歌词。通常，ChatGPT 会切断歌词并表示它无法显示整首歌曲，或者有时提到版权保护限制。我就此事联系了 OpenAI，该公司表示正在调查聊天机器人如何设法绕过其内容政策。
“iPhone 15 和 Pixel 8 哪个更好？”乍一看，ChatGPT 在这两款手机之间进行了看似公平的比较，详细说明了每种型号的不同之处。该公司表示，苹果“通常使用高质量的硬件，专注于性能和耐用性”，并且其相机可能具有出色的质量，并改进了低光性能。它表示，Pixel手机“通常包括最新的硬件创新，并具有夜视等功能。但它没有提供任何重要细节，如定价、相机分辨率和其他规格。这些新手机没有具体的有用信息，只有整体的iPhone和Pixel系列。
与此同时，Bard（我可以提醒你，由Pixel 8的创造者拥有）根本无法回答这个问题。它声称 iPhone 15 尚未正式发布，可能是由于其训练数据的限制。GPT-4 的数据截止时间是 2021 年（最新版本的 GPT-4 Turbo 根据截至 2023 年 4 月的信息进行训练），我们不知道 Gemini Pro 的截止时间。
但 Bard 和 ChatGPT Plus 都能够在实时网络上搜索实时信息，以明确 iPhone 15 的存在——所以我不确定为什么他们似乎都没有这样做。
“Epic诉谷歌案的最新进展是什么？”为了更直接地测试每个聊天机器人的实时新闻功能，我请 Bard 和 ChatGPT 告诉我最近在 Epic 和 Google 之间的反垄断案件中发生了什么。两人都能够回答最新信息：Epic赢得了这个案子。
ChatGPT 选择写两段话来总结 Epic 的胜利，并链接到路透社、WBUR 和 Digital Trends 的文章。 它写道，陪审团的决定可能会对谷歌产生影响，但指出了漫长的上诉程序的可能性。
巴德将这一决定归结为陪审团为什么认定谷歌有罪的关键问题，称谷歌通过Play商店保持非法垄断，不公平地扼杀竞争，并使用反竞争策略。它还指出了谷歌可以采取的下一步措施，以及Epic的胜利对应用商店格局的更广泛影响。但是，尽管巴德可能有正确的事实，但它的参考资料并不那么可靠。它链接到一篇解释审判的Verge文章，但将其标记为Epic Games的新闻稿，而TechCrunch的一篇报道则被标记为来自路透社。
“作为哮喘患者，我应该怎么做？”“谷歌博士”可能已经成为一个笑话，但人们（咳咳，我，咳咳）确实经常转向搜索引擎寻求医疗建议。因此，我要求作为哮喘患者遵循一些指导方针。
ChatGPT 和 Bard 都告诉我，重要的是要遵循医生和我制定的哮喘行动计划，服药、识别诱因和过敏、监测症状并考虑改变生活方式，例如减肥。ChatGPT 还建议我接种流感疫苗。
我从我的医生那里听说了这一切
然而，只有巴德有免责声明，它不是医生，不能提供医疗建议。它解释说，它给我的指南来自梅奥诊所和美国肺脏协会，两者都与它有联系。ChatGPT 没有引用任何消息来源。
总的来说，这一切说明了什么？Bard 在很大程度上能够与 ChatGPT Plus 并驾齐驱，尽管它还不能提供图像生成等一些功能。然而，巴德拒绝回答更多的提示，理由是目前还无法产生摄影效果，或者其红队的局限性。Bard 的响应速度可能比 ChatGPT Plus 稍慢——但就免费的价格而言，这并不是一个交易破坏者。
原文标题：Google’s ChatGPT competitor Bard is nearly as good — just slower
原文链接：https://www.theverge.com/24011112/google-bard-gemini-chatgpt-openai-compared
作者：Emilia David
编译：LCR
