只想试试水,却意外站在AI历史的拐点|谷歌Transformer作者的回忆

硬核科技评测 2025-02-20 23:25:43

从PageRank到Gemini|谷歌黄金25年的技术进化之路

有时候,历史的轨迹总是难以捉摸。

谁能想到,1999年的谷歌仅仅是两位年轻工程师在车库里搭起的一个简单搜索引擎,而今天,它成了改变世界技术历史的重要力量。

当年的「PageRank」算法,还只是为了更好排序网页中谁更重要,随后几年间,它铺开了互联网搜索的新时代。

但这仅仅是开端。

紧接着,大量划时代的技术被开发了出来,比如帮助分布式计算的MapReduce、大幅提高效率的初代TPU,再到今天引领AI潮流的Transformer模型。

这些看似冷冰冰的技术背后,站着一群怀揣理想的研发人员,他们是历史的写作者,也是科技洪流中无数独特故事的缔造者。

而对于许多人来说,「Gemini」可能是个更具象的名字。

这是一项最新的大规模AI模型技术,涉及多个数据中心的异步协作,代表了谷歌在AI技术上从算法到算力、从模型结构到基础设施的全面突破。

它正在让人工智能和我们的生活联系得越来越紧密,而这些技术革新的关键人物们,比我们想象的更接近“凡人”。

Transformer作者的初心与意外|只想「打工赚钱」,却改变了AI世界

Noam Shazeer,一个不那么为人熟知的名字,却是Transformer模型的重要作者之一。

和许多人不一样,他在选择去谷歌工作时,只带了一个简单的想法:“捞一笔钱,然后去做自己真正喜欢的事情。

生活总会开玩笑。

早期,他很快发现,谷歌不仅是个令人兴奋的大环境,更像是一个大舞台。

他被分配到Jeff Dean团队——一位技术圈的传奇人物,与这位导师共事的日子让他的技术才能真正得到施展。

两人在众多项目中合作,最终创造了后来被称作Transformer的AI“分水岭”技术。

从研究NLP(自然语言处理)技术,到优化大规模并行计算的算法,再到后来Transformer的诞生。

Noam渐渐发现,他原本的“短期期待”变成了无限的长远可能。

从为了一份工资,到真正发掘出机器学习的潜力,他的初心虽朴素,但却让AI历史写下了浓墨重彩的一笔。

算力的未来|AI推理成本如何比读书便宜100倍?

人工智能技术发展至今,最大的瓶颈之一就是算力成本。

如果有人告诉你,与AI对话的成本已经比读一本纸质书便宜了100倍,你会相信吗?

事实就是如此。

谷歌首席科学家Jeff Dean用一组对比数据给出了答案。

当前,最先进的语言模型每处理100万个Token(可以简单理解为字或词)只需消耗1美元,但买一本平装书却要花上同样的钱,而它包含的“Token”可能还不多。

这样的算力优势,为推动AI系统“更聪明”提供了想象空间。

这也解释了谷歌近年来在基础设施上的动作,比如通过多个数据中心进行分布式计算实现的Gemini模型。

数据和计算结果需要在多个不同城市同步,虽然听起来技术门槛很高,但Jeff指出,这种规模化训练在未来会成为常态。

它不仅能通过技术手段降低算力成本,还可能帮助我们把AI用得更加“物美价廉”。

模型设计向何处去?

从模块化到有机架构的新可能

最初的AI模型就像“一个大脑”,所有问题都用同一逻辑规则解决。

随着任务复杂度提升,这种“统一解决”的方式开始暴露弊端,而一种新的模型设计理念——模块化架构应运而生。

模块化的好处在于可以“因地制宜”。

比如,AI被要求解决数学问题时,它只会调用“擅长数学的部分”,处理图像时才调用“视觉模块”。

这样的设计让每一个模块变得更充分和高效,但目前它还不够灵活,每个模块大小相同,限制了更多优化空间。

Jeff在采访中提到,未来的模型将更加有机,它们就像人体的不同器官,各司其职但又协同工作。

例如,一个专注于东南亚语言的团队,可以单独开发和优化该语种的模块,而另一个专注代码理解的团队则提升相关能力。

这样不仅能提升效率,还让每个领域都能享有更多发展机会。

从技术实现角度来看,模型中的每个模块还可以通过蒸馏技术去优化,也就是说,把大模块精简成更小更高效的版本,再逐步通过路由器智能选择合适模块,平衡算力和性能。

怎么定义成功?

技术以外的幸福感

对Noam Shazeer来说,原本想“捞一票就走”的计划因谷歌丰富的技术环境被打破,但他也坚信成功的定义不止在技术成就上。

团队的沟通氛围、自由交流的“微型厨房区域”,甚至当年午休时的一次偶然闲聊,都可能是推动一项技术诞生的契机。

对Jeff Dean来说,见证搜索业务从几千次日流量到亿级别,也算是自己舒心的成果之一。

他评价道:“成功不是技术本身,而是它在我们生活中创造实际价值的那一刻。

结尾:技术的温度与边界

从最早的PageRank算法,到后来跨越25年的技术模型,如Transformer和Gemini技术,谷歌的技术演变给了我们太多启示。

技术从来不是冷冰冰的机械发明,而是由梦想与实践相互交织的过程。

如果总要定义技术的终点,那可能是它帮助每个人更轻松、更自然地理解和使用知识的时刻。

而技术背后的情感追求与探索精神,才是决定我们如何面对未来的路标。

0 阅读:0
硬核科技评测

硬核科技评测

解读科技趋势,把握未来脉搏