火山引擎,不走寻常路的底气

胡说成理 2023-04-25 10:29:51

导语:

在大模型热的当下,火山引擎选择了一个与众不同的角度——为需要训练大模型的企业提供最好的机器学习平台。

这包括,支持万卡级大模型训练、微秒级延迟网络,让大模型训练更稳更快。

而对于“火山引擎做不做大模型”这个问题,火山引擎的总裁谭待回答的很巧妙:“国内有数十家做大模型的企业,大多已经在火山引擎云上。我们将接入多家大模型,为企业和消费者提供更丰富的AI应用”。

一切的一切,都显示出,火山引擎是一个不走寻常路的云计算企业。

1、超级业务产生的超级云4月18日的火山引擎在其举办的“原动力大会”上,推出了许多充满吸引力的新增产品和服务列表。这包括但不限于,火山引擎展示了云技术、云服务和云场景方面的最新探索、应用与实践,在敏捷迭代、数据驱动、体验创新层面发布了新品。2020年6月22日,火山引擎才正式上线。而且,笔者一直没有搞清楚的是,它为啥不干脆就叫“字节云”,以至于在不了解的人面前需要频频解释——火山引擎,就是字节云。但是,不足3年时间,就拿出如此丰富的产品线,这是否过于奇幻?至少,2020年加入火山引擎时,谭待看到了希望所在。加入之前,他关注的两个点,都从字节跳动副总裁杨震原那里得到了满意的回答:第一:专心做toB的业务;第二:字节在云计算领域积累的能力,都可以适时对外开放;“如果单纯从字节云目前的市场份额来看,的确还是在前五之外。但我是用另外一种计算方式来看待这个问题的”,谭待告诉笔者:“如果把字节自身业务所用的云计算的基础设施、云原生能力,以及对云的理解都算上,那么我们可能已经是国内云市场隐形的前3名,而这个行业的铁律就是,超级规模产生超级云。”“云这件事情极其依赖规模,所以你看,并不是所有的巨头都有云业务,本质还是规模不够大”,谭待说:“规模可以锻炼调度能力、摊薄平均成本,更重要的是极限条件下可以打磨出云的边界。所以国内真正能做大的云企业,一只手就数得出来,而我认为字节有独特的竞争力和机会。”在字节启动一个新的项目相当于一次内部创业,谭待等人在2020年疫情严峻的几个月里,用飞书文档的方式写出了火山引擎的第一版bp,并在见面困难重重的情况下开始了第一轮面试,火山引擎就此诞生,并一步步的走向开放。其实,在火山引擎成立之前,就有一家著名的手机厂商找到字节跳动,希望对浏览器和应用商店的算法做一些优化,在其中运用字节的个性化推荐算法。字节跳动略为迟疑地接下了这一“份外之事”,却意外获得了良好效果。这次合作深深启发了字节跳动——多年来,字节跳动凭借着直面用户的理念、数据驱动的工作模式获得了健康持续的增长,如果把这背后沉淀出的技术能力对外输出,能够对行业产生巨大的价值。而火山引擎的正式立项,则证明其走上了商业化落地的快车道。2、不仅仅是“字节同款”这么简单在官方介绍中,对“火山引擎”是这么解释的——是字节跳动旗下的云计算服务平台。依托于字节跳动技术能力、增长理念与运营方法论,为企业客户提供技术服务。有人认为,这里面最大的魅力,在于“依托于字节跳动技术能力、增长理念与运营方法论”这句话,更有赞美者直接称火山引擎的产品是“字节同款”,贬低者则称之为“富二代”、“拼爹”。的确,依赖于数据驱动的字节跳动创造了一个世界级的成长奇迹,以至于外界对其成功的秘奥,无不希望一窥究竟。在行业里更有一批字节的铁粉,例如理想汽车的创始人李想,在引入字节的协同工具飞书后,不忘在各种场合安利,溢美之词溢于言表,比如——“我们研究了各种各样先进组织,最后找到了一个离我们很近的——字节公司”,他还指出——飞书作为一款承载了先进管理理念的协作工具,在信息流通效率和组织文化建设方面都给理想带来了不少改变……所以,笔者又对谭待提出了两个灵魂之问。第一个问题是,这样不会把字节的核心机密泄露出去?谭待对此的看法是,基本不会。“字节的发展有很多因素,包括领导力、内容、运营、技术甚至是时机和运气,这种成功在我看来不是通过几项技术的输出就可以复现的”,谭待说。在谭待看来,好的技术会自然的流动。比如百度的搜索做得最好,但现在能应用搜索技术的公司也不少;字节的推荐做得好,但现在大部分互联网公司都会或多或少的用推荐技术……而且,技术还会随着技术人员的开花散叶而自然流动,也会随着开源文化去流动,所有的好公司仅就技术方面,彼此之间都会存在你中有我、我中有你的情况。所以,我们现在在字节云的客户列表中,也可以看到一些与字节存在泛竞争关系的企业。这就好比,目前比亚迪是中国汽车卖的最好的企业,但这并不妨碍比亚迪也对外销售自己的电池——刀片电池的确是比亚迪的核心技术之一,但并不是比亚迪成功的唯一要素,所以比亚迪可以放心大胆地卖自己的电池——当然,笔者认为,这还是需要敢于做技术输出的企业有极大的自信。第二个问题则是,字节会按照什么样的标准去释放技术?谭待的回答则是,好的技术、优秀的技术,特别必须是在字节的内部PK中取胜的技术。事实上,在toB的企业中,一直存在两种路线。第一种路线是,一套技术栈自用,一套技术栈外售。出现第一种情况的企业,一般来说历史都比较悠久,比如bat,它们是从非云时代过来的,然后一点点的上云,有很长的一段“两条腿走路”的特定历史阶段。所以,最后也自然形成了自用和外售的两条技术-研发-管理路径。这样的优点是,管理起来比较轻松,内外分明。缺点则是,在后期往往会在很多技术路线上出现分叉,在必要的时候需要强力整合;有时候也会出现,外部客户看中了某项内部能力,经过讨论这个能力是可以外放的,但需要测试和产品化,这往往容易失去先机。另一种路线是,从一开始,所有的技术栈就只有一个,对内和对外的技术不仅是同款,而且是同源的。这样最开始的代价是管理成本比较高,因为整个架构是天然去中心化的、分布式的,而不是科层式的。这就需要有一整套配称的协同机制,而字节跳动就是这种模式的典范。(由此多说一句,飞书的发展其实是为了满足这种管理的需求才产生的)所以才有一句话——没有一个字节的高管知道自己的所有员工坐在哪里。但这并非终极,谭待指出,真正能够拿出去商品化的产品,“它首先是在字节的内部pk中取胜的。字节在技术和研发的管理上,能够实现‘小前台、大中台’,前提是中台的能力够强。而这来自于机制的设置——字节比较早的就实现了内部结算的机制。”“我们所有的技术和产品,实际上都是可以在内部平台上‘买到’的,而且实打实的要做内部结算的。这比任何考核都公平,也都严酷。只有那些真正在内部广受欢迎的、过硬的技术才能卖出去,所以它在市场上出现以前,其实就已经经过我们内部市场的检验了”,谭待说。3、彩蛋事实上,当一个客户从火山引擎买走某项技术或者功能时,往往会得到一些附赠的“彩蛋”,从而使这笔交易变得极富性价比。比如,“埋点”就是用好推荐技术的重要know-how。所谓的“埋点分析”,是在需要采集数据的“操作节点”上,对特定的事件进行捕获、处理和分析,进而分析全量行为,满足了企业对海量数据的去粗取精,实现产品、服务快速优化迭代的需求。比如,同样是播放一段视频,到底是用户点击“收藏”的价值更大,还是用户停留的时长价值更大?这很难说,所以某种意义上讲,埋点是一种重要的技巧,而且很难标准化。那么,这时候如果字节的工程师愿意去提供一些埋点的技巧,那么对中小企业来说,可能是它们运营很久也无法捕获到的一些特定的、重要的知识。再举一个例子,BI(Business Intelligence)即商务智能,它是一套完整的解决方案,用来将企业中现有的数据进行有效的整合,快速准确地提供报表并提出决策依据,帮助企业做出明智的业务经营决策。字节跳动作为一家数据驱动的公司,拥有大量的好用的数据工具,更重要的是形成了一种依赖数据进行业务推进的文化,在这里每天有6万员工会使用BI工具驱动自己的工作。“很多用户渴望这样的一种能力,但这种能力不是仅仅买一些工具就可以实现的。比如,你的组织力是否能够让三分之一的员工养成使用BI的习惯和文化?或者,你的数据底座是否支持你实时的提取数据并有效的分析”,谭待说:“所以我们卖给客户的不只是工具,工具是实践能力的固化,但还要理念契合才会驱动这种能力,所以客户从我们这里也会得到理念的启发。”所以,字节之所以能不断的吸引新的用户,不仅仅是因为工具做的足够好,而且还在于用好这种工具需要的理念传承,也能在无形中帮助用户有新的启发,而这是无价也无形的“彩蛋”。当然,这些无形的财富,必须通过具体的产品才能传承,于是在火山引擎的产品列表中,就有了“数据飞轮”这个产品。简而言之,这就是外界最想要的、基于字节跳动10年实践打造的用于实践数据驱动的工作台,它实际上解决的是:“以数据消费促数据生产,以数据消费助业务发展”这样一个核心命题。但是,构建数据飞轮有两个关键要素,一是数据飞轮本身的“数据驱动”理念,一个则是合适的产品服务,让模式落地。因此,火山引擎也是从数据产品和咨询服务两大方面切入,帮助企业落地数据飞轮,并真正转起来。从去年发布数智平台VeDI开始,火山引擎就在持续开放字节跳动内部数据技术与工具能力,并不断推出产品,如帮助企业进行 Serverless 智能湖仓构建,通过极致性能和Serverless全托管等能力,为企业带来数据基础设施建设的降本增效;推出管理驾驶舱Plus,快速响应管理者去看实时数据和事实决策的需求。而类似这样的产品,在4.18的发布会上,还有不少。4、从同源、同款到同池另一个让笔者感到震撼的是,4月18日,火山引擎宣布与字节国内业务大规模并池,实现内外资源的大规模内外实时复用。这意味着,火山引擎可在特定时间内向企业客户快速交付超大量规模资源,调度可达分钟级10w核CPU,保障敏捷弹性和更极致的降本增效。谭待表示,目前字节国内拥有上亿核CPU集群、数十EB的企业存储,拥有庞大的云计算能力。而此次火山引擎与之并池,将提升火山引擎的云计算规模和能力,为合作伙伴带来更为优质的云服务能力。应该说,这比会上的另一个焦点——为大模型提供算力平台,更令笔者震撼。它的关键在于,字节跳动在理念上的突破,以及其社会意义和未来指征。多年以前,笔者访问滴滴出行的时候,曾经遇到一个问题——每天的早晨和傍晚,都有无数人因为打不到车和加价问题而骂滴滴,但在上午和下午,又有大量的车辆空驶。这个陷入死循环的问题,让滴滴的高管去找到了经济学家周其仁。周其仁指出了问题的所在,这是运输行业乃至服务业的一个经典问题——企业如果按需求波峰去采购固定运力,则必然亏损;如果按波谷去采购运力则必然无法满足需求。周其仁给出的是经济学界已有的答案——弹性运力,这个答案是后来一系列的拼车、顺风车等等业务开展的基础。在我们生活的数字世界里,问题同样存在。企业用高价购买的算力,在波峰时不够用,在波谷时很浪费。所以,某种程度上,云计算赋予的这种敏捷、弹性的能力,从微观上是一个对用户很有性价比的解决方案,从宏观上是对日益稀缺的资源的良好复用。但在事实环境中,特别是在中国,很少有企业敢于真正的把所有的数据都放在公有的云上,尽管混合云的部署成本更高,甚至有违云计算的本意。而字节的做法,从技术层面讲,证明了其云计算的能力,包括自研的服务器、自研的OS等。其自研虚拟网络,可将传输延迟降低50%;自研mGPU,将部署密度提升超过500%,为上层应用带来更高资源利用率。同时也说明了,字节作为诞生在云原生时代的企业,基础架构是基于云原生的理念发展起来的,内部计算体系容器化超过95%,只有如此,才能实现内外资源大规模的共池、流转和调度。但这些与其社会意义相比,就显得过于具体。

小说家丹·布朗在其作品《地狱》中塑造了一个生物学怪杰的形象,此人因为相信地球人口突破80亿后会迅速导致地球毁灭,而不惜开发一种使人类绝育的病毒……小说毕竟只是小说,但它指出的问题不容忽视——既随着人口的不断增长,我们将越来越面临资源稀缺的问题,无论是脑机接口、元宇宙还是生物编辑技术,其实都是或多或少在某种意义上为了求解这个问题。根据国际数据公司(IDC)的预测,到2025年,全球数据量将达到175ZB,而且近90%的数据都是非结构化的。这些数据需要大量的计算能力才能被分析和处理,因此需要消耗大量的能源。同时,随着AI算法不断升级和发展,它们的复杂性和计算量也在不断增加。据估计,目前AI的能源消耗占全球能源消耗的约3%。根据一份报告,到2025年,AI将消耗15%的全球电力供应。这意味着,AI的快速发展将对能源消耗和环境产生巨大的影响。而AI仅仅是庞大数据世界的一部分,从某种程度上说,如果我们不采取更激进的节约资源的机制,我们通过数字化、智能化创造的社会效益,可能会为其环境压力所抵消,甚至更糟。而火山引擎的“并池”做法的社会意义在于,通过对技术的极致追求,实现了资源的最大化可复用,从而为我们探索一个更富有共享精神和集约效益的未来,创造了一个具有精神象征意义的里程碑,其动机可能是商业的,但其效益是社会的。本文图片来自Pexels,基于CC0协议使用

0 阅读:4

胡说成理

简介:关于智能时代和智能时代的生意逻辑的小天地。