OpenAIo1模型:强化学习提升推理能力,关注应用前景与成本优化

具光谈财经 2024-09-19 20:32:44

北京时间9月13日凌晨,全球AI产业领头羊OpenAI正式发布一系列旨在专门解决复杂任务的全新AI推理大模型o1,即之前酝酿已久的草莓模型。

根据OpenAI官方推特,o1系列模型将包括o1、o1-preview和o1-mini,其中o1-preview已开放使用,ChatGPT Plus和Team的用户以及API使用等级达到5级(API付费超1000美元)的开发者已获得该模型访问权限,企业版和教育版的用户预计将从9月16日起获得该模型访问权限。与此前The information、The medium等媒体报道基本一致,o1模型在功能、推理和性能表现上基本符合预期。

事件点评:OpenAI新一代AI推理模型o1系列的发布标志着AI在处理复杂任务领域进入新的发展阶段。此次发布的模型在推理能力和性能上取得了显著提升,有望加速AI技术在各个领域的应用,包括自然语言处理、医疗诊断、自动驾驶等。AI技术在实际应用中的落地将显著提速,特别是在企业级应用和教育领域。此举将进一步激发AI技术在行业中的创新潜力,推动商业和学术领域对AI的更深入探索和开发,进而带动AI产业链上下游企业的共同发展。推荐关注人工智能AIETF(515070)及其联接基金(008585/008586)的投资机会。

二、OpenAI o1模型发布:强化学习提升推理能力,应用前景与成本优化引关注

(1)模型机理及评测效果:强化学习加持下编码/数学/推理能力提升显著

根据OpenAI技术博客,o1模型在训练过程中引入了大规模强化学习算法,从而加强了其执行复杂推理任务的能力。而根据“Reinforcement learning: An introduction”(Sutton),强化学习起源于上世纪60年代,旨在通过奖惩机制让智能体在复杂环境中最大限度获得长期全局最优收益。强化学习主要包括定义问题、选择策略、学习价值函数(如Q学习)、模型控制和策略优化等步骤。此前谷歌围棋机器人AlphaGo的核心技术即为强化学习。

在应用该项技术后,o1系列模型的输出过程与GPT系列模型存在显著不同:o1系列模型会先用至多20~30秒产生较长的思维链再进行输出,即先将复杂任务拆解为子任务进行分析,在汇总子任务结果后输出最终结果,而非GPT系列模型立即开始生成的模式。根据OpenAI官网,o1模型在理科测试、数学、编程等绝大多数推理任务中表现明显优于GPT-4o,甚至在部分推理密集型基准测试中o1模型的表现与人类专家相媲美。例如,在国际奥林匹克资格考试中,o1正确解答了83%的题目,而GPT-4o仅正确解答13%;在PhD水平科学问答测试中,o1和o1-preview表现均优于人类专家与GPT-4o。

(2)市场定位:安全性与推理能力显著提升有望解锁应用,模型成本有待优化

根据OpenAI官方技术博客,思维链可有效提升模型的安全和对齐水平:1)思维链可清晰的展示模型思维;2)将模型行为策略整合到推理模型的思维链中,可以高效、稳健地教导人类价值观。

我们认为,目前AI产业的主要矛盾是推理能力不足和成本过高导致的爆款应用匮乏。而在安全性有保障的前提下,推理能力的显著提升使得o1有望逐步解锁应用。但由于庞大的推理算力需求导致的高成本和纯文字反馈的输出形态,我们预计短期内o1的应用场景仍将集中于编程和科研等特定高价值生产力场景,OpenAI官方亦推出了更加擅长编程的且更便宜的推理模型o1-mini。根据OpenAI官网,o1-preview定价为输入端15美元/百万token,输出端60美元/百万token;o1-mini的定价为输入端3美元/百万token,输出端12美元/百万token;GPT-4o的定价为输入端1.25美元/百万token,输出端为5美元/百万token。

(3)趋势展望:推理阶段有望遵循Scaling Law,多模型配合值得关注

在研发o1模型时,OpenAI发现给予模型更多的推理时间可有效提高模型的性能,即推理阶段的Scaling Law。这一发现在一定程度上意味着推理端的算力需求有望迎来蓬勃增长。同时目前o1系列模型的访问限制也从侧面证明了模型算力需求之旺盛。根据OpenAI官网,目前o1-preview使用限制为每周30条,o1-mini为每周50条。

此外,我们认为,应用层面的多模型配合亦值得关注。根据“Merge, Ensemble, and Cooperate! A Survey on Collaborative Strategies in the Era of Large Language Models”(Jinliang Lu, Ziliang Pang, Min Xiao等),多模型协作具有整体性能提升、多任务处理能力增强、计算效率提升、错误与幻觉减少、知识共享与能力迁移等优势。多模型协作既可发生在大模型之间,也可发生在大模型与小模型之间。多模型协作策略可分为融合、集成和合作三种,其中合作方法下不同模型兼容度最高最为灵活,可创造出更加全面高效的AI系统,因此具备相当潜力。

三、OpenAI引领大模型迭代,国产大模型加速商业化进程

OpenAI引领下,大模型领域迎来新一轮迭代,国产大模型商业化进程备受关注。近期,国产大模型在更新迭代上取得显著进展,国内厂商纷纷发布新版模型或推出新应用产品,不断完善模型性能,拓展应用场景。

目前,大模型技术已逐渐融入效率办公、创意创作、智能搜索、实时互动等日常生产生活中,为用户提供更丰富的功能与服务。从模型性能的角度看,国内大模型与国际领先模型的差距正在逐步缩小。根据SuperCLUE的最新数据,国内外TOP1模型的差距比例已从2023年5月的30.12%缩小至8月的1.29%。这一变化表明,国内大模型在中文领域的通用能力正在不断赶超国际水平。在OpenAI o1模型的引领下,国产模型有望加速技术迭代,进一步提升性能和应用广度,为商业化开辟更广阔的空间。国产大模型的快速发展不仅有助于推动AI技术在国内各行业的广泛应用,也将为全球AI产业的发展注入新的动力。在OpenAI1模型的引领下,国产模型有望加速迭代进程,持续打开商业化空间

相关产品:

1、人工智能AIETF(515070)及其联接基金(008585/008586/021580)

人工智能AIETF跟踪中证人工智能主题指数(指数代码:930713.CSI,指数简称:CS人工智) 数选取为人工智能提供基础资源、技术以及应用支持的公司中选取代表性公司作为样本股,反映人工智能主题公司的整体表现。

数据来源:Wind,中信证券,广发证券,截至2024.9.18,以上个股不作投资推荐。

以上基金属于指数基金,风险等级R4中高风险,存在标的指数回报与股票市场平均回报偏离、标的指数波动、基金投资组合回报与标的指数回报偏离等主要风险,其联接基金存在联接基金风险、跟踪偏离风险、与目标ETF业绩差异的风险等特有风险,且市场或相关产品历史表现不代表未来。申购:A类基金申购时,一次性收取申购费,无销售服务费;C类无申购费,但收取销售服务费。二者因费用收取、成立时间可能不同等,长期业绩表现可能存在较大差异,具体请详阅产品定期报告。投资者在投资基金之前,请仔细阅读基金的《基金合同》、《招募说明书》和《产品资料概要》等基金法律文件,充分认识基金的风险收益特征和产品特性,并根据自身的投资目的、投资期限、投资经验、资产状况等因素充分考虑自身的风险承受能力,在了解产品情况及销售适当性意见的基础上,理性判断并谨慎做出投资决策,独立承担投资风险。

对于ETF基金,投资者投资于本基金面临跟踪误差控制未达约定目标、指数编制机构停止服务、成份券停牌等潜在风险、标的指数回报与股票市场平均回报偏离的风险、标的指数波动的风险、基金投资组合回报与标的指数回报偏离的风险、标的指数变更的风险、基金份额二级市场交易价格折溢价的风险、申购赎回清单差错风险、参考IOPV决策和IOPV计算错误的风险、退市风险、投资者申购赎回失败的风险、基金份额赎回对价的变现风险、衍生品投资风险等。

对于ETF联接基金,基金资产主要投资于目标ETF,在多数情况下将维持较高的目标ETF投资比例,基金净值可能会随目标ETF的净值波动而波动,目标ETF的相关风险可能直接或间接成为ETF联接基金的风险。ETF联接基金的特定风险还包括:跟踪偏离风险、与目标ETF业绩差异风险、指数编制机构停止服务风险、标的指数变更的风险、成份券停牌或违约的风险等。

本资料不作为任何法律文件,观点仅供参考,资料中的所有信息或所表达意见不构成投资、法律、会计或税务的最终操作建议,我公司不就资料中的内容对最终操作建议做出任何担保。在任何情况下,本公司不对任何人因使用本资料中的任何内容所引致的任何损失负任何责任。市场有风险,入市需谨慎。

0 阅读:0

具光谈财经

简介:感谢大家的关注