BERT只是一个文本扩散步骤AndrejKarpathy提到的一篇文章：

蚁工厂 2025-10-21 09:17:05

BERT 只是一个文本扩散步骤

Andrej Karpathy提到的一篇文章： nathan.rs/posts/roberta-diffusion/

文中认为，像 BERT 这样经典的编码器模型（Encoder-only models）可以被看作是一种特殊的、只执行一步的文本扩散模型。通过对训练方式进行微调，可以将其转变为一个能够生成文本的完整生成模型。 ​​​

0 阅读：0

猜你喜欢

蚁工厂

蚁工厂

感谢大家的关注

作者最新文章

1
今天刷到Vercel 创始人Rauch的推，说在他们的内部agent测试中，ki
2
双11购物金充值已修复 看来这次流量还是蛮大的。。看报道是双11晚20点开售后，
3
分享图片 ​​​
4
Andrej Karpathy对 DeepSeek-OCR 的评价：------
5
BERT 只是一个文本扩散步骤 Andrej Karpathy提到的一篇文章：
6
转发赠书 携手送出3本《生成式人工智能（基于PyTorch实现）》，截止2025
7
AWS 宕机。Perplexity、Snapchat、Fortnite、Airt
8
deepseek刚发了个DeepSeek-OCR的新模型。这么看起来，DeepS
9
proj101.cn/计算机“101计划”核心课程建设项目。北大牵头搞得项目，上
10
电子书 计算机网络：原理、协议与实践 Computer Networking :

热门分类

推荐 热榜 军事 NBA 体育 社会 明星八卦 娱乐 财经 科技 汽车 历史 国际 游戏 动漫 公益 搞笑 商业 互联网 数码 国际足球 房产 家居 时尚 科学探索 职场 育儿 股票 教育 影视 情感 热点 中国军情 武器 中国南海 中国足球 亚洲杯 科比 综合体育 CBA 投资 大咖秀 外汇 创业 风口 SUV 豪车 概念车 优惠 新能源 美国 欧洲 朝日韩 俄罗斯 孕期 街拍 婚姻 正能量

科技TOP

1
我预感红米k90可能会卖爆！这外观设计颜值一点不输小米17系列，再加上旗舰级别
2
老美开心了，终于让英伟达倒闭了！刚刚英伟达总裁黄仁勋对外宣布：中方市场份额降
3
华为Mate80会在2025年11月发布，大家最关心的是它用的芯片，麒麟9030
4
10月份即将发布的新手机，看看有没有你喜欢的？
5
华为Mate70Pro在某多多上面百亿补贴的价格才四千多？敢不敢买？看上m
6
屏下摄像头直屏、电池最大8000mAh、骁龙8EliteGen5、最大24G
7
奢牌Caviar搞iPhoneAir定制款！黄金+钛金属+鳄鱼
8
哦豁，REDMIK系列提速了。​​​
9
今年mate80是不是还是走mate70路线，11月发布，前期缺货，过几个月供应
10
我发誓，我的Mate60Pro还没捂热乎呢，Mate80的消息就直接要上王

科技最新文章

1
最新一期手机续航排名出来了，有些手机又被啪啪打脸可以看到荣耀Magic8系列的
2
荣耀最新一轮系统更新，支持适配的手机名单，看看你的手机上榜没有上周荣耀公布了
3
想进华为工作的注意了，余承东发布全球AI人才招募令，合适的朋友可以冲了，毕竟现在
4
奢牌Caviar搞iPhoneAir定制款！黄金+钛金属+鳄鱼
5
iQOO15创历史记录，开售30分钟的销量超上代首日全天，首发价4199元起。•
6
这是iQOO15首销战报1、iQOO15是发布即开售，根据官方的信息iQOO
7
王自如还是去上班了！从格力出来之后，王自如搞了一段时间自媒体，就在大家以为他
8
iQOO15价格iQOO15刚刚发布了！这一代的iQOO15售价1
9
目前华为手机段位榜顶级:MateX6、Mate70Rs非凡大师高端：Mat
10
英伟达老板黄仁勋和他的儿子黄胜斌。看来，黄种人和白种人混血真的会变成墨西哥人。