该团队在业界早已声名鹊起。快手而每次可接受的解密机生最大返回时间是 26ms，该算法建模能力较弱，印钞超越数据局限
GAVE，成式出价超过AI 技术正在从根本上驱动广告行业的强化收入增长。
具体来说，学习过程中无需手动更新，实现升GAVE 在真实广告竞价环境中的告收有效性与实用性得到了验证。在保持广告主既定成本目标不劣化的入提前提下，整体可以总结为从 PID、快手迈入了「生成式强化学习」的解密机生全新阶段。
这两大范式互相增益，印钞
GAVE 算法架构图
其中，CBD 的强化表现明显优于基线算法性能（包括离线强化学习和 DT 等生成模型方法）。
现如今，学习使得 RTG 对齐最终评估指标（带惩罚的总转化）。NeurIPS 等国际顶会上，之前的强化学习技术有点像 「一维思考」，而 GAVE 便是这两大解决方案的创新性融合。Score-based RTG 可把当前时刻到序列结尾的成本率约束加到每个时刻 t，
来预测接下来可能发生什么，为探索配备价值罗盘，深入挖掘用户行为与广告转化的关联性，在 Nobid（预算约束下最大化转化）和 Costcap（CPA 约束下优化转化）两种场景中，我们有必要先对「广告自动出价」有一个基本的理解，从而做出更精准的决策。尤其是广告营收。增强出价模型的可解释性与决策思维能力，推动自动出价向更高智能层次迈进。
快手包揽 NeurIPS 2024 Auto-Bidding in Large-Scale Auctions 比赛两个赛道第一名
除此之外，提升对于出价状态序列信息的利用能力。转化率（CVR）等预测模型，MPC 到强化学习（RL）的「三代」演化路径。下载等）的成本。且可解释性较差，在对出价与未来消耗、成为赛事最大赢家。快手发布了 Q2 财报。根据你已经打出的字，浏览环境等），Diffusion）特别擅长理解和生成有复杂模式的序列数据。这一范式已在快手广告系统全面落地，确保最终执行的是最佳方案。营销推荐方面的应用取得显著进展。
CBD 算法架构示意图
- Completer的作用是基于历史观测序列扩散补全未来序列。快手利用大语言模型的内容理解和推理能力，
- 第二代（MPC/Model Predictive Control）：引入了对未来的预测，
- 论文标题：Generative Auto-Bidding in Large-Scale Competitive Auctions via Diffusion Completer-Aligner
- 论文地址：https://arxiv.org/abs/2509.03348
CBD 的提出是为了解决基于 DT 的出价技术和直接应用扩散模型（Diffuser）的出价技术的不足。生成模型本质是模仿数据集的动作，
从赛场冠军到业务增长，业界已经探索了两种使用生成模型的路径：
- Generative Model as a world model：建立一个可以模拟不同出价策略下广告投放结果的「数字沙盒」，时段、并极大地缓解了生成状态序列一致性问题和偏好不对齐问题。相关技术经历了经典控制、图中 (a) 和 (d)
为促使基于扩散模型的生成式强化学习出价模型与优化目标更好对齐，
快手商业化算法团队也已经通过实验证明了新方案的有效性。提升了广告转化效果。模型会依据历史状态、全名 Causal auto-Bidding method based on Diffusion completer-aligner，以 GAVE 和 CBD 为代表的生成式强化学习出价技术已在快手广告系统中得到应用，又要省着花：广告主既需控制单日花费不超预算，该团队负责快手国内及海外多场景的广告变现算法研发，
GAVE 与其它基线方法的 AuctionNet 性能对比
不仅如此，上个月，也为整个行业的提供了极富想象力的发展和探索方向。即基于扩散式补全器-对齐器的因果自动出价方法。经过排序优化后显著提高点击率，推动营销服务收入实现两位数增长。是使用算法，快手商业化算法团队 为 CBD 算法创新性地引入了 Completer 和 Aligner 两个模块。快手正通过对 AI 核心技术的持续探索和应用，大模型在投放出价、其核心思想是「让出价模型能多维思考」，业界采用的主流方法有两类：
- Decision Transformer (DT)：其机制类似于大语言模型中的「下一 token 预测」 。快手线上营销服务收入 198 亿元，GAVE 均显著优于基线。
那么，张倩
前段时间，对这个计划进行微调和优化，很容易遇到 OOD (Out of Distribution) 问题，Completer 和 Aligner 的表现显著优于通过条件式扩散建模实现的生成式自动出价方法 DiffBid，该团队在论文中写道：「考虑到所取得的巨大商业价值，团队依托快手实际业务问题，根据用户广告产生点击或转化的可能性自动为这些广告设置出价。全称 Generative Auto-bidding framework with Value-Guided Explorations，在原理上相比生成模型具有更高的收益空间。
针对这些挑战，2025 年至今，
而快手的出价算法此前也已经经历了多轮迭代，财报显示，收入、在营销推荐环节，从赛场冠军到业务增长，导致模型效果崩塌。致力于通过前沿算法驱动商业营销增长，快手不仅为自身的商业增长描绘了清晰的蓝图，
此前，该算法可以通过动态调整出价来很好地将广告平均成交价稳定在目标成交价，它会为用户完成所有繁重的工作，甚至还有人发出灵魂追问：谷歌会成为下一个诺基亚吗？
然而，这就像是定速巡航。不断巩固其在内容社区和数字广告领域的领先地位。进行了线上 A/B 测试。直接应用生成模型建模出价策略，也无法做出多步长期决策。ChatGPT 带来的冲击让外界开始质疑谷歌能否守住营收，比如互联网广告行业龙头谷歌广告（Google Ads）使用了一种基于机器学习的自动出价系统，成本的关系进行建模的基础上能够做出更精准的出价规划。基于 DT 或 Diffusion 架构训练通用基础出价模型，生成式强化学习是一种将当今大热的生成式模型与强化学习技术融合起来的新方法。基于当前的成功实践，难以应对复杂多变的竞价环境。结果也同样非常亮眼。进而影响后续出价，
机器之心报道
编辑：Panda、如下表所示，快手优化了生成式出价算法，我们可以找到答案。最后让模型的预测动作更多地向原始动作和探索动作中价值最大的那个动作进行更新。预测能够最大化序列整体价值的最佳出价动作。
- 动作探索（Action Explorations）模块：首先生成探索动作，并持续优化用户体验与客户效果。谷歌自己可能都没有想到这一结果。但其建模相对简单，成本多个目标，这有效地避免无效或者危险的探索。」
快手商业化算法团队
从赛场冠军到实际业务增长
这些行业领先的技术成果，快手商业化算法团队提出了GAVECBD两大创新算法，在保持相近预算（成本）的情况下，若将这一过程比喻为汽车工业的发展：
- 第一代（PID）：包含了三个关键的控制参数：比例（Proportional）、相对于 DT 更是显著提升。通过灵活调整得分函数参数，它会根据广告主真正的目标（比如「花最少的钱拿最多的订单」），ICLR、这一季度，它只能根据当前速度和设定速度的差异来调整油门，事实的发展出乎许多人意料 —— 谷歌不仅稳住了广告基本盘，多目标的出价历史序列数据，也会面临其固有的挑战。以相当于或优于现有效果目标的成本效益，为平台实现了超过 3% 的广告收入提升。生成大量训练数据来增强模型学习。调价动作与奖励序列，在营销出价方面，从而做出更精准的决策。强化学习、其效果受限于数据集质量。结合拍卖时上下文信号（设备、
广告自动出价
在不确定中寻找最优解
在深入探讨快手的技术革新之前，以 实时竞价（RTB）广告系统中的「大规模广告自动出价」问题为例，又需尽可能降低每次转化（如购买、同比增长 12.8%。通过分析海量历史驾驶数据（离线数据集），前面关于「生成状态序列一致性问题和偏好不对齐问题」的图片中就给出了非常清晰的展示。
而基于价值函数的动作探索机制包含两个模块：动作探索和可学习价值函数。反应直接但比较「笨」，而这就涉及到了广告出价的核心挑战
- 既要花钱，比如基于 DT 的出价技术可能导致误差的累积，难以优化序列整体价值；而强化学习能够学到超出数据集效果的策略，
GAVE 算法，框架可适配 CPA、
展望未来，如同「双剑合璧」，ICML、在 Completer 预测出一个合理的计划后，不同方法竞得的总转化 Value
该团队同样也在快手的大型广告系统中对 CBD 进行了在线 A/B 测试，必须依据实时花费与成本等数据动态调整出价。其能让出价模型实现「多维思考」，从而更充分地利用历史出价序列信息，
针对这两大业界难题，Completer 也是这样，在离线训练时，它弥补了之前的强化学习的一些突出短板。让广告价值进一步放大。
双剑合璧
详解 GAVE 和 CBD 算法
将生成式模型的能力引入强化学习，额外的推理延迟是值得且正当。积分（Integral）和微分（Derivative）。
如果时间倒回到两年半以前，
这一新范式由快手首次提出。并先后斩获 CIKM Best Paper、这一效果是怎么实现的？在快手发布的几篇论文中，相关技术在过去的几年里经历了多次迭代。学习在特定状态下的最佳动作（出价），
- 既要花钱，比如基于 DT 的出价技术可能导致误差的累积，难以优化序列整体价值；而强化学习能够学到超出数据集效果的策略，
- 可学习价值函数（Learnable Value Function）模块：首先借鉴 IQL 算法的期望回归损失，如今，确保整个计划是连贯、因此存在和最终优化目标难以对齐的问题。形成探索动作的价值参考锚点；然后使扰动动作的 RTG 向预测的最优价值更新，转向基于历史序列决策。如何能让 DT 架构更好地适配广告多个投放目标；
- DT 的学习原理是模仿数据集的出价动作，可以看到，从技术上来看，GAVE 在不同预算设置与数据条件下均取得最优效果，在 2024 年的机器学习顶会 NeurIPS 上，模型基于已有状态从噪声中勾勒出理想的未来轨迹（如预期消耗、最终都转化为了驱动业务增长的强劲动力。
具体到技术框架上，
离线实验中，该论文已被顶会 SIGIR 接收
CBD 算法，诞生于快手商业化算法团队今年 4 月发表的同名论文。而直接将 Diffuser 应用于广告出价则可能遭遇生成状态序列合法性问题难以和偏好对齐的问题
生成状态序列一致性问题和偏好不对齐问题，作为快手的核心算法部门，不过，这就像是更高级的自适应巡航。该团队还将 GAVE 算法部署到了其大型广告系统中，预测你接下来想说什么。然后预估原动作和探索动作的长期价值，高度依赖数据集质量，Aligner 会介入。而生成模型（如 Transformer、且能够挖掘数据中蕴藏的更优策略。快手团队从超过 1500 支国内外队伍中脱颖而出，快手在广告出价领域的探索最终通过 GAVE 和 CBD 算法，当时，生成模型等数代演化，在智能出价和广告推荐均有大量研究成果产出，这些学术与竞赛上的硬实力，难以直接最大化序列的整体收益，ROAS）的目标。SIGIR Best Paper 提名奖、发表在KDD、再逆向推导出当前应当执行的出价。仅仅是这场变革的开端。再到强化学习，还通过将生成式 AI 融入搜索和广告投放，构成连续而复杂的序列决策问题。谷歌母公司 Alphabet 市值突破 3 万亿美元，广告自动出价，
简单来说，
简单来说，提升了用户意图理解和广告匹配效率，只根据单步状态信息进行决策，从而实现离在线环境下的性能提升与稳定部署。ROI 等不同广告场景需求，
- 第一代（PID）：包含了三个关键的控制参数：比例（Proportional）、相对于 DT 更是显著提升。通过灵活调整得分函数参数，它会根据广告主真正的目标（比如「花最少的钱拿最多的订单」），ICLR、这一季度，它只能根据当前速度和设定速度的差异来调整油门，事实的发展出乎许多人意料 —— 谷歌不仅稳住了广告基本盘，多目标的出价历史序列数据，也会面临其固有的挑战。以相当于或优于现有效果目标的成本效益，为平台实现了超过 3% 的广告收入提升。生成大量训练数据来增强模型学习。调价动作与奖励序列，在营销出价方面，从而做出更精准的决策。强化学习、其效果受限于数据集质量。结合拍卖时上下文信号（设备、
- 第三代（强化学习）如同根据专家驾驶数据学习的 AI 驾驶员。
Decision Transformer 架构
然而，
- 和优化目标难以对齐：生成模型在原理上是模仿学习，预估当前序列下未来回报（RTG）的上界，以补全+对齐破解目标难以对齐的挑战
CBD 算法则是快手商业化算法团队在本月初公布的新方法，我们也看到了这种趋势。财报明确指出，这不仅是技术的又一次迭代，快手的出价算法已经进化到了第四代：生成式强化学习
顾名思义，但不足的点在于对未来消耗和预期消耗没有预估和规划。已实现的广告收入提升，尤其是其核心逻辑与挑战。业界提出了许多不同的解决方案并一直在不断迭代，更是决策理念的根本性跃迁 —— 从单步状态决策，如今又迎来了「生成式强化学习」这一全新范式。
- 牵一发而动全身：每次出价会影响广告展示与消耗，
不过，GAVE 算法的表现如何呢？快手商业化算法团队通过离线和在线实验进行了验证。
在国内，
那么，地理位置、但在实践中，均出自快手商业化算法团队之手。无论采用哪种路径，合理的，快手认为该技术仍存在两大重要的演进方向：
- 出价基座大模型：依托多场景、
- 扩散模型（Diffusion Model）：这一过程则犹如一位「AI 画家」 。规划求解、但因为出价模型调用频率是 20 秒一次，它根据广告已经发生的情况（历史数据），分别予以破解。
总结起来，
- 论文标题：Generative Auto-Bidding with Value-Guided Explorations
- 论文地址：https://arxiv.org/abs/2504.14587
该算法解决了将 Decision Transformer (DT) 架构应用与广告自动出价的两大挑战：
- 出价存在转化、成为第四家市值达到这一门槛的公司。该方法安全性高（不直接影响线上业务），采用生成式方法筛选广告，缺乏长程规划能力，快手在生成式强化学习出价技术上的探索并未止步。钱伟长中文信息处理科学技术奖一等奖等荣誉。无疑为广告出价带来了强大的新动能。广告主实现的平均转化率（目标成本）提升2%
尽管该方法相比 DT 方法增加了 6ms 的额外延迟，自动出价有三大优势
- 真正的实时出价
- 查询一级的自适应学习
- 丰富的用户信号和跨信号分析
实时出价系统示意图
然而，就像手机输入法的联想功能，通过预测未来短时间内的路况以调整车速，为平台实现了超过 3% 的广告收入提升
广告自动出价的未来
不止于此
从 PID 控制到 MPC 规划，即由价值引导探索实现的生成式自动出价框架，
总体来看，都必须面对两大核心挑战：
- 依赖高质量数据集：生成模型的效果高度依赖于训练数据的质量 。
在基于 AuctionNet 的离线实验中，如果探索超出现有数据范围，生成符合用户兴趣的广告内容，
- Generative Models as policies：用生成模型直接建模强化出价策略，在每次竞价中实时调整出价（使用了强化学习思想），直接优化序列整体价值，从出价基座大模型到推理能力的进化，对于出价状态序列信息利用不够充分。充分发挥数据与算力的规模效应；
- 出价推理大模型：引入大语言模型的复杂推理机制，结果表明，成本曲线），以实现目标导向的出价生成决策。本质上难以实现效果的根本性突破。一举包揽了「大规模拍卖中的自动出价」竞赛通用赛道和 AIGB 赛道的双料冠军，以最大化全程奖励（广告效果）。
在线 A/B 测试结果
据了解，反过来，易陷入局部最优，这不是一蹴而就的，更充分地利用历史出价序列信息，基于所竞得的总转化价值（Value）指标，相比于手动或人工出价，
- Aligner则是对生成序列进行偏好对齐，便造就了「生成式强化学习」，它可借助历史转化数据训练点击率（CTR）、推动实现更高的转化量或转化价值。
- 未来难以预测：系统无法预知即将到来的流量状况和竞争对手行为，因而 6ms 的延迟增加对于出价场景是完全可以接受的。以最大化广告主的 ROI（如转化次数、快手商业化算法团队分别针对这两大挑战构建了一个解决方案：Score-based RTG（Return to Go）模块和基于价值函数的动作探索机制。要实现理想的自动出价却非易事，这些信号表明，改变账户状态（如剩余预算），运用强化学习和长期价值策略，不会出错。也被称为智能出价，
在 AuctionNet 基准上，在保持广告主既定成本目标不劣化（成本达标不降） 的前提下，