腾讯广告模型基于太极的训练成本完善实践

发布时间：2024-01-08 15:32:17 所属栏目：大数据来源：DaWei

导读： 然而近年来，人工智能等大数据领域的加大模型成为了 AI 自动驾驶领域建模的标准思维方式。在广告场景，大模型由于使用了更多的模型参数，利用更多的训练数据，模型具备了更强的记忆能力和泛

然而近年来，人工智能等大数据领域的加大模型成为了 AI 自动驾驶领域建模的标准思维方式。在广告场景，大模型由于使用了更多的模型参数，利用更多的训练数据，模型具备了更强的记忆能力和泛化能力，为广告效果向上提升打开了更大的空间。但是大模型在训练过程中所需要的资源也是成倍的增长，存储以及计算上的压力对机器学习平台都是巨大的挑战。

1、引言
近年来，随着大模型在 NLP 领域横扫各种大数据榜单取得巨大成功之后，大数据加大模型成为了 AI 领域建模的标准范式。搜索、广告、推荐的建模也不例外，动辄千亿参数，上 T 大小的模型成为各大预估场景的标配。

在广告场景，大模型由于使用了更多的模型参数，利用更多的训练数据，模型具备了更强的记忆能力和泛化能力，为广告效果向上提升打开了更大的空间。但是大模型在训练过程中所需要的资源也是成倍的增长，存储以及计算上的压力对机器学习平台都是巨大的挑战。同时平台能够支撑的试验数量直接影响算法迭代效率，如何降低成本提供更多试验资源,这已成为平台研究工作的重要方向。

2、太极机器学习平台介绍
太极机器学习平台，致力于让用户更加聚焦业务AI问题解决和应用，一站式的解决算法工程师在 AI 应用过程中特征处理，模型训练，模型服务等工程问题。目前支持公司广告，搜索，游戏，腾讯会议，腾讯云等重点业务。

太极广告平台是太极为广告系统设计的集模型训练和在线推理的高性能机器学习平台，平台具备万亿参数模型的训练和推理能力。目前该平台支持腾讯广告召回，粗排，精排数十个模型训练和在线推理；同时太极平台提供一站式特征注册，样本补录，模型训练，模型评估以及上线试验的能力，极大提升了开发者效率。

3、成本优化具体实现
（1）整体方案介绍
随着太极平台的不断发展，任务数量和任务类型日益增多，资源需求也随之增多。为了降本增效，太极平台一方面提升平台性能，提升训练速度；另一方面，我们也寻找更加廉价的资源，以满足不断增长的资源需求。

峰峦——腾讯公司内部云原生大数据平台，利用云原生技术，对公司整个大数据架构进行升级。为满足大数据业务持续增长的资源需求，峰峦引入混合资源，在满足资源需求的同时，又可极大降低资源成本。峰峦针对不同场景下的混部资源，提供了一系列的解决方案，把不稳定的混部资源变成对业务透明的稳定资源。峰峦混部能力支持3类混部资源：

复用算力资源。算力资源是以低优 CVM 方式挖掘云母机的空闲资源，所谓低优 CVM 是指在云母机上启动具有更低 CPU 优先级的 CVM 虚拟机，该虚拟机可实时被其他的虚拟机抢占资源。峰峦基于底层算力提供的资源信息，在调度、过载保护、算力迁移等方面做了大量的优化，目前已有百万核的大数据任务在算力资源上稳定运行。

（2）资源混合方案
再现空闲资源
峰峦自研了 Caelus 全场景在离线混布方案，通过将在线作业和离线作业混部的方式，充分挖掘在线机器的空闲资源，提升在线机器资源利用率，同时降低离线作业的资源成本。

首先，Caelus 全方位保证了在线作业的服务质量，这也是混部的重要前提之一，比如：通过快速的干扰检测与处理机制，主动感知在线服务质量，及时进行处理，并且支持插件化的扩展方式支持业务的特定干扰检测需求；通过全维度的资源隔离、灵活的资源管理策略等，保证在线服务的高优先级。

其次，Caelus 从多方面保证了离线作业的 SLO，比如：通过内部资源与离线作业画像，为作业匹配合适的资源，避免资源竞争；优化离线作业驱逐策略，优先排序驱逐，支持优雅退出，策略灵活可控。与大数据离线作业大多是短作业（分钟级甚至秒级）的特点不同的是，太极作业的运行时间大多较长（小时级甚至天级）。通过长周期的资源预测与作业画像更好地指导调度，为不同运行时长、不同资源需求的作业找到合适的资源，避免作业运行几小时甚至几天后被驱逐，导致作业状态丢失，浪费资源与时间。当出现需要驱逐离线作业的情况时，会优先通过运行时热迁移，将作业实例从一个机器迁移到另一个机器，并且保持内存状态和IP等不变，作业几乎无影响，极大地提升了作业的 SLO。

通过虚拟集群的方式使用潮汐资源：这些出让的机器资源会由峰峦统一管理和调度，并以虚拟集群的方式提供给太极平台使用，提供 K8S 原生接口，这样做到了上层平台屏蔽底层资源的差异性，保证应用使通过相同的使用方式使用资源。k8s的安全性可以实现数据加密传输，不会泄露用户隐私信息。

（编辑：宜春站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!