AIRec | 智能推荐 | 阿里云
‣
EasyRec
alibaba • Updated Jul 16, 2024
简介
链路完整完善、功能齐全,迭代效率更高
链路完整
实现了主流的深度模型,覆盖召回、排序、粗排、重排、多目标、多兴趣等
功能丰富
支持EarlyStop, BestExport, 特征重要性,特征选择、模型蒸馏等高级功能
加速调优
支持HPO自动调参,可显著降低的调参工作量,并可在多场景应用、提升推荐效果
平台完善
支持数据诊断,特征一致性检查,分层、实验等功能,加速效果迭代
多平台、多数据源训练,环境选型更灵活
支持的平台
MaxCompute(原ODPS), DataScience(基于Kubernete), DLC(deep learning container), Alink, 本地
支持的数据源
OSS, HDFS, HIVE, MaxCompute Table, Kafka, Datahub
开发环境
兼容多种Tensorflow版本(>=1.12, <=2.4, PAI-TF),可无缝对接开发环境,无需对代码做迁移和改动
使用流程
只需要定义好的模型,在本地测试通过后,即可在多种分布式平台上进行训练
算子开放,20+行业经典模型与方案开箱即用
召回模型
DSSM/FM/MIND/CoMetricLearningI2I/DropoutNet/GraphSage/UltraGCN 等
排序模型
FM / WideAndDeep / DeepFM / DIN / DeepCross / AutoInt / MultiTower/Simple MultiTask / MMoE / ESMM / DBMTL 等
冷启动
基于内容理解:多模态Embedding数据提取与应用
基于快速试探:基于小流量试探+强化学习模型
多样性
召回过滤:结合各类互动行为灵活定义过滤条件
打散混排:结合用户体验,灵活设计推荐内容的特征分布、展示布局
自研引擎配套使用,打造低时延高稳定性体验
召回引擎
打通自研引擎BE服务,可支持亿级别的召回候选集粗排且时延收敛至几十毫秒以下;支持向量召回、U2X、X2I等推荐领域所有的召回类型
推理服务
打通自研引擎PAI-EAS服务,高并发高吞吐,服务毫秒级响应时长;支持服务资源弹性扩缩,稳定保障线上业务
实时特征
支持阿里自研搜推场景专用特征引擎ABFS,能够支持千万级实时查询且时延在毫秒级;KV、KKV、Index倒排等推荐领域实时特征存储、关系存储的所有索引类型
业务引擎
支持阿里自研推荐场景专用业务引擎PAI-REC,能够解析互动请求,串接完整选品、召回、过滤、精排、重排、冷启动等环节,毫秒级响应用户请求
收费项目
- 基础费用(5000 | 8000 一个月)
- 搭建实时特征与实时训练链路 咨询费 5w,开发费用另算
- 云产品收费
业务规模 | 资源消耗预估中位数(目录价/月) | 备注 |
DAU5万以内 | 4万 | 推荐方案的复杂性导致费用相差比较大,例如物品和用户的数量,是否使用向量召回、物品冷启动算法、复杂的排序模型、在线学习等等。
同时根据业务需要,使用自动扩缩容的EAS实例,使用预付费的MaxCompute,定期清理Hologres或OSS里不用的数据,使用增量训练代替全量训练都可以节约成本。 |
DAU5万-10万 | 8万 | ㅤ |
DAU10万-20万 | 14万 | ㅤ |
DAU20万-50万 | 25万 | ㅤ |
DAU50万-200万 | 60万 | ㅤ |
链路
从客户埋点的日志开始做数据分析,然后可以根据业务定制出特征工程、召回、排序的算法代码,引擎的配置文件,实验报表指标和统计代码。帮助客户轻松的搭建推荐系统,完善推荐场景,缩短推荐业务的建设和优化的周期。不管客户是从0到1建设推荐系统,还是已有推荐系统遇到效果优化的瓶颈,都可以基于该平台开展工作。
白盒化:提供大量源代码,让用户理解推荐算法细节,可自定义代码灵活满足业务需求
- 推荐算法定制:只需配置用户表、物品表、行为表,即可生成召回、排序脚本和配置文件
- 提供完整的引擎管理和实验管理后台,让用户能够轻松管理召回、排序组件、更新引擎参数
- 提供指标和报表管理后台,用户可自定义指标、按天和按小时了解实验效果
- 提供离在线特征一致性对比工具,避免因为一致性问题导致实验效果不符合预期
- 提供数据智能诊断,帮助开发者快速理解数据,根据结果数据选择特征和特征工程的时间窗
- 提供各种诊断工具,帮助用户可视化观察推荐结果和召回数据
- 配合特征平台管理工具,能够更好管理特征,提高实验效率
- 提供各种技术服务,帮助用户用好解决方案,解答使用中的问题
源代码包括:
- 数据特征工程和样本处理的源代码
- 调用召回、排序模型的脚本代码
- EasyRec召回和排序模型的源代码
- PAI-Rec引擎的业务源代码
我们使用PAI-EasyRec来训练召回和排序模型,go语言的PAI-Rec引擎来搭建推荐系统;DataWorks或者PAI-Designer来编辑和调度特征工程、样本和模型训练的代码;用BE/GraphCompute/hologres来存储用户特征、i2i查询、向量查询;用PAI-EAS来提供可弹性扩缩容的打分服务,。以下是这些产品的具体介绍:
机器学习平台PAI机器学习平台PAI(Platform of Artificial Intelligence)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务。
EasyRec算法框架EasyRec内置了业界先进的深度学习模型,支持多种Tensorflow版本(>=1.12, <=2.4, PAI-TF),覆盖了推荐全链路的需求,包括召回、粗排、排序、重排、多目标、冷启动等。开发者可基于EasyRec算法框架加速迭代推荐全链路需求。
DataWorks、MaxCompute是基于云原生的两款大数据服务,可搭配使用,针对推荐系统中特征处理、样本生成、画像管理、模型调度、数据更新等环节,提供了易用的开发工具和稳定的数据环境,如您有除DataWorks、MaxCompute之外的大数据服务选型,PAI-REC标准服务暂未支持,建议使用DataWorks、MaxCompute。
如确需使用其他大数据服务选型,可能需要您修改相应的引擎代码,请提前与架构师沟通方案。
Hologres(什么是实时数仓Hologres)是阿里巴巴自主研发的一站式实时数仓引擎(Real-Time Data Warehouse),支持海量数据实时写入、实时更新、实时加工、实时分析,支持标准SQL(兼容PostgreSQL协议和语法,支持大部分PostgreSQL函数),支持PB级数据多维分析(OLAP)与即席分析(Ad Hoc),支持高并发低延迟的在线数据服务(Serving),支持多种负载的细粒度隔离与企业级安全能力,与MaxCompute、Flink、DataWorks深度融合,提供企业级离在线一体化全栈数仓解决方案。我们可以使用hologres存储用户实时行为序列和用户特征、推荐召回数据,使用hologres提供的向量召回功能等。
图计算服务(什么是图计算服务)是阿里云自主研发的高性能分布式图计算产品,为开发者提供万亿级数据规模的一站式图技术服务。Graph Compute支持复杂图关系数据的存储、查询和计算,高效对接图算法与模型,在搜索推荐广告、实时风控、知识图谱、社交网络等场景有着广泛的应用。
Loading...