敏捷大数据与敏捷AI

在不同领域、不同业务场景下得到了广泛应用，并且发挥了不可取代的作用。

在金融领域的许多场景中，对于实时AI数据处理同样存在有众多需求，如实时风控、实时数据预测、实时异常检测、实时用户分析等等。下图为实时产品推荐的一个数据流图，可以用于金融产品推荐场景中，例如网贷、保险、基金、股票等产品。

该图描述了如下过程：在交互端我们可以通过埋点获得大量的、不同用户的行为数据，这些数据将被企业实时数据平台采集，与用户、产品及其他数据一起提供给计算层的各类模型，如用户兴趣模型、产品画像模型等。这些模型对用户和产品进行特征刻画，最终提供给推荐模型计算、排序、过滤得到最终的推荐列表。这一过程中我们可以根据采集到的实时用户行为数据流对用户兴趣模型进行更新和校正，从而实现对用户所感兴趣内容的实时追踪。上图没有体现的一个过程是对产品画像模型的实时更新，尽管相对用户的行为数据而言，产品的特征数据相对稳定，但在实际当中还是有不少产品对时效性要求很高，其画像特征也需要我们进行实时的维护，例如证券市场的数据信息等。这些产品数据流可以通过其他渠道汇总进入企业实时数据平台之中，并提供给产品画像模型进行产品特征的重构，最终提供给推荐模型进行产品推荐。一个好的实时产品推荐系统可以灵敏捕捉用户的需求、响应产品的变化，可以高效地针对用户开展个性化精准营销，提升用户体验度的同时还能够提高获客和关单数量，产生巨大的业务价值。

在上图中企业实时数据平台扮演了为推荐模型提供实时数据的重要任务。在一个敏捷的数据环境中，敏捷大数据就平台可以很好地支持上述工作，一种实现架构如下图所示：

在该图中，dbus和wormhole可以方便对接多种不同数据源，实时获取数据，将数据pipeline源头实时化。另外wormhole支持流上处理，很适合接入产品画像模型和用户兴趣模型对产品与用户的特征进行实时刻画，这些特征经过存储后由moonbox根据需要进行抽取，输入推荐模型得到需要的推荐列表，最终返回给交互端。此外，如果加上davinci数据BI的支持，我们还可以轻松地实现实时业务指标监控，便于我们对推荐效果进行评估。整个过程灵活、便捷地整合了多种不同开源平台以快速搭建实时数据应用，还可以根据需要随时切换开源选型，支持快速迭代试错，结合已有的算法模型就能够迅速支持实现智能用户产品实时推荐这一场景。

如前文所述，在实时AI数据处理过程中，基于敏捷大数据的各项业务组件，结合第三方的开源构件，通过简单配置即可快速编排、敏捷地实现算法运行的底层支持架构。这使得整个系统中看起来唯一的麻烦之处在于我们还要事先开发好各种智能模型，这对于一些业务组织来说还是有一定的技术门槛；此外对于某些业务来说，快速推进和成本控制才是首要考虑的因素，那么针对性地定制化开发智能算法模型，并调整调用接口使之可以接入实时数据架构之中，就显得比较笨拙。例如很多