如何在 Tableau Prep 中删除重复记录 - Josh Milligan 分享了另一个篇有用的帖子,讲述了如何轻松删除 Prep 中的重复项,并在最后介绍了 LOD 计算。

这里有三种方法,可以去取重复的数据,当然,后一种总是更难一点。

一、完全重复的数据 Exact Duplicate Records in Tableau Prep

对于像上面的完全相同的两行数据,可以直接通过聚合功能删除——添加聚合步骤,然后全部添加到「分组栏位」,没有「聚合栏位」,这样完全相同的数据就会仅保留一条。

二、相似但并不完全相同的数据Similar, but not exactly, Duplicate Records

对于像上面部分数据一致,部分栏位不同的数据,我们仅要保留最近的数据(上面中最后一次被雇佣的数据),还是使用聚合功能,不过需要「聚合栏位」——把相同的栏位拖入「分组栏位」,而把想要去重的栏位拖到「聚合栏位」,并根据需要修改聚合的方式,在这里,我们把默认的求和,改为求最大值(max),就会保留最后一次记录。

三、相似的延伸重复数据 Extended Near Duplicate Records

Extended Near Duplicate Records

在这个数据中,我们知道不同的date hired是因为不同的职位position,我们依然想要保留最近的数据,上面的两个方法就不行了。如果使用第二种方法,第三条和第四条数据都会被保留,因为position栏位是不同的,如何处理?先处理Date Hired,再关联position。如下:

1、首先执行上面第二步,把employee ID和Name拖入「分组栏位」,把Date Hired拖入「聚合栏位」并改为max,这样就会保留四行数据——不要拖入Position。Max Date步骤就是上面第二种方法。

2、把上面的结果,和原数据做联结,把position数据联结到上面的结果中。如下图:

四、奖励:Prep中的LOD计算

Bonus: LOD Calculation in Tableau Prep

在上面的Max Date,其实就是一个Lod操作,类似于我们在desktop中的 {FIXED [Employee ID] : MAX([Date Hired]}。

Prep不支持LOD操作,但是我们可以通过图形化的方式,实现LOD的逻辑和结果。

英文原文:

  • How to remove duplicate records in Tableau Prep

2 Sep 2018 Healee


推荐阅读:
相关文章