Pig YearsBetween 函数

  • YearsBetween 函数

    YearsBetween此函数接受两个日期时间对象,并计算两个给定日期时间对象之间的年数。
  • 句法

    YearsBetween() 函数的语法
    
    grunt> YearsBetween(datetime1, datetime2)
    
  • 例子

    假设在HDFS目录/pig_data/中有一个名为doj_dob.txt的文件。该文件包含特定人员的出生日期和加入日期的详细信息,身份证,出生日期和加入日期。
    
    001,26/09/1989 09:00:00,16/01/2015 09:00:00
    002,20/06/1980 10:22:00,10/08/2011 09:00:00
    003,19/12/1990 03:11:44,25/10/2012 09:00:00 
    
    并且,我们已将这个文件通过名为doj_dob_data的关系加载到Pig中,如下所示。
    
    doj_dob_data = LOAD 'hdfs://localhost:9000/pig_data/doj_dob.txt' USING PigStorage(',') as (id:int, dob:chararray, doj:chararray);
    
    现在,让我们使用YearsBetween()函数计算员工的出生日期与加入日期之间的年数,如下所示。
    
    grunt> yearsbetween_data = foreach doj_dob_data generate YearsBetween(ToDate(doj, 'dd/MM/yyyy HH:mm:ss'),ToDate(dob,'dd/MM/yyyy HH:mm:ss'));
    
    上面的语句将结果存储在名为yearsbetween_data的关系中。如下所示,使用Dump运算符验证关系的内容。
    
    grunt> Dump yearsbetween_data;
      
    (25)
    (31)
    (21)