例子
假设在HDFS目录/pig_data/中有一个名为doj_dob.txt的文件。该文件包含特定人员的出生日期和加入日期的详细信息,身份证,出生日期和加入日期。
001,26/09/1989 09:00:00,16/01/2015 09:00:00
002,20/06/1980 10:22:00,10/08/2011 09:00:00
003,19/12/1990 03:11:44,25/10/2012 09:00:00
并且,我们已将这个文件通过名为doj_dob_data的关系加载到Pig中,如下所示。
doj_dob_data = LOAD 'hdfs://localhost:9000/pig_data/doj_dob.txt' USING PigStorage(',') as (id:int, dob:chararray, doj:chararray);
现在,让我们使用YearsBetween()函数计算员工的出生日期与加入日期之间的年数,如下所示。
grunt> yearsbetween_data = foreach doj_dob_data generate YearsBetween(ToDate(doj, 'dd/MM/yyyy HH:mm:ss'),ToDate(dob,'dd/MM/yyyy HH:mm:ss'));
上面的语句将结果存储在名为yearsbetween_data的关系中。如下所示,使用Dump运算符验证关系的内容。
grunt> Dump yearsbetween_data;
(25)
(31)
(21)