上一节:
下一节:

  Pig 读取数据

  • 读取数据

    通常，Apache Pig在Hadoop之上工作。它是一种分析工具，用于分析存在于大型数据集（Hadoop File System）。要使用Apache Pig分析数据，我们必须首先将数据加载到Apache Pig中。本章说明如何从HDFS将数据加载到Apache Pig。

  • 准备HDFS

    在MapReduce模式下，Pig从HDFS读取（加载）数据并将结果存储回HDFS。因此，让我们启动HDFS并在HDFS中创建以下示例数据。
    Student ID First Name Last Name Phone City
    001 Rajiv Reddy 9848022337 Hyderabad
    002 siddarth Battacharya 9848022338 Kolkata
    003 Rajesh Khanna 9848022339 Delhi
    004 Preethi Agarwal 9848022330 Pune
    005 Trupthi Mohanthy 9848022336 Bhuwaneshwar
    006 Archana Mishra 9848022335 Chennai
    上面的数据集包含六个学生的个人详细信息，例如ID，名字，姓氏，电话号码和城市。
    步骤1：验证Hadoop
    首先，使用Hadoop版本命令验证安装，如下所示。 
    
$ hadoop version
    如果您的系统包含Hadoop，并且已设置PATH变量，则将获得以下输出- 
    
jc2182@debian:~$ hadoop version
Hadoop 3.3.0
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r aa96f1871bfd858f9bac59cf2a81ec470da649af
Compiled by brahma on 2020-07-06T18:44Z
Compiled with protoc 3.7.1
From source with checksum 5dc29b802d6ccd77b262ef9d04d19c4
This command was run using /usr/local/hadoop/share/hadoop/common/hadoop-common-3.3.0.jar
    步骤2：启动HDFS
    浏览Hadoop的sbin目录，然后启动yarn和Hadoop dfs（分布式文件系统），如下所示。 
    
cd /$Hadoop_Home/sbin/ 
$ start-dfs.sh 
localhost: starting namenode, logging to /home/Hadoop/hadoop/logs/hadoopHadoop-namenode-localhost.localdomain.out 
localhost: starting datanode, logging to /home/Hadoop/hadoop/logs/hadoopHadoop-datanode-localhost.localdomain.out 
Starting secondary namenodes [0.0.0.0] 
starting secondarynamenode, logging to /home/Hadoop/hadoop/logs/hadoop-Hadoopsecondarynamenode-localhost.localdomain.out
 
$ start-yarn.sh 
starting yarn daemons 
starting resourcemanager, logging to /home/Hadoop/hadoop/logs/yarn-Hadoopresourcemanager-localhost.localdomain.out 
localhost: starting nodemanager, logging to /home/Hadoop/hadoop/logs/yarnHadoop-nodemanager-localhost.localdomain.out
    步骤3：在HDFS中创建目录
    在Hadoop DFS中，您可以使用命令mkdir创建目录。在HDFS中，在所需路径中创建一个名为Pig_Data的新目录，如下所示。 
    
$cd /$Hadoop_Home/bin/ 
$ hdfs dfs -mkdir hdfs://localhost:9000/Pig_Data
    步骤4：将数据放入HDFS
    Pig的输入文件在单独的行中包含每个元组/记录。记录的实体由定界符分隔（在我们的示例中，我们使用了“,”）。
    在本地文件系统中，创建一个包含数据的输入文件student_data.txt，如下所示。 
    
001,Rajiv,Reddy,9848022337,Hyderabad
002,siddarth,Battacharya,9848022338,Kolkata
003,Rajesh,Khanna,9848022339,Delhi
004,Preethi,Agarwal,9848022330,Pune
005,Trupthi,Mohanthy,9848022336,Bhuwaneshwar
006,Archana,Mishra,9848022335,Chennai
    现在，使用put命令将文件从本地文件系统移动到HDFS ，如下所示。（您也可以使用copyFromLocal命令。） 
    
$ cd $HADOOP_HOME/bin 
$ hdfs dfs -put /home/Hadoop/Pig/Pig_Data/student_data.txt hdfs://localhost:9000/Pig_Data/
    验证文件
    您可以使用cat命令来验证文件是否已移动到HDFS中，如下所示。 
    
$ cd $HADOOP_HOME/bin
$ hdfs dfs -cat hdfs://localhost:9000/Pig_Data/student_data.txt
    输出
    您可以看到文件的内容，如下所示。 
    
jc2182@debian:~/pigtest$ hdfs dfs -cat  hdfs://localhost:9000/Pig_Data/student_data.txt
2021-01-12 09:21:38,204 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
001,Rajiv,Reddy,9848022337,Hyderabad
002,siddarth,Battacharya,9848022338,Kolkata
003,Rajesh,Khanna,9848022339,Delhi
004,Preethi,Agarwal,9848022330,Pune
005,Trupthi,Mohanthy,9848022336,Bhuwaneshwar
006,Archana,Mishra,9848022335,Chennai

  • Load 运算符

    您可以使用Pig Latin的LOAD运算符从文件系统（HDFS/Local）将数据加载到Apache Pig中。
    句法
    load语句由两部分组成，以“=”运算符为界。在左侧，我们需要提及的关系的名称这里我们要存储的数据，在右边，我们要定义如何，我们存储数据。下面给出的是Load运算符的语法。 
    
Relation_name = LOAD 'Input file path' USING function as schema;
    说明，
    • Relation_name - 我们必须提及要在其中存储数据的关系。
    • Input file path -我们必须提到文件存储所在的HDFS目录。（在MapReduce模式下）
    • function - 我们必须从Apache Pig提供的加载函数集（BinStorage，JsonLoader，PigStorage，TextLoader）中选择一个函数。
    • schema - 我们必须定义数据的模式。我们可以定义所需的架构，如下所示：
    
(column1 : data type, column2 : data type, column3 : data type);
    注意-我们在不指定架构的情况下加载数据。在这种情况下，这些列的地址为$01，$02等（检查）。
    例 - 例如，让我们使用LOAD命令在名为Student的模式下将Pig中的student_data.txt中的数据加载。
    启动 Grunt Shell
    首先，打开Linux终端。如下所示，以MapReduce模式启动Pig Pigunt shell。 
    
$ Pig -x mapreduce
    它将启动Pig Pigunt shell，如下所示。 
    
jc2182@debian:~/pigtest$ pig -x mapreduce
2021-01-12 09:29:36,392 INFO pig.ExecTypeProvider: Trying ExecType : LOCAL
2021-01-12 09:29:36,394 INFO pig.ExecTypeProvider: Trying ExecType : MAPREDUCE
2021-01-12 09:29:36,397 INFO pig.ExecTypeProvider: Picked MAPREDUCE as the ExecType
2021-01-12 09:29:36,476 [main] INFO  org.apache.pig.Main - Apache Pig version 0.17.0 (r1797386) compiled Jun 02 2017, 15:41:58
2021-01-12 09:29:36,476 [main] INFO  org.apache.pig.Main - Logging error messages to: /home/jc2182/pigtest/pig_1610414976470.log
2021-01-12 09:29:36,542 [main] INFO  org.apache.pig.impl.util.Utils - Default bootup file /home/jc2182/.pigbootup not found
2021-01-12 09:29:36,867 [main] WARN  org.apache.hadoop.util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2021-01-12 09:29:36,887 [main] INFO  org.apache.hadoop.conf.Configuration.deprecation - mapred.job.tracker is deprecated. Instead, use mapreduce.jobtracker.address
2021-01-12 09:29:36,887 [main] INFO  org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to hadoop file system at: hdfs://localhost:9000
2021-01-12 09:29:37,532 [main] INFO  org.apache.pig.PigServer - Pig Script ID for the session: PIG-default-7f2f74a8-9483-4f79-811a-72c05283f084
2021-01-12 09:29:37,532 [main] WARN  org.apache.pig.PigServer - ATS is disabled since yarn.timeline-service.enabled set to false
grunt>
    执行Load语句
    现在，通过在Grunt shell中执行以下Pig Latin语句，将文件student_data.txt中的数据加载到Pig中。 
    
grunt> student = LOAD 'hdfs://localhost:9000/pig_data/student_data.txt'  USING PigStorage(',') as ( id:int, firstname:chararray, lastname:chararray, phone:chararray,  city:chararray );
    以下是上述声明的描述。
    • Relation_name 我们已经将数据存储在student schema中。
    • Input file path 我们从文件中读取数据student_data.txt，这是HDFS的/pig_data/目录。
    • Storage function 我们使用了PigStorage()函数。它将数据加载并存储为结构化文本文件。它使用一个分隔符作为参数，使用该分隔符可以将元组的每个实体分开。默认情况下，它将“\t”作为参数。
    • schema 我们已经使用以下架构存储了数据。
    
column   id firstname   lastname phone city
datatype int   char array  char array  char array  char array
上一节:
下一节: