上一节:
下一节:

  Hive 创建表 & 加载数据

  • Hive 创建表

    本章介绍如何创建表以及如何在表中插入数据。在HIVE中创建表的约定与使用SQL创建表非常相似。

  • 创建表语句

    创建表是用于在Hive中创建表的语句。语法和示例如下： 
    
CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.] table_name

[(col_name data_type [COMMENT col_comment], ...)]
[COMMENT table_comment]
[ROW FORMAT row_format]
[STORED AS file_format]
<
    例 - 让我们假设您需要使用CREATE TABLE语句创建一个名为employee的表。下表列出了employee表中的字段及其数据类型：
    • eid - int
    • name - String
    • salary - Float
    • designation - string
    以下数据是注释，行格式的字段，例如字段终止符，行终止符和存储的文件类型。 
    
COMMENT ‘Employee details’
FIELDS TERMINATED BY ‘\t’
LINES TERMINATED BY ‘\n’
STORED IN TEXT FILE
    以下查询使用上述数据创建一个名为employee的表。 
    
hive> CREATE TABLE IF NOT EXISTS employee ( eid int, name String,salary String, destination String)
COMMENT 'Employee details'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;
    如果您添加选项IF NOT EXISTS，则在表已存在的情况下，Hive会忽略该语句。
    成功创建表后，您将看到以下响应： 
    
OK
Time taken: 5.905 seconds
hive>

  • 使用JDBC程序创建表

    给出了创建表的JDBC程序示例。
    新版HIVE，应该启动hiveserver2，hiveserver服务已经没有。启动流程如下：
    • $HADOOP_HOME/sbin/start-dfs.sh
    • $HADOOP_HOME/sbin/start-yarn.sh
    • $HIVE_HOME/bin/hive --service hiveserver2
    启动后可以用$HIVE_HOME/bin/beeline -u jdbc:hive2://localhost:10000 连接测试 上面启动hiveserver2同时也启动了一个webui，在浏览器可以通过http://ip:10002 来查看 
    
import java.sql.SQLException;
import java.sql.Connection;
import java.sql.ResultSet;
import java.sql.Statement;
import java.sql.DriverManager;

public class HiveCreateTable {
   private static String driverName = "org.apache.hive.jdbc.HiveDriver";
   
   public static void main(String[] args) throws SQLException {
      try {
         // Register driver and create driver instance
         Class.forName(driverName);
         
         // get connection
         Connection con = DriverManager.getConnection("jdbc:hive2://localhost:10000/userdb", "", "");
         
         // create statement
         Statement stmt = con.createStatement();
         
         // execute statement
         stmt.execute("CREATE TABLE IF NOT EXISTS "
            +" employee ( eid int, name String, "
            +" salary String, destignation String)"
            +" COMMENT ‘Employee details’"
            +" ROW FORMAT DELIMITED"
            +" FIELDS TERMINATED BY ‘\t’"
            +" LINES TERMINATED BY ‘\n’"
            +" STORED AS TEXTFILE");
            
         System.out.println(“ Table employee created.”);
         con.close();
      } catch (Exception e) {
         System.out.println(e.getMessage());
      }   
   }
}
    将程序保存在名为HiveCreateDb.java的文件中。以下命令用于编译和执行该程序。 
    
$ javac HiveCreateDb.java
$ java HiveCreateDb
    输出 
    
Table employee created.

  • 加载数据语句

    通常，在SQL中创建表后，我们可以使用Insert语句插入数据。但是在Hive中，我们可以使用LOAD DATA语句插入数据。
    在将数据插入Hive时，最好使用LOAD DATA来存储批量记录。有两种加载数据的方法：一种是从本地文件系统加载，第二种是从Hadoop文件系统加载。
    LOAD DATA 的语法如下： 
    
LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename 
[PARTITION (partcol1=val1, partcol2=val2 ...)]
    • LOCAL是用于指定本地路径的标识符。它是可选的。
    • OVERWRITE是可选的，可以覆盖表中的数据。
    • PARTITION是可选的。
    例 - 我们将以下数据插入表中。它被命名为一个文本文件sample.txt的在/home/user的目录。 
    
1201  Gopal       45000    Technical manager
1202  Manisha     45000    Proof reader
1203  Masthanvali 40000    Technical writer
1204  Kiran       40000    Hr Admin
1205  Kranthi     30000    Op Admin
    以下查询将给定的文本加载到表中。 
    
hive> LOAD DATA LOCAL INPATH '/home/user/sample.txt' OVERWRITE INTO TABLE employee;
    成功LOAD后，您将看到以下响应： 
    
OK
Time taken: 15.905 seconds
hive>

  • 使用JDBC程序加载数据

    下面给出的是JDBC程序，用于将给定数据加载到表中。 
    
import java.sql.SQLException;
import java.sql.Connection;
import java.sql.ResultSet;
import java.sql.Statement;
import java.sql.DriverManager;

public class HiveLoadData {

   private static String driverName = "org.apache.hive.jdbc.HiveDriver";
   
   public static void main(String[] args) throws SQLException {
      try {
         // Register driver and create driver instance
         Class.forName(driverName);
         
         // get connection
         Connection con = DriverManager.getConnection("jdbc:hive2://localhost:10000/userdb", "", "");
         
         // create statement
         Statement stmt = con.createStatement();
         
         // execute statement
         stmt.execute("LOAD DATA LOCAL INPATH '/home/user/sample.txt'" + "OVERWRITE INTO TABLE employee");
         System.out.println("Load Data into employee successful");
         
         con.close();
      } catch (Exception e) {
         System.out.println(e.getMessage());
      }   
   }
}
    将程序保存在名为HiveLoadData.java的文件中。使用以下命令来编译和执行该程序。 
    
$ javac HiveLoadData.java
$ java HiveLoadData
    输出： 
    
Load Data into employee successful
上一节:
下一节: