將虛擬機器本地csv檔案匯入hive

2021-10-06 17:05:36 字數 2559 閱讀 4448

1、首先,先將windows系統下的csv檔案上傳到虛擬機器目錄中。我的是在/my_dbdata/下

2、啟動hive,我提前建立了乙個名為toutiao的hive業務資料庫。建立時使用的命令:

create database if not exists toutiao comment "user,news information of 136 mysql" location '/user/hive/warehouse/toutiao.db/'

;

之後再資料庫中建立table

hive (default)

> use toutiao;

開始使用的和mysql中同樣的語句(當然一定會報錯了,,但我也貼出錯誤的**了)

create table user_profile(userid varchar(100) not null,mobile_type varchar(30),mobile_system varchar(30),start_telecom varchar(20) character set utf8,network_type varchar(20) character set utf8,start_address varchar(120) character set utf8)

;//錯誤,不可取)

以下正確:

create table user_profile(userid varchar(100),mobile_type varchar(30),mobile_system varchar(30),start_telecom varchar(20),network_type varchar(20),start_address varchar(120)) row format delimited fields terminated by ','

;

其中

紅框標出的語句是為表指定格式,為了保證匯入資料時不出錯。其中』,'時自己設定的,因為我的時csv檔案,預設分隔符是「逗號」,所以選擇的逗號。這個可以根據自己的實際情況來。如果忘了設定格式,,可以將表刪掉重新建立。。drop table user_profile;之後,就可以匯入資料了

`hive (toutiao)

> load data local inpath '/my_dbdata/db_user_info.csv' overwrite into table user_profile;

`

之後又建立了另乙個表,表**現了新的資料型別,時間和文字。

hive 中,可以用string、date和timestamp表示日期時間,string 用 yyyy-mm-dd 的形式表示,date 用yyyy-mm-dd 的形式表示,timestamp 用 yyyy-mm-dd hh:mm:ss 的形式表示

我使用的timestamp,文字使用string。

hive (toutiao)

> create table news_article_content(newsid varchar(100) ,title string,content string,create_time timestamp,resource string,content_type string) row format delimited fields terminated by ','

;

之後也可以往這個table中導資料了

可見成功匯入。

建立第三個表:

hive (toutiao)

> create table u_news_interaction(userid varchar(100),newsid varchar(100) ,event_type varchar(10),click_time timestamp) row format delimited fields terminated by ','

;

繼續開心導資料:

hive (toutiao)

> load data local inpath '/my_dbdata/u_news_interaction.csv' overwrite into table u_news_interaction;

虛擬機器 檔案

表示你的虛擬機器名字。log log or vmware.log 這個檔案記錄了vmware workstation對虛擬機器調節執行的情況。這個檔案和虛擬機器的配置檔案 vmx 儲存在乙個目錄裡面。nvram nvram or nvram 這是乙個儲存虛擬機器bios狀態資訊的檔案。vmdk vm...

securecrt 連線本地虛擬機器

首先上不了網,vmw10ip設定恢復預設 當前linux系統選擇nat形勢,這個形勢是和主機共享乙個網路 ssh重新開啟 etc init.d sshd restart 重啟ssh服務 ifconfig檢視ip 有可能需要更改防火牆 1 重啟後生效 開啟 chkconfig iptables on ...

虛擬機器連線本地mysql

我們在執行虛擬機器上面的專案時,可能要用到本機的資料庫,在使用過程中會遇到資料庫拒絕訪問的情況 這是因為在安裝本地資料庫時沒有啟動遠端連線。使用兩種方法來解決這種問題 一 使用命令列模式 第一步 先切換到mysql的安裝路徑下面的bin目錄 我的mysql的安裝路徑為d mysql mysql se...