400-650-7353
您所在的位置:首頁(yè) > IT干貨資料 > 大數(shù)據(jù) > 【大數(shù)據(jù)基礎(chǔ)知識(shí)】Sqoop概述及安裝配置

【大數(shù)據(jù)基礎(chǔ)知識(shí)】Sqoop概述及安裝配置

  • 發(fā)布: 大數(shù)據(jù)培訓(xùn)
  • 來源:大數(shù)據(jù)干貨資料
  • 2021-01-06 15:07:25
  • 閱讀()
  • 分享
  • 手機(jī)端入口

Sqoop是一款開源的數(shù)據(jù)傳輸層工具,Sqoop的全稱是sql to Hadoop。通過這個(gè)名稱我們可以看出,Sqoop可以完成把關(guān)系型數(shù)據(jù)庫(kù)如MySQL,Oracle等數(shù)據(jù)庫(kù)中的信息導(dǎo)入到Hadoop文件存儲(chǔ)體系中,或者把Hadoop文件導(dǎo)入到關(guān)系型數(shù)據(jù)庫(kù)中。起到了一個(gè)非常好的橋梁作用。

Sqoop最早產(chǎn)生于2012 年 3 月,現(xiàn)在已經(jīng)是Apache的一個(gè)頂級(jí)項(xiàng)目。Sqoop能夠提供多種數(shù)據(jù)傳輸方式并且支持多種數(shù)據(jù)庫(kù),這也是Sqoop被廣泛應(yīng)用的原因。

下面,我們來看Sqoop的安裝部署。

首先,我們?cè)赟qoop安裝之前,要確保已經(jīng)安裝好了Java和Hadoop。這個(gè)我們?cè)谇懊娴奈恼轮幸延薪榻B,不太熟悉的朋友可以先參考安裝下哦。

已經(jīng)安裝過其他大數(shù)據(jù)組件的朋友應(yīng)該能夠看到,大數(shù)據(jù)生態(tài)圈組件的安裝不外乎是這樣的幾步:

1. 下載安裝包

2. 解壓縮

3. 修改配置文件

對(duì)于Sqoop來說,也不例外。

1. 首先我們下載Sqoop的安裝包,最新的穩(wěn)定版本是1.4.7。我們可以從官網(wǎng)(http://sqoop.apache.org)下載,也可以從最近的一個(gè)鏡像網(wǎng)站下載。我選用的下載地址是:https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/ 。下載 sqoop-1.4.7.tar.gz壓縮包。下載完成后上傳到虛擬機(jī)。我上傳目錄是/opt/software。或者直接在虛擬機(jī)的客戶端通過wget命令下載:

wget

https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.tar.gz

2.使用tar命令解壓縮

tar –zxvf sqoop-1.4.7.tar.gz –C /opt/

3.修改配置文件

Sqoop的配置文件在Sqoop根目錄下的conf目錄下。配置文件的原有名稱是sqooop-env-template.sh,我們拷貝一份,并將名稱改為sqoop-env.sh。命令如下:

cp sqoop-env-template.sh sqoop-env.sh

在sqoop-env.sh中,修改如下內(nèi)容:

4. 拷貝JDBC驅(qū)動(dòng)

把JDBC驅(qū)動(dòng)拷貝到Sqoop根目錄下的lib目錄下,命令如下:

cp mysql-connector-java-5.1.27-bin.jar /opt/sqoop-1.4.7/lib

5.因?yàn)榈絊qoop-1.4.5及以后版本安裝包的lib下就已經(jīng)沒有了sqoop-1.4.5.jar,Sqoop-1.4.7也沒有sqoop-1.4.7.jar。對(duì)于此jar包我們必須單獨(dú)下載,將其放到Sqoop根目錄的lib目錄下。

6. 測(cè)試Sqoop是否安裝成功,使用Sqoop根目錄的bin目錄下的sqoop命令來測(cè)試。如:

如果能出現(xiàn)上面的信息,就說明Sqoop安裝配置成功了。

文章“【大數(shù)據(jù)基礎(chǔ)知識(shí)】Sqoop概述及安裝配置”已幫助

>>本文地址:http://m.nfbqydst.cn/zhuanye/2021/64568.html

THE END  

聲明:本站稿件版權(quán)均屬中公教育優(yōu)就業(yè)所有,未經(jīng)許可不得擅自轉(zhuǎn)載。

1 您的年齡

2 您的學(xué)歷

3 您更想做哪個(gè)方向的工作?

獲取測(cè)試結(jié)果
  • 大前端大前端
  • 大數(shù)據(jù)大數(shù)據(jù)
  • 互聯(lián)網(wǎng)營(yíng)銷互聯(lián)網(wǎng)營(yíng)銷
  • JavaJava
  • Linux云計(jì)算Linux
  • Python+人工智能Python
  • 嵌入式物聯(lián)網(wǎng)嵌入式
  • 全域電商運(yùn)營(yíng)全域電商運(yùn)營(yíng)
  • 軟件測(cè)試軟件測(cè)試
  • 室內(nèi)設(shè)計(jì)室內(nèi)設(shè)計(jì)
  • 平面設(shè)計(jì)平面設(shè)計(jì)
  • 電商設(shè)計(jì)電商設(shè)計(jì)
  • 網(wǎng)頁(yè)設(shè)計(jì)網(wǎng)頁(yè)設(shè)計(jì)
  • 全鏈路UI/UE設(shè)計(jì)UI設(shè)計(jì)
  • VR/AR游戲開發(fā)VR/AR
  • 網(wǎng)絡(luò)安全網(wǎng)絡(luò)安全
  • 新媒體與短視頻運(yùn)營(yíng)新媒體
  • 直播帶貨直播帶貨
  • 智能機(jī)器人軟件開發(fā)智能機(jī)器人
 

快速通道fast track

近期開班時(shí)間TIME