南大通用GBase 8a MPP Cluster數據載入FTP檔伺服器配置介紹

原文連結：南大通用GBase 8a MPP Cluster數據載入FTP檔伺服器配置介紹|GBASE社區|天津南大通用數據技術股份有限公司|GBASE-致力於成為使用者最信賴的數據庫產品供應商
更多精彩內容盡在GBASE社區|天津南大通用數據技術股份有限公司|GBASE-致力於成為使用者最信賴的數據庫產品供應商

GBase 8a MPP Cluster 自V9.5.2.X版本載入功能開始支持從通用數據伺服器拉取數據，支持ftp/http/hdfs/sftp等多種協定，支持kafka集群作為資料來源載入數據。
今天的內容以Red Hat Enterprise Linux 6.2平台為例，先介紹下 FTP檔伺服器的配置方法。

1 FTP伺服器配置

使用vsftp搭建FTP伺服器。

1)檢視是否已安裝vsftpd

# rpm -qa vsftpdvsftpd-2.2.2-6.el6_0.1.x86_64

2)安裝vsftpd

# rpm -ivh vsftpd-2.2.2-6.el6_0.1.x86_64.rpm

3)修改FTP伺服器預設配置

# vim /etc/vsftpd/vsftpd.conf

# 表示允許匿名使用者登入（預設為YES）.
anonymous_enable=YES

# 表示允許本地使用者登入（預設為YES）.
local_enable=YES

# 表示開放對本地使用者的寫許可權（預設YES，如僅用作載入檔伺服器，可改為NO）.
write_enable=NO

# 設定本地使用者的檔生成掩碼（預設對本地使用者的檔生成掩碼是077，可改為022)
local_umask=022

# 允許匿名FTP使用者上載檔（預設為NO）.
#anon_upload_enable=YES

# 允許匿名FTP使用者建立目錄（預設為NO）.
#anon_mkdir_write_enable=YES

# 啟用FTP數據埠的連線請求（預設為YES）.
connect_from_port_20=YES

# 使用PAM認證的配置檔名，檔位於/etc/pam.d目錄下
pam_service_name=vsftpd

# 是否使用userlist檔控制存取FTP伺服器
userlist_enable=YES

# 設定禁止存取的檔或目錄
#deny_file={*.mp3,*.mov,.private}

# 設定隱藏的檔或目錄
#hide_file={*.mp3,.hidden,hide*,h?}

# 設定FTP被動模式開放埠範圍（預設為0，表示任意可用埠）
pasv_min_port=20001
pasv_max_port=21000

# 設定允許的最大客戶連線數（預設為2000）
max_clients=2000

# 設定每個IP上允許的最大客戶連線數（預設為50）
max_per_ip=50

# 用於被動傳輸方式的連線超時（預設為60）
accept_timeout=60

# 用於主動傳輸方式的連線超時（預設為60）
connect_timeout=60

# 無進度狀態下的數據傳輸超時（預設為300）
data_connection_timeout=300

# 空閑連線超時（預設為300）
idle_session_timeout=300

# 是否使用系統呼叫sendfile最佳化傳輸（預設為YES，使用nfs等網絡盤時應設定為NO）
use_sendfile=YES

# 設定非匿名登入使用者的主目錄
#local_root=/var/ftp/pub

更多的配置可檢視vsftpd.conf文件
# man vsftpd.conf

在集群最大並行載入任務數為N，單載入任務最大載入機數（max_data_processors）為M時，部份參數最小值和推薦值如下：

4)配置允許或禁止存取FTP伺服器的使用者列表（可跳過）

# vim /etc/vsftpd/user_list

userlist_enable=YES
userlist_deny=YES（缺省為YES）

userlist_enable=YES
userlist_deny=NO

5)配置禁止存取FTP伺服器的使用者列表（可跳過）

# vim /etc/vsftpd/ftpusers

6)關閉SELINUX功能或更改其配置（兩種方式二選一即可）

# vim /etc/selinux/config# This file controls the state of SELinux on the system.# SELINUX= can take one of these three values:# enforcing - SELinux security policy is enforced.# permissive - SELinux prints warnings instead of enforcing.# disabled - No SELinux policy is loaded.SELINUX=disable# SELINUXTYPE= can take one of these two values:# targeted - Targeted processes are protected,# mls - Multi Level Security protection.SELINUXTYPE=targeted

重新開機或者執行

# setenforce 0

# setsebool ftp_home_dir 1

註意：當用瀏覽器存取FTP伺服器遇到「500 OOPS: cannot change directory:/home/...」時，可能為此問題。

7)關閉或配置防火墻

停止防火墻服務

# service iptables stopiptables：清除防火墻規則： [確定]iptables：將鏈設定為政策 ACCEPT：filter [確定]iptables：正在解除安裝模組： [確定]

檢視防火墻是否在開機時自動啟動

# chkconfig --list iptablesiptables 0:關閉 1:關閉 2:啟用 3:啟用 4:啟用 5:啟用 6:關閉

禁止防火墻在開機時自動啟動

# chkconfig iptables off

或

# chkconfig iptables off --level 2345

設定後防火墻在開機時自動啟動狀態

# chkconfig --list iptablesiptables 0:關閉 1:關閉 2:關閉 3:關閉 4:關閉 5:關閉 6:關閉

設定預設規則

# iptables -A INPUT -j DROP

註：添加上條規則會阻止未處理的傳入封包，如在此規則之前未添加允許規則將會阻止遠端連線

# iptables -A FORWARD -j ACCEPT

開放FTP埠

# iptables -I INPUT -p tcp --dport 21 -j ACCEPT# iptables -I OUTPUT -p tcp --sport 21 -j ACCEPT# iptables -I INPUT -p tcp --dport 20 -j ACCEPT# iptables -I OUTPUT -p tcp --sport 20 -j ACCEPT# iptables -I INPUT -p tcp --dport 20001:21000 -j ACCEPT# iptables -I OUTPUT -p tcp --sport 20001:21000 -j ACCEPT

保存防火墻設定

# iptables-save > /etc/sysconfig/iptables

8)啟動vsftpd服務並設定為開機啟動項

# service vsftpd start為 vsftpd 啟動 vsftpd： [確定]# chkconfig vsftpd on

9)復制檔到FTP目錄

以上就是今天的內容，感謝大家閱讀！

原文連結：南大通用GBase 8a MPP Cluster數據載入FTP檔伺服器配置介紹|GBASE社區|天津南大通用數據技術股份有限公司|GBASE-致力於成為使用者最信賴的數據庫產品供應商
更多精彩內容盡在GBASE社區|天津南大通用數據技術股份有限公司|GBASE-致力於成為使用者最信賴的數據庫產品供應商