[請益] docker cloudera 架設請教(贈1000p)

作者: askdrlin (中央氣象局)   2018-12-06 16:36:51
各位前輩好,真的卡了好久快不行了.......
爬了好幾天的文,還是差那麼一點
幫我解答的前輩,小弟以1000p幣回報...若有同時答的以推文先的為主,謝謝QAQ
小弟我想請教一下
目前我的目標是想利用docker 去架設cloudera 分散式系統
有三台主機,主節點那台是連的到外網的固定ip,從節點兩台是內網
彼此三台都可以ssh,目前我的操作流程是這樣的
使用的系統是centos7
master是直接灌在主機上的centos
剩下兩台slaver是用vm開的,用橋接介面卡去設定
1.修改主機名稱
hostnamectl set-hostname master
hostnamectl set-hostname slaver1
hostnamectl set-hostname slaver2
2.設定hosts檔案(三台都做)
vim /etc/hosts
10.***.**.*** master
10.***.**.*** slaver1
10.***.**.*** slaver2
(IP後面碼掉了)
3.配置ssh無密碼登入
ssh-keygen -t rsa #全部enter跳過產生密碼
ssh-copy-id master
ssh-copy-id slaver1
ssh-copy-id slaver2
4.關閉防火牆
systemctl mask firewalld.service
systemctl disable firewalld.service
5.關閉selinux
sed -i '/SELINUX=enforcing/d' /etc/selinux/config
sed -i '/SELINUX=disabled/d' /etc/selinux/config
echo "SELINUX=disabled" >> /etc/selinux/config
reboot #重開
vim /etc/selinux/config # 檢查檔案
#SELINUX=disabled
6.禁用IPv6
echo " " >> /etc/modprobe.d/dist.conf
echo "alias net-pf-10 off" >> /etc/modprobe.d/dist.conf
echo "alias ipv6 off" >> /etc/modprobe.d/dist.conf
7.ntp時間同步(沒有好像也可以,但較保險)
yum install ntp
ntpdate -u time.nuri.net
三台各自準備docker
yum install docker
systemctl enable docker
systemctl start docker
systemctl status docker #檢查狀態
docker version #查看doceker版本
docker run hello-world #試用
主節點準備docker cloudera
docker pull cloudera/quickstart:latest
docker images #確定目前有的映象 應該有hello跟cloudera
docker run
作者: honochung (http://lol.moa.tw)   2018-12-06 16:47:00
跟cloudera不熟 不過 你在manager add host ip應該會要是 slave的ip
作者: askdrlin (中央氣象局)   2018-12-06 16:50:00
你好 我add host時是用slaver的ip沒錯,有搜尋到但是沒辦法連結成功
作者: honochung (http://lol.moa.tw)   2018-12-06 16:51:00
不過 這邊沒看到你在slave有跑 cloudera
作者: askdrlin (中央氣象局)   2018-12-06 16:53:00
助教是說從節點可架可不架 但是架了比較沒錯 主節點灌就好...且兩台slaver也有架的話,三台都會變成docker的虛擬ip這樣可能會更連不起來嗎?
作者: gofigure (平行世界)   2018-12-06 16:55:00
這不是功課版 你看不懂中文?
作者: honochung (http://lol.moa.tw)   2018-12-06 16:57:00
先不要管container的ip, 他們互連都要是host的ipdocker run --add-host="master:10.*.*.*"--add-host="slaver1:10.*.*.*"這樣container就可以用 master, slaver1, slaver2我記得worker要裝cloudera agent
作者: samuel1988 (小羊快跑啊)   2018-12-06 17:37:00
所以你這兩台都有配ip嗎?指的是host ip
作者: kenshin528 (成立奧凶帝國!!)   2018-12-06 20:22:00
用 docker compose 直接用 hostname 連不用管ip
作者: cosmic01 (漂流的風)   2018-12-06 20:38:00
https://tinyurl.com/yaaab7du試試看上面的方法,直接publish all portsdocker run -P my_app
作者: soappaos (肥皂)   2018-12-07 15:45:00
container run 的時候--network host,使用host的network stack,就可以不用forward port了
作者: jasonwu23 (jasonwu)   2018-12-08 12:34:00
你是用docker-compose嗎不要一個個連 看一下docker-compose

Links booklink

Contact Us: admin [ a t ] ucptt.com