作者丨猛禽 ;
來源:https://blog.csdn.net/raptor/article/details/78035782


搭建python數據分析平臺

基本結構


其實沒什麼高深的東西,無非是常用的那一套:

pandas, numpy, matplotlib…

但是爲了更方便使用,加持了 jupyter notebook(即以前的ipython notebook)……

又爲了更方便使用,前端加了nginx或apache反代……

雙爲了更安全,加持了Let’s Encrypt的HTTPS(只是這臺服務器沒有80端口,原因你懂的,所以不能用我以前說的方法,這裏用了新方法)……


安裝環境


我在自己的FreeBSD或Debian服務器上都是手工安裝所需要的包,但是這個方法並不適合不熟悉的人。

相比之下,Linux或Mac還算方便,但是在Windows下那簡直就是噩夢一般的存在——因爲除了純python包以外,所有包含了非python依賴的包在Windows下安裝都是各種麻煩——畢竟Windows沒有自帶編譯環境。

所以這裏說的是簡便方法:Anaconda

Anaconda是個好東西,搞python的人——特別是不愛折騰的人——必備的大殺器。它相當於打包了python的基本環境和常用的包,甚至還包括包管理器,有了Anaconda,在所有平臺上都可以很方便地使用python了。

安裝非常簡單,直接從官網下載安裝程序運行即可。

https://www.anaconda.com/download/

注意,強烈推薦安裝python3的版本,畢竟python2已經out了。


初步使用


裝完Anaconda,python環境就已經可以用了——當然是命令行,或者再加上一個編輯器,IDLE那貨我覺得還不如VIM。想正經幹活當然應該裝個IDE,比如PyCharm,但是對於初學者或者非程序員來說,沒這個必要,還是notebook方便簡單。

早先這個是屬於ipython的一個部分,就是一個web版的ipython,後來ipython變成了jupyter,所以它也變成了jupyter notebook了。

jupyter notebook已經包含在最新版的Anaconda裏了,所以直接就可以用。

在本地使用notebook是非常簡單的,運行:

jupyter notebook


會啓動一個實例,並自動打開一個瀏覽器頁面,之後就可以正常使用。

這樣用當然可以,但更好的方法是讓它跑在遠程服務器上,再通過瀏覽器打開。

最簡單的方法就是把8888端口開放出去,不過這樣不安全,並不推薦,所以還需要作一些配置。


配置jupyter notebook


相比ipython notebook,新的jupyter notebook使用配置方面比原來方便多了。

首先是創建配置文件:

jupyter notebook --generate-config


然後就可以在 ~/.jupyter/ 下看到 jupyter_notebook_config.py 這個配置文件,其中有很多配置選項可以修改,但這裏不細說,有興趣的人自己去研究吧。

這裏只提一個:

c.NotebookApp.open_browser = True


把這個改成False就不會自動打開瀏覽器了。

但是手動打開瀏覽器有個問題,就是需要輸入一個token才能登錄使用,而這個token需要到啓動LOG去看,略麻煩。所以需要配置一個自己的登錄密碼:

jupyter notebook password


之後在命令行裏輸入要設置的密碼,之後會自動保存到配置文件裏去,重啓jupyter notebook之後即可使用了。


反向代理配置


因爲jupyter notebook使用了websock,所以簡單配置反向代理到端口8888是不行了。

Nginx配置如下:

upstream notebook {
server localhost:8888;
}
server {
...
location / {
proxy_pass http://notebook;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-Host $host;
proxy_set_header X-Forwarded-Server $host;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
}
location ~ /api/kernels/ {
proxy_pass http://notebook;
proxy_set_header Host $host;
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "upgrade";
proxy_set_header Origin "";
proxy_read_timeout 86400;
}
location ~ /terminals/ {
proxy_pass http://notebook;
proxy_set_header Host $host;
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "upgrade";
proxy_set_header Origin "";
proxy_read_timeout 86400;
}
}


Apache配置如下:


...

ProxyPass http://localhost:8888/
ProxyPassReverse http://localhost:8888/
ProxyPassReverseCookieDomain localhost yourdomain.com
RequestHeader set Origin "http://localhost:8888"


ProxyPass ws://localhost:8888/terminals/
ProxyPassReverse ws://localhost:8888/terminals/


ProxyPass ws://localhost:8888/api/kernels/
ProxyPassReverse ws://localhost:8888/api/kernels/




https配置


https配置之前的文章裏說過很多次,但是這次的要介紹的是不同的方法。

因爲原來用acme-tiny有個問題就是需要http支持來實現域名驗證,而我現在碰到的問題是沒有80端口可用,所以這個方法行不通。

但並不是沒有辦法,因爲Let’s Encrypt除了支持http驗證以外,還有很多其它方式,比如DNS(但需要域名服務商有API支持),還有這裏要說的:tls-sni方式,即僅https方式。

這是Let’s Encrypt官方客戶端支持的,所以需要先安裝(以nginx爲例):

sudo pip install certbot certbot-nginx


然後就可以創建證書了:

certbot run --nginx --email  -w //challenges -d  --preferred-challenges tls-sni --renew-by-default --agree-tos


執行完就可以自動創建證書並保存,同時還會修改相應的nginx配置文件,非常方便。

現在,可以通過 https://your.domain.name/ 訪問,輸入前面配置的密碼,即可登錄並使用jupyter notebook。

相關文章