nginx+uWSGI+django+virtualenv+supervisor发布web服务器-白红宇

nginx+uWSGI+django+virtualenv+supervisor发布web服务器

阅读量：3963 次

发布时间：2019-05-24

本文共 10906 字，大约阅读时间需要 36 分钟。

导论

WSGI是Web服务器网关接口。它是一个规范，描述了Web服务器如何与Web应用程序通信，以及Web应用程序如何链接在一起以处理一个请求，（接收请求，处理请求，响应请求）基于wsgi运行的框架有Bottle,Django,Flask,用于解析动态HTTP请求支持WSGI的服务器    wsgiref        python自带的web服务器    Gunicorn        用于linux的 python wsgi Http服务器，常用于各种django，flask结合部署服务器。    mode_wsgi        实现了Apache与wsgi应用程序的结合    uWSGI        C语言开发，快速，自我修复，开发人员友好的WSGI服务器，用于Python Web应用程序的专业部署和开发。在部署python程序web应用程序时，可以根据性能的需求，选择合适的wsgi server，不同的wsgi server区别在于并发支持上，有单线程，多进程，多线程，协程的区别，其功能还是近似，无非是请求路由，执行对应的函数，返回处理结果。Django部署Django的主要部署平台是 WSGI，这是用于Web服务器和应用程序的Python标准。Django的 startproject管理命令设置一个简单的默认WSGI配置，可以根据需要为您的项目进行调整，并指示任何符合WSGI的应用程序服务器使用。application 使用WSGI部署的关键概念是应用程序服务器用于与代码通信的 application 可调用。它通常在服务器可访问的Python模块中作为名为 application 的对象提供。startproject 命令创建包含这样的 application 可调用的文件 
             
              /wsgi.py. ，它被Django的开发服务器和生产WSGI部署使用。WSGI服务器从其配置中获取 application 可调用的路径。 Django的内置服务器，即 runserver 命令，从 WSGI_APPLICATION 设置读取它。

1 首先nginx 是对外的服务接口，外部浏览器通过url访问nginx,2  nginx接收到浏览器发送过来的http请求，将包进行解析，分析url，如果是静态文件请求就直接访问用户给nginx配置的静态文件目录，直接返回用户请求的静态文件，如果不是静态文件，而是一个动态的请求，那么nginx就将请求转发给uwsgi, uwsgi接收到请求之后将包进行处理，处理成wsgi可以接受的格式，并发给wsgi, wsgi 根据请求调用应用程序的某个文件的某个函数，最后处理完将返回值再次交给uwsgi,uwsgi将返回值进行打包，打包成uwsgi能够接收的格式，uwsgi接收wsgi 发送的请求，并转发给nginx, nginx最终将返回值返回给浏览器。3 要知道第一级的nginx并不是必须的，uwsgi完全可以完成整个的和浏览器交互的流程，但是要考虑到某些情况(1) 安全问题，程序不能直接被浏览器访问到，而是通过nginx,nginx只开放某个接口，uwsgi本身是内网接口，这样运维人员在nginx上加上安全性的限制，可以达到保护程序的作用。(2)负载均衡问题，一个uwsgi很可能不够用，即使开了多个work也是不行，毕竟一台机器的cpu和内存都是有限的，有了nginx做代理，一个nginx可以代理多台uwsgi完成uwsgi的负载均衡。(3)静态文件问题，用django或是uwsgi这种东西来负责静态文件的处理是很浪费的行为，而且他们本身对文件的处理也不如nginx好，所以整个静态文件的处理都直接由nginx完成，静态文件的访问完全不去经过uwsgi以及其后面的东西。

为什么要用nginx和uwsgi

# uwsgi在运行django项目的时候，必须找到django的wsgi.py文件内容中的参数，不然会报no application...的错# 也就是得有这个实例化的对象才行: application = get_wsgi_application()#解决办法就是 uwsgi，一定要找到wsgi.py这个文件

wsgi.py文件的作用

nginx官网

http://nginx.org/en/

nginx有关uwsgi模块介绍

http://nginx.org/en/docs/http/ngx_http_uwsgi_module.html

大家都学过了django，用django写了各种功能

咱们都知道django是一个web框架，方便我们快速开发web程序，http请求的动态数据就是由web框架来提供处理的。

前面我们也对nginx简单的介绍了，本文将nginx、WSGI、uwsgi、uWSGI、django这几个关系梳理一下。

wsgi    全称web server gateway interface，wsgi不是服务器，也不是python模块，只是一种协议，描述web server如何和web application通信的规则。 运行在wsgi上的web框架有bottle，flask，django

uwsgi    和wsgi一样是通信协议，是uWSGI服务器的单独协议，用于定义传输信息的类型

uWSGI    是一个web服务器，实现了WSGI协议，uwsgi协议。a

nginx    web服务器，更加安全，更好的处理处理静态资源，缓存功能，负载均衡，因此nginx的强劲性能，配合uWSGI服务器会更加安全，性能有保障。

django 高级的python web框架，用于快速开发，解决web开发的大部分麻烦，程序员可以更专注业务逻辑，无须重新造轮子

逻辑图

web服务器

传统的c/s架构，请求的过程是客户端 > 服务器 服务器 > 客户端服务器就是：1.接收请求 2.处理请求 3.返回响应

web框架层

HTTP的动态数据交给web框架，例如django遵循MTV模式处理请求。HTTp协议使用url定位资源，urls.py将路由请求交给views视图处理，然后返回一个结果，完成一次请求。web框架使用者只需要处理业务的逻辑即可。

如果将一次通信转化为“对话”的过程

Nginx：hello wsgi，我刚收到一个请求，你准备下然后让django来处理吧

WSGI：好的nginx，我马上设置环境变量，然后把请求交给django

Django：谢谢WSGI，我处理完请求马上给你响应结果

WSGI：好的，我在等着

Django：搞定啦，麻烦wsgi吧响应结果传递给nginx

WSGI：太棒了，nginx，响应结果请收好，已经按照要求传递给你了

nginx：好滴。我把响应交给用户。合作愉快

Django Nginx+uwsgi 安装配置

在前面的章节中我们使用 python manage.py runserver 来运行服务器。这只适用测试环境中使用。

正式发布的服务，需要一个可以稳定而持续的服务器。

基础开发环境配置

yum groupinstall "Development tools"yum install zlib-devel bzip2-devel pcre-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel

提前安装好python3环境

https://www.cnblogs.com/pyyu/p/7402145.html

virtualenv

请确保你的虚拟环境正常工作 https://www.cnblogs.com/pyyu/p/9015317.html

安装django2.1.7

pip3 install django==2.1.7 #创建django项目mysite django-admin startproject mysite #创建app01 python3 manage.py startapp app01

mysite/settings.py

#settings.py设置ALLOWED_HOSTS = ['*']install app01

mysite/urls.py

from app01 import viewsurlpatterns = [    path('admin/', admin.site.urls),    path('hello_django/', views.hello),]

app01/views.py

from django.shortcuts import render, HttpResponse# Create your views here.def hello(request):    print('request is :',request)    return HttpResponse('django is ok ')

安装uWSGI

# 进入虚拟环境venv，安装uwsgi(venv) [root@slave 192.168.11.64 /opt]$pip3 install uwsgi# 检查uwsgi版本(venv) [root@slave 192.168.11.64 /opt]$uwsgi --version2.0.17.1# 检查uwsgi python版本uwsgi --python-version

1. 运行简单的uWSGI

# 创建一个testqishi.py, 写入如下内容:def application(env, start_response):    start_response('200 OK', [('Content-Type','text/html')])    return [b"Hello World"] # python3# 通过命令去启动python web应用 uwsgi --http :8000 --wsgi-file testqishi.py        http :8000: 使用http协议，端口8000        wsgi-file testqishi.py: 指定一个支持python wsgi协议的文件(django下是wsgi.py)，这里是testqishi.py

uWsgi热加载python程序

项目已经部署上去了，但是后面经常会临时修改代码，每一次修改过后都需要手动重启一下uwsgi, 特别麻烦，所以我们要用到自动重启python程序功能

注意：这个uwsgi支持热加载的问题，面试可能会问到

# 在启动命令后面加上参数uwsgi --http :8088 --module book_manage.wsgi --py-autoreload=1  # 此命令应该在django项目目录下才可以，--module才能找到它的参数book_manage.wsgi    --py-autoreload=1  # 参数表示自动加载python配置# 发布命令command= /home/venv/bin/uwsgi --uwsgi 0.0.0.0:8000 --chdir /opt/mysite --home=/home/venv --module mysite.wsgi# 此时修改django代码，uWSGI会自动加载django程序，页面生效

运行django程序

#mysite/wsgi.py  确保找到这个文件 uwsgi --http :8000 --module mysite.wsgi

module mysite.wsgi: 加载指定的wsgi模块

使用uwsgi配置文件去启动项目

前面学的启动uwsgi的命令都特别长，因为加了很多参数，太难记了，那怎么办？我们有更好的方法，就是在项目下面创建一个uwsgi.ini的文件，然后通过读这个文件来启动uwsgi

# uwsgi.ini配置文件, uwsgi支持ini、xml等多种配置方式，本文以 ini 为例， 在/etc/目录下新建uwsgi.ini，添加如下配置：# uwsgi.ini file[uwsgi]# Django-related settings# the base directory (full path)chdir           = /opt/mysite# Django's wsgi filemodule          = mysite.wsgi# the virtualenv (full path)home            = /opt/venv# process-related settings# mastermaster          = true# maximum number of worker processesprocesses       = 1# the socket (use the full path to be safesocket          = 0.0.0.0:8000# ... with appropriate permissions - may be needed# chmod-socket    = 664# clear environment on exitvacuum          = true

# uwsgi.ini配置文件详解[uwsgi]# Django-related settings# the base directory (full path)# 写上项目的绝对路径chdir           = /opt/book_manage# Django's wsgi file# 填写找到django的wsgi文件，填写相对路径，以chdir参数为相对路径module          = book_manage.wsgi# the virtualenv (full path)# 填写虚拟环境的绝对路径home            = /root/Envs/book_manage_env/# process-related settings# master#启动uwsgi主进程master          = true# maximum number of worker processesprocesses       = 1# the socket (use the full path to be safe#如果你使用了nginx，做反向代理，必须填写socket链接，而不是http参数socket          = 0.0.0.0:8000#如果你不用nginx，直接使用uwsgi，运行一个http服务端，就用这个http参数http = 0.0.0.0:8000# ... with appropriate permissions - may be needed# chmod-socket    = 664# clear environment on exitvacuum          = true

uwsgi.ini配置详解

指定配置文件启动命令

uwsgi --ini  /etc/uwsgi_nginx.ini

使用ngixn处理django的静态文件

由于uwsgi对静态文件的处理很差，然而nginx处理静态文件是一把手，所以我们的项目部署还需要结合nginx来使用

1 设置django的静态文件目录并收集, 我们打开mysite/settings.py, 加入这一项配置:

STATIC_ROOT='/opt/static'STATIC_URL = '/static/'STATICFILES_DIRS=[    os.path.join(BASE_DIR,"static"),]

上述的参数STATIC_ROOT用在哪？

2 通过python3 manage.py collectstatic 收集所有你使用的静态文件保存到STATIC_ROOT

python3 manage.py collectstatic# STATIC_ROOT 文件夹 是用来将所有STATICFILES_DIRS中所有文件夹中的文件，以及各app中static中的文件都复制过来# 把这些文件放到一起是为了用nginx等部署的时候更方便

3 查看django的静态文件收集目录

ls /opt/static

4 修改nginx.conf配置nginx反向代理，找到uwsgi项目，且配置nginx处理uwsgi的静态文件

worker_processes  1;error_log  logs/error.log;pid        logs/nginx.pid;events {    worker_connections  1024;}http {    include       mime.types;    default_type  application/octet-stream;    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '                      '$status $body_bytes_sent "$http_referer" '                      '"$http_user_agent" "$http_x_forwarded_for"';    access_log  logs/access.log  main;    sendfile        on;    keepalive_timeout  65;　　# nginx反向代理uwsgi    server {        listen       80;        server_name  qishijd.com;        location / {            # nginx自带ngx_http_uwsgi_module模块，起到nginx和uwsgi交互作用            # 通过uwsgi_pass设置服务器地址和协议，将动态请求转发给uwsgi处理            include  /opt/nginx112/conf/uwsgi_params;            uwsgi_pass 0.0.0.0:8000;            root   html;            index  index.html index.htm;        }        # nginx处理静态页面资源        # 当用户请求是qishijd.com/static/的时候, 就会进入这个location匹配        # 通过alias参数进行路径别名，让nginx去/opt/static底下去找静态资源　　　　 location /static {            alias /opt/static;        }　　　　 # nginx处理媒体资源　　　　 location /media{            alias /opt/nginx112/media;　　        }        error_page   500 502 503 504  /50x.html;        location = /50x.html {            root   html;        }    }}

配置完启动nginx

supervisor

supervisor 是基于 python 的任务管理工具，用来自动运行各种后台任务，当然你也能直接利用 nohup 命令使任务自动后台运行，但如果要重启任务，每次都自己手动 kill 掉任务进程，这样很繁琐，而且一旦程序错误导致进程退出的话，系统也无法自动重载任务。

这里我们要配置基于virtualenv的supervisor

由于supervisor在python3下无法使用，因此只能用python2去下载！！！！！！

1 安装supervisor

# 注意此时已经退出虚拟环境了！！！！！easy_install supervisor# 如果没有easy_install的话，就yum安装一个setuptools工具就可以用了yum install python-setuptools

2 通过命令生成supervisor的配置文件

echo_supervisord_conf > /etc/supervisord.conf

然后再/etc/supervisord.conf末尾添加上如下代码！！！！！！

[program:book_manage]command=/root/Envs/book_manage_env/bin/uwsgi /opt/book_manage/uwsgi.inistopasgroup=truekillasgroup=true

supervisord.conf配置文件参数解释[program:xx]是被管理的进程配置参数，xx是进程的名称[program:xx]command=/opt/apache-tomcat-8.0.35/bin/catalina.sh run  ; 程序启动命令autostart=true       ; 在supervisord启动的时候也自动启动startsecs=10         ; 启动10秒后没有异常退出，就表示进程正常启动了，默认为1秒autorestart=true     ; 程序退出后自动重启,可选值：[unexpected,true,false]，默认为unexpected，表示进程意外杀死后才重启startretries=3       ; 启动失败自动重试次数，默认是3user=tomcat          ; 用哪个用户启动进程，默认是rootpriority=999         ; 进程启动优先级，默认999，值小的优先启动redirect_stderr=true ; 把stderr重定向到stdout，默认falsestdout_logfile_maxbytes=20MB  ; stdout 日志文件大小，默认50MBstdout_logfile_backups = 20   ; stdout 日志文件备份数，默认是10; stdout 日志文件，需要注意当指定目录不存在时无法正常启动，所以需要手动创建目录（supervisord 会自动创建日志文件）stdout_logfile=/opt/apache-tomcat-8.0.35/logs/catalina.outstopasgroup=false     ;默认为false,进程被杀死时，是否向这个进程组发送stop信号，包括子进程killasgroup=false     ;默认为false，向进程组发送kill信号，包括子进程

supervisord.conf配置文件参数解释

[program:my]#command=/opt/venv/bin/uwsgi --ini  /etc/uwsgi_nginx.ini  #这里是结合virtualenv的命令 和supervisor的精髓！！！！ command= /home/venv/bin/uwsgi --uwsgi 0.0.0.0:8000 --chdir /opt/mysite --home=/home/venv --module mysite.wsgi #--home指的是虚拟环境目录  --module找到 mysite/wsgi.py

3 最后启动supervisor，完成uWSGI启动django，nginx反向代理

supervisord -c /etc/supervisord.conf # 启动supervisorsupervisorctl -c /etxc/supervisord.conf restart book_manage  # 重启book_manage项目supervisorctl -c /etc/supervisord.conf [start|stop|restart] [program-name|all]

# 任务管理命令如下：有两种，一个是参数形式, 一个是交互式# 参数形式  supervisorctl -c /etc/supervisor.conf stop/start/restart   allsupervisorctl -c /etc/supervisor.conf start crm_knight# 交互式形式supervisorctl -c /etc/supervisor.conf

重新加载supervisor

一、添加好配置文件后二、更新新的配置到supervisord    supervisorctl update三、重新启动配置中的所有程序supervisorctl reload四、启动某个进程(program_name=你配置中写的程序名称)supervisorctl start program_name五、查看正在守候的进程supervisorctl六、停止某一进程 (program_name=你配置中写的程序名称)pervisorctl stop program_name七、重启某一进程 (program_name=你配置中写的程序名称)supervisorctl restart program_name八、停止全部进程supervisorctl stop all注意：显示用stop停止掉的进程，用reload或者update都不会自动重启。

参考文档：http://uwsgi-docs-zh.readthedocs.io/zh_CN/latest/tutorials/Django_and_nginx.html

uwsgi热加载：https://uwsgi-docs-zh.readthedocs.io/zh_CN/latest/Management.html