Web 后端

flask 全家桶学习笔记

看到标题有的同学可能就问了,flask 是一个微框架,哪儿来的全家桶啊?其实作为一个框架来说,除非你提供的只有静态页面,那么肯定要和数据库打交道的,也要有后台登录管理以及提供 API 等等一大堆常规工作要做的。当提供这些功能的时候,就需要各种全家桶组件了,那么这篇文章里介绍的就是 flask + plugins + uwsgi 等等一系列的工具。

hello world

from flask import Flask, request

app = Flask(__name__)

@app.route("/")
def hello():
    return "hello, world"

app.url_map.strict_slashes = False  # 关闭 url 结尾的 `/` 检查
app.run()

Flask 中直接使用 request 对象访问请求的数据,比如:

  • request.form, Post 的数据字典
  • request.args, GET 参数
  • request.values, 以上两个都包括
  • request.json 属性,或者 request.get_json() 函数,不过 flask 会要求请求 header 必须是 Content-Type: application/json 类型的,这个是一个坑。

基于类的视图

Flask 默认采用的是基于函数和装饰器的视图。而有时候对于一些 CRUD 的资源,还是使用类更清晰一些,Flask 也是支持的。

from flask.views import MethodView

class PostView(MethodView):
    def get(self, id):
        if id is None:
            ...  # return a list of objects
        else:
            ...  # return a single object

    def post(self):
        ...

    def put(self, id):
        ...

    def delete(self, id):
        ...

def add_resource_view(app, view, url):
    view_func = view.as_view(view.__class__.__name__)
    url = url.rstrip("/")
    app.add_url_rule(url, defaults={"id": None}, view_func=view_func, methods=["GET"])
    app.add_url_rule(url, view_func=view_func, methods=["POST"])
    app.add_url_rule(url + "/<id>", view_func=view_func, methods=["GET", "PUT", "DELETE"])

add_resource_view(app, PostView, "/post")

使用 blueprints

在 Flask 中如果需要切分应用的话,那么需要使用 Blueprints. 比如说,我们有下面这样的目录:

app.py
views/
  posts.py

两个文件的内容分别是:

# posts.py
from flask import Blueprint, render_template

posts_bp = Blueprint('posts', __name__)

@posts_bp.route("/")
def index():
    return [{"title": "hello world"}, ...]
# app.py
from views.posts import posts_bp

app = Flask(__name__)
app.register_blueprint(posts_bp, "/posts")

一般在刚开始搭建的时候,也没必要一定要分 blueprints, 等函数太多了再分也不迟。

App Factory Pattern

在前面的例子中,我们都直接在模块中 app = Flask(__name__) 了,这样做实际上是有问题的。官方推荐使用 app factory pattern。

app factory pattern 其实也很简单,就是把 app 的创建包装在了 app.py 的 create_app 函数中,然后在这个函数中创建一个 Flask 实例,并调用各个插件的 init_app 函数。

这样做的好处主要有两点:

方便多环境部署

直接导入 app 的话,已经初始化了,无法再更改 app 的配置

from example import app

如果把 app 的创建包装在一个函数中,可以在创建 app 的时候传递不同的参数,可以区分开发测试等不同环境。

def create_app(**kwargs):
    app = Flask(**kwargs)
    return app

from example import create_app
app = create_app(DB_CONN="production")

方便依赖管理

默认情况下,代码可能是这样的,所有的代码都得依赖 app.py

# app.py
app = Flask(__name__)
db = SQLAlchemy(app)

# models.py
from example import db

class User(db.Model):
    pass

使用了 app factory pattern 之后,每个模块都可以不依赖 app.py,而是使用自己的 blueprint

def create_app():
    app = Flask(__name__)
    from example.models import db
    db.init_app(app)
    return app

# models.py
db = SQLAlchemy()

class User(db.Model):
    pass

Context

一般来说,Application Context 和 Request Context 有相同的生命时间。

参考文献

  1. https://blog.csdn.net/u010466329/article/details/78522992
  2. https://blog.csdn.net/qq_21794823/article/details/78194164
  3. http://www.manongjc.com/article/48448.html
  4. https://juejin.im/post/5964ce816fb9a06bb21abb23
  5. https://www.cnblogs.com/whitewolf/p/4686154.html
  6. 为什么要使用 APP Factory Pattern
  7. https://flask-login.readthedocs.io/en/latest/
  8. https://flasksession.readthedocs.io/en/latest/

使用 caddy 部署网站

caddy 支持自动的 SSL 证书获取,这个非常方便,个人站的话,没必要用 nginx 了。Caddy 2 是最新的版本,并且和 1 不太兼容,本文讨论的是 Caddy 2.

caddy 的配置可以用的自己的语法:Caddyfile(注意必须大写), 不过新版本都支持用 json 了。相比于 nginx 的功能丰富但是又显得有点复杂的配置文件来说,caddy 的配置比较少,也就比较简单。

使用 Caddy 来部署一个 PHP 应用

Caddyfile 是分区的,每个地址对应一个区,可以用大括号包围起来,还有一个全局的配置区。

# 全局配置
{
  email [email protected]
}

yifei.me {
  encode gzip
  root * /var/www/html
  php_fastcgi unix//run/php/php-fpm.sock
  file_server
}

www.yifei.me {
  redir https://yifei.me{uri}
}

安装 PHP

sudo apt -y install php-fpm php-mysql php-xml

增加一个反向代理的 Python/Node/Java 应用

假设我们现在在端口 5002 部署了一个另外一个应用,然后想通过 super-cool.yifei.me 来访问,这时候只需要在 Caddyfile 中增加如下配置就可以了。

super-cool.yifei.me {
  reverse_proxy localhost:5002
}

参考

  1. Caddy Official Docs

云时代的个人存储搭建

昨天想用 iPad 上的 GoodReader 看一本书,但是从 iCloud 同步的时候出了些问题,进度始终为零。由于国内糟糕的网络环境,这种同步失败的问题时有发生。虽然可以直接通过 WiFi 把书从电脑上传过来,但是因为偶尔需要在另一个 iPad 上查看,为了同步进度,还是最终决定还是自己搭建一套云存储设施。

ftp 与 webdav

ftp 协议有诸多问题,现在用的已经很少了。WebDav 协议基于 HTTP,相比 FTP 有不少有点,可以参见文章1。另外不少开源的网盘客户端也支持 webdav。NextCloud 支持 webdav,后面会讲到

sftp 和 sshfs

sftp 则和 ftp 是完全独立的两个东西,虽然最终目的是一样的。好比海豚和鲨鱼都是在海里的生物,但是一个是哺乳动物,而一个是鱼类。sftp 基于 ssh 协议。

sshfs 相比 sftp 则更近了一步,通过 sftp 把远程的文件系统直接映射到本地,从而无缝衔接。

搭建

sftp 直接基于 linux 的用户和文件权限系统。

  1. 添加相应的用户和分组,以用户名 sftp,分组名 ftpaccess 为例。
% sudo groupadd ftpaccess
% sudo useradd -m sftp -g ftpaccess -s /usr/sbin/nologin
% sudo passwd sftp  # 更改密码
% sudo mkdir /var/sftp
% sudo chown root /var/sftp  # 这一步非常坑,切记不可省略,后面讲为什么
% sudo mkdir -p /var/sftp/files
% sudo chown sftp:ftpaccess /var/sftp/files
  1. 修改 /etc/ssh/sshd_config 文件

注释掉这一行 Subsystem sftp /usr/lib/openssh/sftp-server

然后在文件的结尾添加

Subsystem sftp internal-sftp
Match group ftpaccess
ChrootDirectory /var/sftp  # 这里可以随便指定你想要的顶级目录
X11Forwarding no
AllowTcpForwarding no
ForceCommand internal-sftp
PasswordAuthentication yes

ssh 的安全配置要求 ChrootDirectory 本身必须是 root 所有的,所以登录都的根目录我们是不可写的,但是可以在新建的目录中读写。

  1. 重启 ssh 服务
% sudo systemctl restart ssh

可以使用客户端链接啦~ 如果需要使用 publickey 登录的话,只需要像普通的用户一样,把文件传到 ~sftp 的对应目录就可以了。

使用 sshfs mount 到本地

% brew install sshfs
% brew cask install osxfuse
% sshfs -o allow_other,defer_permissions -o volname=sftp_files [email protected]:/files $HOME/sftp_files

nextcloud

未完待续

参考资料

  1. https://stackoverflow.com/questions/11216884/which-file-access-is-the-best-webdav-or-ftp
  2. SSHFS
  3. 搭建 sftp 服务器
  4. sftp 的一个坑

Django 中使用多个数据库

有时候我们的表并不都在一个数据库中,需要使用多个数据库,django 支持配置并使用多个数据库。

定义多个数据库

首先,在 DATABASES 中定义需要使用的多个数据库:

DATABASES = {
    "default": {},
    "users": {
        "NAME": "user_data",
        "ENGINE": "django.db.backends.mysql",
        "USER": "mysql_user",
        "PASSWORD": "superS3cret"
    },
    "customers": {
        "NAME": "customer_data",
        "ENGINE": "django.db.backends.mysql",
        "USER": "mysql_cust",
        "PASSWORD": "[email protected]"
    }
}

注意其中 default 是必须的,不过用不到的话,留空也行。

在使用 manage.py 的时候可以使用 --database=xxx 里指定数据库。

数据库路由

可以通过实现 Database Router 来让 django 自动选择应该使用的数据库。

DB router 需要实现下面四个方法,用来指定不同的 Model 对应的模型。

  1. db_for_read(model, **hints) 用来读取表时,查找对应的数据库。返回数据库配置名(DATABASES中定义的)
  2. db_for_write(model, **hints) 用来写入表时,查找对应的数据库。
  3. allow_relation
  4. allow_migrate

最后使用 DATABASE_ROUTERS 安装对应的路由:

DATABASE_ROUERS = ["path.to.router"]

django 单元测试

和普通的单元测试不同的是,django 单独提供了一个测试模块,所有的 TestCase 需要继承 django.test.TestCase

简单的测试

from django.test import TestCase
from myapp.models import Animal


class AnimalTestCase(TestCase):
    def setUp(self):
        Animal.objects.create(name="lion", sound="roar")
        Animal.objects.create(name="cat", sound="meow")

    def test_animals_can_speak(self):
        """Animals that can speak are correctly identified"""
        lion = Animal.objects.get(name="lion")
        cat = Animal.objects.get(name="cat")
        self.assertEqual(lion.speak(), "The lion says "roar"")
        self.assertEqual(cat.speak(), "The cat says "meow"")

对于需要测试服务器的测试用例,可以使用 django.test.Client

from django.test import TestCase

class SimpleTest(TestCase):
    def test_details(self):
        response = self.client.get("/customer/details/")
        self.assertEqual(response.status_code, 200)

    def test_index(self):
        response = self.client.get("/customer/index/")
        self.assertEqual(response.status_code, 200)

django 国际化

settings.py 中的设置:

MIDDLEWARE_CLASSES = (
    # ...
    "django.middleware.locale.LocaleMiddleware",
)


LANGUAGE_CODE = "en"
TIME_ZONE = "UTC"
USE_I18N = True
USE_L10N = True
USE_TZ = True

LANGUAGES = (
    ("en", ("English")),
    ("zh-hans", ("中文简体")),
    ("zh-hant", ("中文繁體")),
)

#翻译文件所在目录,需要手工创建
LOCALE_PATHS = (
    os.path.join(BASE_DIR, "locale"),
)

TEMPLATE_CONTEXT_PROCESSORS = (
    ...
    "django.core.context_processors.i18n",
)

生成需要翻译的文件:

python manage.py makemessages -l zh_hans
python manage.py makemessages -l zh_hant

翻译其中的 django.po 文件,注意.po文件是一种通用的格式,有很多专门的编辑器

编译翻译好的文件

python manage.py compilemessages

django 页面缓存

django 作为一个动态的网站系统,在并发访问量大的时候会遇到性能问题,这时候可以使用缓存来显著提高性能。

settings.py 中的配置

可以使用 django-redis 来使用 redis 作为缓存。

pip install django-redis
CACHES = {
    "default": {
        "BACKEND": "django_redis.cache.RedisCache",
        "LOCATION": "redis://127.0.0.1:6379/1",
        "OPTIONS": {
            "CLIENT_CLASS": "django_redis.client.DefaultClient",
        }
    }
}

配置需要缓存的函数

from django.views.decorators.cache import cache_page

@cache_page(60 * 15) # 秒数
def index(request):
    # 读取数据库等 并渲染到网页
    return render(request, "index.html", {"queryset":queryset})

django 静态文件

settings.py 中的相关配置

STATIC_URL = "/static/"
STATIC_ROOT = os.path.join(BASE_DIR,"static")

一般来说我们只要把静态文件放在 APP 中的 static 目录下,部署时用 python manage.py collectstatic 就可以把静态文件收集到(复制到) STATICROOT 目录,但是有时我们有一些共用的静态文件,这时候可以设置 STATICFILESDIRS 另外弄一个文件夹,如下:

STATICFILES_DIRS = (
    os.path.join(BASE_DIR, "common_static"),
    "/var/www/static/",
)

这样我们就可以把静态文件放在 common_static 和 /var/www/static/中了,Django 也能找到它们。

MEDIA_URL = "/media/"
MEDIA_ROOT = os.path.join(BASE_DIR,"media")

media 文件夹用来存放用户上传的文件

nginx 部署时的配置

location /media  {
    alias /path/to/project/media;
}

location /static {
    alias /path/to/project/collected_static;
}

在模板中引入静态文件

{% load static %}
<img src="{% static "img/example.jpg" %}" alt="My image"/>

Django views 视图

django 使用正则指定路径,然后使用一个函数来处理对应的请求。

定义响应函数

响应函数如下:

# views.py

from django.shortcuts import render
from django.http import HttpResponse

def add(request):
    a = request.GET["a"]
    b = request.GET["b"]
    c = int(a) + int(b)
    return HttpResponse(str(c))


def add2(request, a, b):
    c = int(a) + int(b)
    return HttpResponse(str(c))

注意每个函数都需要接受 request 作为第一个参数,GET参数和POST参数都可以从 request 中读取。另外还可以使用从 url path 中读取数据,这些参数作为形参传递给对应的函数。

定义 URL 路由

# urls.py

from calc import views as calc_views

urlpatterns = [
    path("add/", calc_views.add, name="add"),  # new
    path("admin/", admin.site.urls),
    path("add/<int:a>/<int:b>/", calc_views.add2, name="add2"),  # django 2.0 的新语法,以前都是用正则分组
]

其中的 name 可以用在模板中,这样就不用写死 url 了。<a href="{% url 'add2' 4 5 %}">link</a>

设定响应的 headers

response 对象可以当做字典使用,向其中复制就可以设定响应的头部

from django.http import HttpResponse

def add(request):
    a = request.GET["a"]
    b = request.GET["b"]
    c = int(a) + int(b)
    response = HttpResponse(str(c))
    response["Powered-By"] = "django"
    return response

url reverse

在 urls.py 中可以设定 url 到具体函数的映射,但是 url 也是经常要随业务改动的,比如从 add/ 变成了 plus/。当我们在某个网页中需要链接到某个页面的时候,不希望写死 url,这时候可以使用 url reverse 的功能,使用 name 反向获取 url。

# urls.py
path("add/<int:a>/<int:b>/", calc_views.add2, name="add2")

# other.py
from django.urls import reverse
url = reverse("add2")

django forms

django 中的 form 和 model 的用法很像,都是定义一个类,然后指定一些字段就可以了

最简单的form

from django import forms

class ContactForm(forms.Form):
    subject = forms.CharField(max_length=100)
    email = forms.EmailField(required=False)
    message = forms.CharField(widget=forms.Textarea)

    def clean_message(self):
        message = self.cleaned_data['message']
        num_words = len(message.split())
        if num_words < 4:
            raise forms.ValidationError("Not enough words!")
        return message
def contact(request):
    if request.method == 'POST':
        form = ContactForm(request.POST)
        if form.is_valid():
            cd = form.cleaned_data
            send_mail(
                cd['subject'],
                cd['message'],
                cd.get('email', '[email protected]'),
                ['[email protected]'],
            )
            return HttpResponseRedirect('/contact/thanks/')
    else:
        form = ContactForm()
        return render(request, 'contact_form.html', {'form': form})
<form action="" method="post">
    <table>
        {{ form.as_table }}
    </table>
    {% csrf_token %}
    <input type="submit" value="Submit">
</form>

方法 | 用法
——|——
form.__str__() | return table representation
form.asp() | return p representation
form.as
li() | return li representation
form.__getitem__() | return element tag
form.__init__(dict) | fill values
form.isbound |
form.is
valid() |
form.cleaned_data |

Note not include table/ul/form tags, just the inside tags

ajax

ajax 中如何指定 crsf token

axios 中:

import axios from 'axios';
axios.defaults.xsrfHeaderName = "X-CSRFTOKEN";
axios.defaults.xsrfCookieName = "csrftoken";

settings.py 中

CSRF_COOKIE_NAME = "csrftoken"

参考

https://stackoverflow.com/questions/39254562/csrf-with-django-reactredux-using-axios