编写优质测试的前提
天字第一条：首先要明确最小单元，以及单元的功能点都有哪些。如果在写代码之前都没有明确功能有哪些，或者编写功能已经跑偏了，那么测试究竟测些什么呢？
第二点：首先确定解决方案能够解决问题，然后再写测试，否则是徒劳的。
编写测试的基本原则
- 每一个测试单元必须是完全独立的。每一个必须能够独立运行以及在其他的测试组中运行，不管他们的顺序如何。加载和清空数据应该使用 setup() 和 teardown() 方法
- sans-io。也就是把逻辑和 IO 分开来，这样在测试的时候方便指定输入，以及捕获输出。
- 尽量让测试跑的快一点。如果一个测试在几毫秒之内跑不完的话，开发就会慢下来，以至于没有人再去跑这些测试了。如果实在有很花时间的测试，把他们单独放在一起定期执行。
- 如果你正在开发某样东西的过程中被打断的话，可以写一个测试，这样当你回过头来的时候还能很快想起来需要做什么。
- 使用有描述性的长名字。实际代码中你可能使用
square()这样的名字，但是在测试用你要用test_square_of_number_2这样的名字。 - 测试代码的另一个用途是作为新手的介绍。让别人来看你的代码的时候，看看测试就知道他是干什么的了。
如何测试包含 IO 的函数
- 使用依赖注入
- 把 IO 操作放在单独的地方，在测试的时候 mock 这个类或者方法
- 搭建一个测试用的数据库等服务器
IO 依赖主要包括依赖文件和外部数据库。对于依赖文件名作为参数的函数，甚至可以认为是一个非常差的实践。而且根据单一职责原则，一个方法也不应该做两件事，要么做计算，要么做 IO, 而接受文件名作为参数就隐含了既要负责打开文件，又要负责处理文件中的数据。但是不用文件名的话，有时候对于用户来说又不是很方便。
虽然使用 mock 的方式可能会提高速度或者更方便一些，但是这样的话又和实际生产环境的差异可能过大，而且 mock 库也不是那么好找的。
编写测试的思路
从软件可靠性的角度，测试当然是越完备越好，但是不是每一个软件都是核弹控制器，还是要根据实际情况折中一下。
追求功能测试
只需要按照功能点，把正常和常见的异常情况测试一下就好了。重点还是要先明确功能点有哪些。
追求 100% 覆盖度
按照代码逻辑分支测试，把代码的每一个分支的
- 入口参数是什么
- 出口参数是什么
- 副作用是什么
- 产生的异常是什么
都测试到。
工具选择
Python 常用的测试工具有三种：
- 标准库自带的 unittest
- nose[2]
- pytest
其中 unittest 完全是从 JUnit 移植过来的，用起来稍微有些别扭。nose 和 pytest 相比的话，网友大多推荐 pytest。详细的比较可一件参考文档。
pytest
和传统的 unittest 中复杂的 assertEqual 等语句不同的是，pytest 中只需要简单地写 assert 语句就行了。
命令行选项
pytest some_mod.py 运行某个文件中的中的测试
pytest tests/ 运行某个目录中的测试
pytest -x 在第一个错误的地方结束
pytest --pdb，当出现异常的时候，打开 pdb
测试函数使用 test_开头，pytest 默认会查找当前目录中的 test_ 开头或者 _test 结尾的文件中的测试并运行。使用 assert 来验证语句。
测试某个异常抛出：
import pytest
def f():
raise SystemExit(1)
def test_mytest():
with pytest.raises(SystemExit):
f()
执行顺序
如果在一个文件中定义了多个测试函数，那么 pytest 将按照函数定义的顺序执行。
setup 和 teardown
setup 和 teardown 用来在测试开始前加载资源，并在测试结束后卸载资源。
- 可以在文件中定义
setup_module和teardown_module中 - 可以在类中定义
setup_class和teardown_class中定义加载和卸载方法。
mock 和 patch
Python 中的其他测试工具
unittest
import unittest
def fun(x):
return x + 1
class MyTest(unittest.TestCase):
def setUp(self):
# bootstrapping
def tearDown(self):
#clean up
def test(self):
self.assertEqual(fun(3), 4)
Unittest 中的 assert 方法：
方法 | 含义
—-|—-
assertEqual(a, b)|a == b
assertNotEqual(a, b)|a != b
assertTrue(x)|bool(x) is True
assertFalse(x)|bool(x) is False
assertIs(a, b)|a is b
assertIsNot(a, b)|a is not b
assertIsNone(x)|x is None
assertIsNotNone(x)|x is not None
assertIn(a, b)|a in b
assertNotIn(a, b)|a not in b
assertIsInstance(a, b)|isinstance(a, b)
assertNotIsInstance(a, b)|not isinstance(a, b)
save it as fun_test.py and run it by:
python -m unittest fun_test
Note: only method starts with test is run by unittest module
unittest 这个库没有按照 PEP8 来，看着就不爽
doctest
需要转义 \n
需要使用<BLANKLINE>来代表空行
参考文档
- https://www.reddit.com/r/Python/comments/50nqlp/isnosestillrelevanthowaboutunittest/
- https://agopian.info/presentations/201506djangocon_europe/?full#pythonic
- http://docs.python-guide.org/en/latest/writing/tests/
- https://realpython.com/python-testing/
- https://pytest-benchmark.readthedocs.io/en/latest/
- https://medium.com/@yeraydiazdiaz/what-the-mock-cheatsheet-mocking-in-python-6a71db997832
- https://softwareengineering.stackexchange.com/questions/151360/how-to-unit-test-with-lots-of-io
- https://stackoverflow.com/questions/16541571/unit-testing-methods-with-file-io
- https://matthias-endler.de/2018/go-io-testing/
- https://dzone.com/articles/unit-testing-file-io
及时获取更新，请关注公众号“爬虫技术学习(spider-learn)”
