4 个 Python 项目管理与构建工具,建议收藏(Python项目管理)

文章来源:网络

python 历时这么久以来至今还未有一个事实上标准的项目管理及构建工具,以至于造成 Python 项目的结构与构建方式五花八门。这或许是体现了 Python 的自由意志。

不像 Java 在经历了最初的手工构建,到半自动化的 Ant, 再到 Maven 基本就是事实上的标准了。其间 Maven 还接受了其他的 Gradle(Android 项目主推), SBT(主要是 Scala 项目), Ant Ivy, Buildr 等的挑战,但都很难撼动 Maven 的江湖地位,而且其他的差不多遵循了 Maven 的目录布局。

回到 Python,产生过 pip, pipenv, conda 那样的包管理工具,但对项目的目录布局没有任何约定。

关于构建很多还是延续了传统的 Makefile 的方式,再就是加上 setup.py 和 build.py 用程序代码来进行安装与构建。关于项目目录布局,有做成项目模板的,然后做成工具来应用项目模板。

下面大概浏览一下四个工具的使用

  1. CookieCutter

  2. PyScaffold

  3. PyBuilder

  4. Poetry

CookieCutter 一个经典的 Python 项目目录结构

$ pip install cookiecutter
$ cookiecutter gh:audreyr/cookiecutter-pypackage
# 以 github 上的 audreyr/cookiecutter-pypackage 为模板,再回答一堆的问题生成一个 Python 项目
......
project_name [Python Boilerplate]: sample
......

最后由 cookiecutter 生成的项目模板是下面的样子:

$ tree sample
sample
├── AUTHORS.rst
├── CONTRIBUTING.rst
├── HISTORY.rst
├── LICENSE
├── MANIFEST.in
├── Makefile
├── README.rst
├── docs
│ ├── Makefile
│ ├── authors.rst
│ ├── conf.py
│ ├── contributing.rst
│ ├── history.rst
│ ├── index.rst
│ ├── installation.rst
│ ├── make.bat
│ ├── readme.rst
│ └── usage.rst
├── requirements_dev.txt
├── sample
│ ├── __init__.py
│ ├── cli.py
│ └── sample.py
├── setup.cfg
├── setup.py
├── tests
│ ├── __init__.py
│ └── test_sample.py
└── tox.ini

3 directories, 26 files

这大概是当前比较流行的目录结构的主体框架,主要元素是:

$ tree sample
sample
├── Makefile
├── README.rst
├── docs
│ └── index.rst
├── requirements.txt
├── sample
│ ├── __init__.py
│ └── sample.py
├── setup.cfg
├── setup.py
└── tests
├── __init__.py
└── test_sample.py

项目 sample 目录中重复 sample 目录中放置 Python 源文件,tests目录中是测试文件,再加一个docs目录放文档,README.rst, 其他的用于构建的 setup, setup.cfg 和 Makefile 文件。

这其实是一个很经典的 Python 项目结构,接下来的构建就用 make命令了,输入make会看到定义在 Makefile 文件中的指令

$ make
clean remove all build, test, coverage and Python artifacts
clean-build remove build artifacts
clean-pyc remove Python file artifacts
clean-test remove test and coverage artifacts
lint check style
test run tests quickly with the default Python
test-all run tests on every Python version with tox
coverage check code coverage quickly with the default Python
docs generate Sphinx HTML documentation, including API docs
servedocs compile the docs watching for changes
release package and upload a release
dist builds source and wheel package
install install the package to the active Python\'s site-packages

为使用上面的构建过程,需要安装相应的包,如 tox,wheel,coverage,sphinx,flake8, 它们都可以通过pip来安装。之后就可以make test,make coverage,make docsmake dist等。其中make docs可以生成一个很漂亮的 Web 文档。

PyScaffold 创建一个项目

PyScaffold 顾名思义,它是一个用来创建 Python 项目脚手架的工具,安装和使用:

$ pip install pyscaffold
$ putup sample

这样创建了一个 Python 项目,目录结构与前面 cookiecutter 所选的模板差不多,只不过它把源文件放在了 src目录,而非sample目录。

$ tree sample
sample
├── AUTHORS.rst
├── CHANGELOG.rst
├── CONTRIBUTING.rst
├── LICENSE.txt
├── README.rst
├── docs
│ ├── Makefile
│ ├── _static
│ ├── authors.rst
│ ├── changelog.rst
│ ├── conf.py
│ ├── contributing.rst
│ ├── index.rst
│ ├── license.rst
│ ├── readme.rst
│ └── requirements.txt
├── pyproject.toml
├── setup.cfg
├── setup.py
├── src
│ └── sample
│ ├── __init__.py
│ └── skeleton.py
├── tests
│ ├── conftest.py
│ └── test_skeleton.py
└── tox.ini

整个项目的构建就要用 tox这个工具了。tox是一个自动化测试和构建工具,它在构建过程中可创建 Python 虚拟环境,这让测试和构建能有一个干净的环境。

tox -av能显示出定义在tox.ini中所有的任务:

$ tox -av
default environments:
default -> Invoke pytest to run automated tests

additional environments:
build -> Build the package in isolation according to PEP517, see https://github.com/pypa/build
clean -> Remove old distribution files and temporary build artifacts (./build and ./dist)
docs -> Invoke sphinx-build to build the docs
doctests -> Invoke sphinx-build to run doctests
linkcheck -> Check for broken links in the documentation
publish -> Publish the package you have been developing to a package index server. By default, it uses testpypi. If you really want to publish your package to be publicly accessible in PyPI, use the `-- --repository pypi` option.

要执行哪个命令便用 tox -e build,tox -e docs

在我体验 tox 命令过程中,每一步好像都比较慢,应该是创建虚拟机要花些时间。

PyBuilder

最好再看另一个构建工具 PyBuilder, 它所创建出的目录结构很接近于 Maven, 下面来瞧瞧

$pip install pybuilder
$mkdir sample && cd sample # 项目目录需手工创建
$pyb --start-project # 回答一些问题后创建所需的目录和文件

完后看下它的目录结构:

$ tree sample
.
├── build.py
├── docs
├── pyproject.toml
├── setup.py
└── src
├── main
│ ├── python
│ └── scripts
└── unittest
└── python

构建过程仍然是用 pyb命令,可用pyb -h查看帮助,pyb -t列出所有的任务, PyBuilder 的任务是以插件的方式加入的,插件配置在build.py文件中。

$ pyb -t sample
Tasks found for project \"sample\":
analyze - Execute analysis plugins.
depends on tasks: prepare run_unit_tests
clean - Cleans the generated output.
compile_sources - Compiles source files that need compilation.
depends on tasks: prepare
coverage - <no description available>
depends on tasks: verify
install - Installs the published project.
depends on tasks: package publish(optional)
package - Packages the application. Package a python application.
depends on tasks: compile_sources run_unit_tests(optional)
prepare - Prepares the project for building. Creates target VEnvs
print_module_path - Print the module path.
print_scripts_path - Print the script path.
publish - Publishes the project.
depends on tasks: package verify(optional) coverage(optional)
run_integration_tests - Runs integration tests on the packaged application.
depends on tasks: package
run_unit_tests - Runs all unit tests. Runs unit tests based on Python\'s unittest module
depends on tasks: compile_sources
upload - Upload a project to PyPi.
verify - Verifies the project and possibly integration tests.
depends on tasks: run_integration_tests(optional)
$ pyb run_unit_tests sample

PyBuilder 也是在构建或测试之前创建虚拟环境, 从 0.12.9 版开始可通过参数 --no-venvs跳过创建虚拟环境这一步。使用了--no-venvs的话 Python 代码将会在运行pyb的当前 Python 环境中执行,所需的依赖将要手工安装。

项目的依赖也要定义在 build.py文件中

@init
def set_properties(project):
project.depends_on(\'boto3\', \'>=1.18.52\')
project.build_depends_on(\'mock\')

随后在执行 pyb创建虚拟环境时就会安装上面的依赖,并在其中运行测试与构建。

Poetry

最后一个 Poetry, 感觉这是一个更为成熟,项目活跃度也更高的 Python 构建,它有着更强大的信赖管理功能,用 poetry add boto3就能添加依赖,poetry show --tree显示出依赖树。看下如何安装及创建一个项目

$ pip install poetry
$ poetry new sample

它创建的项目比上面都简单

$ tree sample
sample
├── README.rst
├── pyproject.toml
├── sample
│ └── __init__.py
└── tests
├── __init__.py
└── test_sample.py

如果给 poetry new带上--src参数,那么源文件目录sample会放在src目录下,即sample/src/sample.

poetry init会在当前目录中生成pyproject.toml文件,目录等的生成需手动完成。

它不关注文档的生成,代码规范的检查,代码覆盖率都没有。它的项目配置更集中,全部在 pyproject.toml文件中,toml是什么呢?它是一种配置文件的格式 Tom\’s Obvious, Minimal Language (https://github.com/toml-lang/toml).

pyproject.toml有些类似 NodeJSpackage.json文件,比如 poetry add, poetry install 命令的行

# 往 pyproject.toml 中添加对 boto3 的依赖并安装(add 还能从本地或 git 来安装依赖 ),
poetry add boto3

# 将依照 pyproject.toml 文件中定义安装相应的依赖到当前的 Python 虚拟环境中
# 比如在 <test-venv>/lib/python3.9/site-packages 目录中,安装好模块后也可让测试用例使用
poetry install

其他主要的

1. poetry build # 构建可安装的 *.whl 和 tar.gz 文件
2. poetry shell # 会根据定义在 pyproject.toml 文件中的依赖创建并使用虚拟环境
3. poetry run pytest # 运行使用 pytest 的测试用例,如 tests/test_sample.py
4. poetry run python -m unittest tests/sample_tests.py # 运行 unittest 测试用例
5. poetry export --without-hashes --output requirements.txt # 导出 requirements.txt 文件, --dev 导出含 dev 的依赖,或者用 poetry export --without-hashes > requirements.txt

poetry run能执行任何系统命令,只是它会在它要的虚拟环境中执行。所以可以想见,poetry的项目要生成文档或覆盖率都必须用poetry run ...命令来支持sphinx,coverageflake8

在 sample 目录(与 pyproject.toml 文件平级)中创建文件 my_module.py, 内容为

def main:
print(\'hello poetry\')

然后在 pyproject.toml中写上

[tool.poetry.scripts]
my-script=\"sample.my_module:main\"

再执行

$ poetry run my-script

就会输出 \”hello poetry\”。

通过对以上四个工具的认识,项目结构的复杂度由 cookiecutter-pyproject -> PyScaffold -> PyBuilder -> Poetry 依次降低,使用的难度大略也是相同的顺序

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

(0)
上一篇 2022年12月1日 上午8:10
下一篇 2022年12月1日 上午8:12

相关推荐

  • 科研项目政审材料模板

    科研项目政审材料模板 尊敬的领导: 感谢您对我们项目进行政审。在审阅该项目的材料时,我们发现该项目团队具有出色的能力和素质,能够为项目的顺利完成提供有力的支持。因此,我们希望您能够…

    科研百科 2025年3月14日
    3
  • 广西学生参与科研项目名单

    广西学生参与科研项目名单 近年来,广西学生在科研项目中取得了许多杰出的成就。这些学生通过积极参与科研项目,不仅提升了自己的学术能力,也为社会发展做出了重要贡献。以下是一些广西学生参…

    科研百科 2025年4月29日
    0
  • Excel轻松制作管理软件(excel轻松制作管理软件有哪些)

    Excel轻松制作管理软件(excel轻松制作管理软件有哪些) 1.简单易用的界面设计 Excel作为一款常见的办公软件,其界面简洁明了,使用起来非常方便。通过利用Excel的各种…

    科研百科 2024年3月26日
    138
  • 科研项目打擂台汇报

    科研项目打擂台汇报 随着科技的不断发展,科研项目也在不断地涌现。其中,许多科研项目都涉及到前沿领域,例如人工智能、量子计算、生物信息学等。在这些项目中,科学家们正在不断探索新的领域…

    科研百科 2025年4月14日
    0
  • 科研项目漏洞

    科研项目漏洞 科研项目漏洞是指科研项目中可能存在的安全风险。这些漏洞可能会对科研项目的安全性造成威胁,甚至会破坏科研项目的进度和成果。 科研项目漏洞的出现是由于科研项目的复杂性和创…

    科研百科 2025年2月17日
    0
  • 科研项目副主持

    科研项目副主持的简介如下: 我是一名副主持,负责监督科研项目的进展,协调团队成员的工作,确保项目按时按质完成。我拥有坚实的科研背景和丰富的项目管理经验,能够高效地处理各种复杂的问题…

    科研百科 2025年2月15日
    0
  • 血液透析科研项目申报

    血液透析科研项目申报 随着环境污染和水质恶化的加剧,心血管疾病已经成为人类健康的一大威胁。对于患有心血管疾病的人来说,定期的去医院接受检查和治疗是非常重要的。而血液透析是一种有效的…

    科研百科 2025年3月29日
    1
  • 科研项目费用专利

    科研项目费用专利 科研项目是一项非常重要的工作,涉及到许多科学家和工程师的时间和精力。然而,在项目进行过程中,一些费用可能会让人感到困惑和不安。其中一种常见的费用是科研项目费用专利…

    科研百科 2025年2月21日
    0
  • 天津港综保区:探索党建工作新模式,深度融合助力产业高质量发展

    来源:【津滨海客户端】 津滨海讯(记者 单毅 朱绍祥 报道 王鼎鑫 摄影)今年以来,围绕将天津港综合保税区(下称综保区)打造成高水平“五大中心”目标,做大做强优势产业和外资外贸企业…

    科研百科 2023年3月1日
    246
  • 党建管理信息平台,建设党员学习考核统一化管理平台(党建工作管理平台)

    党建管理信息平台的建设,是新时代党建工作发展的必然趋势,党建管理信息平台通过信息化技术,搭建党员学习、考核、党员发展、党建活动等一体化党建信息管理平台,解决党员教育考核难、党员信息…

    科研百科 2023年6月16日
    316