让你相见恨晚的python库（三）

在GitHub搜Python库时发现了一个的宝藏仓库，收录了全网种类超全的Python库！

包括：Web 框架、网络爬虫、网络内容提取、模板引擎、数据库、数据可视化、图片处理、文本处理、自然语言处理、机器学习、日志、代码分析等。

这个仓库有129000+stars。

原链接在这里：

GitHubMaximusarthur/awesome-python: A curated list of awesome Python frameworks, libraries, software and resources (github.com)

e-pyth点赞收藏，就不用担心下次找不到这份python库了~

55.机器学习（Machine Learning）

机器学习相关库，也可以参考 awesome-machine-learning。

• Crab：灵活、快速的推荐引擎。
• NuPIC：智能计算 Numenta 平台。
• pattern：Python 网络挖掘模块。
• PyBrain：另一个 Python 机器学习库。
• Pylearn2：一个基于 Theano 的机器学习库。
• python-recsys：一个用来实现推荐系统的 Python 库。
• scikit-learn：基于 SciPy 构建的机器学习 Python 模块。
• vowpalporpoise：轻量级 Vowpal Wabbit 的 Python 封装。
• gym：开发和比较强化学习算法的工具包。
• H2O：开源快速可扩展的机器学习平台。
• Metrics：机器学习的评估指标。
• vowpal_porpoise：Python 版 Vowpal Wabbit 装饰器。
• xgboost：可扩展，便携式和分布式梯度提升库。
• MindsDB：MindsDB 是现有数据库的开源 AI 层，可让使用标准查询轻松地进行开发，训练和部署最新的机器学习模型。

56.微软的 Windows 平台（Microsoft Windows）

在 Windows 平台上进行 Python 编程。

• Python(x,y)：面向科学应用的 Python 发行版，基于 Qt 和 Spyder。
• pythonlibs：非官方的 Windows 平台 Python 扩展二进制包。
• PythonNet：Python 与 .NET 公共语言运行库 (CLR)的集成。
• PyWin32：针对 Windows 的 Python 扩展。
• WinPython：Windows 7/8 系统下便携式开发环境。

57.杂项（Miscellaneous）

不属于上面任何一个类别，但是非常有用的库。

• blinker：快速的 Python 运行时信号/事件分配系统。
• boltons：一组纯 Python 实用工具。
• itsdangerous：将受信任的数据传递到不受信任的环境的帮助工具。
• magenta：使用人工智能生成音乐与艺术的工具。
• pluginbase：一个简单但灵活的 Python 插件系统。
• tryton：一个通用业务框架

58.自然语言处理（Natural Language Processing）

用来处理人类语言的库。

• NLTK：一个先进的平台，用以构建处理人类语言数据的 Python 程序。
• gensim：人性化的话题建模库。
• jieba：中文分词工具。
• langid.py：独立的语言识别系统。
• Pattern：Python 网络信息挖掘模块。
• SnowNLP：一个用来处理中文文本的库。
• TextBlob：为进行普通自然语言处理任务提供一致的 API。
• TextGrocery：一简单高效的短文本分类工具，基于 LibLinear 和 Jieba。
• thulac：清华大学自然语言处理与社会人文计算实验室研制推出的一套中文词法分析工具包。
• polyglot：支持数百种语言的自然语言处理管道。
• pytext：基于 PyTouch 的自然语言模型框架。
• PyTorch-NLP：一个支持快速深度学习 NLP 原型研究的工具包。
• spacy：Python 和 Cython 中用于工业级自然语言处理的库。
• Stanza：斯坦福 NLP 集团的官方 Python 库，支持 60 多种语言。
• funNLP：中文自然语言处理的工具和数据集。
• pkuseg-python：一个支持对不同领域进行中文分词的工具箱。

59.网络可视化和 SDN（Network Virtualization）

用来进行网络可视化和 SDN(软件定义网络)的工具和库。

• Mininet：一款流行的网络模拟器以及用 Python 编写的 API。
• POX：一个针对基于 Python 的软件定义网络应用（例如 OpenFlow SDN 控制器）的开源开发平台。
• Pyretic：火热的 SDN 编程语言中的一员，为网络交换机和模拟器提供强大的抽象能力。
• napalm：可跨供应商 API 来操纵网络设备。

60.动态消息（News Feed）

用来创建用户活动的库。

• django-activity-stream：从你的站点行为中生成通用活动信息流。
• Stream-Framework：使用 Cassandra 和 Redis 创建动态消息和通知系统。

61.ORM

实现对象关系映射或数据映射技术的库。

• 关系型数据库
  • Django Models：Django 的一部分。
  • SQLAlchemy：Python SQL 工具以及对象关系映射工具。
    • awesome-sqlalchemy
  • Peewee：一个小巧，富有表现力的 ORM。
  • PonyORM：提供面向生成器的 SQL 接口的 ORM。
  • python-sql：编写 Python 风格的 SQL 查询。
  • dataset：在数据库中存储字典，支持 SQLite，MySQL 和 PostgreSQL。
  • orator：Orator ORM，提供了一个简单而美观的 ActiveRecord 实现。
  • orm：一个异步的 ORM。
  • pony：提供面向生成器的SQL接口的ORM。
  • pydal：纯 Python 数据库抽象接口层。

• NoSQL 数据库
  • django-mongodb-engine：Django MongoDB 后端。
  • PynamoDB：Amazon DynamoDB 的一个 Python 风格接口。
  • flywheel：Amazon DynamoDB 的对象映射工具。
  • MongoEngine：一个 Python 对象文档映射工具，用于 MongoDB。
  • hot-redis：为 Redis 提供 Python 丰富的数据类型。
  • redisco：一个 Python 库，提供可以持续存在在 Redis 中的简单模型和容器。
• 其他
  • butterdb：Google Drive 电子表格的 Python ORM。

62.包管理（Package Management）

管理包和依赖的工具。

• pip：Python 包和依赖关系管理工具。
• pip-tools：保证 Python 包依赖关系更新的一组工具。
• PyPI：Python 正式的第三方包软件存储库。
• pipenv：Python 官方推荐的新一代包管理工具。
• poetry：可完全取代 setup.py 的包管理工具。
• conda：跨平台的 Python 二进制包管理工具。
• Curdling：管理 Python 包的命令行工具。
• wheel：Python 分发的新标准，意在取代 eggs。

63.包仓库（Package Repositories）

本地 PyPI 仓库服务和代理。

• warehouse：下一代 PyPI。
• bandersnatch：PyPA 提供的 PyPI 镜像工具。
• devpi：PyPI 服务和打包/测试/分发工具。
• localshop：本地 PyPI 服务（自定义包并且自动对 PyPI 镜像）。

64.渗透测试（Penetration Testing）

渗透测试相关框架和工具。

• fsociety：一款渗透测试框架。
• setoolkit：社会工程工具包。
• sqlmap：自动 SQL 注入和数据库接管工具。

65.权限（Permissions）

允许或拒绝用户访问数据或功能的库。

• Carteblanche：站在用户和设计者角度开发的一个代码对齐模块，很好地处理了代码导航及权限。
• django-guardian：Django 1.2+ ，实现了单个对象权限。
• django-rules：一个小巧但是强大的应用，提供对象级别的权限管理，且不需要使用数据库。

66.进程（Processes）

操作系统进程启动及通信库。

• envoy：比 Python subprocess 模块更人性化。
• sarge：另一 种 subprocess 模块的封装。
• sh：一个完备的 subprocess 替代库。
• delegator.py：人性化的 Subprocesses 2.0 版本。

67.推荐系统（Recommender Systems）

用于构建推荐系统的相关库。

• annoy：对 C++/Python 实现的近似近邻算法进行了内存优化。
• fastFM：Factorization Machine 相关库。
• implicit：对隐式数据集进行协作过滤的快速 Python 实现。
• libffm：Field-aware Factorization Machine (FFM) 相关库。
• lightfm：很多流行的推荐算法的 Python 实现。
• spotlight：使用 PyTorch 实现的深度推荐模型。
• Surprise：用于构建和分析推荐系统的科学工具。
• tensorrec：TensorFlow 的推荐引擎框架。

68.重构（Refactoring）

Python 重构相关库和工具。

• Bicycle Repair Man：Python 的重构工具。
• Bowler：适用于现代Python的安全代码重构。
• Rope：一个 Python 的重构库。

69.RESTful API

用来开发 RESTful APIs 的库

• Django
  • django-rest-framework：一个强大灵活的工具，用来构建 web API。
  • django-tastypie：为 Django 应用开发 API。
• Flask
  • flask-api：为 flask 开发的，可浏览 Web APIs 。
  • flask-restful：为 flask 快速创建 REST APIs 。
  • eve：REST API 框架，由 Flask, MongoDB 等驱动。
• Pyramid
  • cornice：一个 Pyramid 的 REST 框架 。
• 与框架无关的
  • falcon：一个用来建立云 API 和 web app 后端的高性能框架。
  • sandman：为现存的数据库驱动系统自动创建 REST APIs 。
  • restless：框架无关的 REST 框架 ，基于从 Tastypie 学到的知识。
  • apistar：专为Python 3设计的智能 Web API 框架。
  • fastapi：一个现代，快速，基于标准 Python 类型注解的的 web框架，可使用 Python3.6+ 版本构建 API。
  • hug：一个为纯净公开的 API 打造的 Python 3 框架。
  • sandman2：为数据库驱动的系统自动生成 REST API。
  • vibora：快速高效且支持异步的 Web 框架，灵感来源于 Flask。

70.机器人（Robotics）

机器人相关库。

• PythonRobotics：各种具有可视化效果的机器人算法的汇总。
• rospy：ROS (Robot Operating System) 库。

71.RPC 服务器（RPC Servers）

兼容 RPC 的服务器。

• SimpleJSONRPCServer：这个库是 JSON-RPC 规范的一个实现。
• SimpleXMLRPCServer：(Python 标准库) 简单的 XML-RPC 服务器实现，单线程。
• zeroRPC：zerorpc 是一个灵活的 RPC 实现，基于 ZeroMQ 和 MessagePack。
• RPyC (Remote Python Call)：适用于 Python 的透明且对称的RPC库。

72.科学计算（Science）

• astropy：一个天文学 Python 库。
• bcbio-nextgen：这个工具箱为全自动高通量测序分析提供符合最佳实践的处理流程。
• bccb：生物分析相关代码集合。
• Biopython：Biopython 是一组可以免费使用的用来进行生物计算的工具。
• cclib：一个用来解析和解释计算化学软件包输出结果的库。
• Colour：大量色彩理论转换和算法的实现。
• Karate Club：用于图形结构化数据的无监督机器学习工具箱。
• NIPY：神经影响学工具箱集合。
• ObsPy：地震学 Python 工具箱。
• QuTiP：Python 版 Quantum 工具箱。
• SimPy：一个基于过程的离散事件模拟框架。
• NetworkX：一个为复杂网络设计的高性能软件。
• Neupy：执行和测试各种不同的人工神经网络算法。
• NumPy：使用 Python 进行科学计算的基础包。
• Open Babel：一个化学工具箱，用来描述多种化学数据。
• PyDy：PyDy 是 Python Dynamics 的缩写，用来为动力学运动建模工作流程提供帮助， 基于 NumPy, SciPy, IPython 和 matplotlib。
• PyMC：马尔科夫链蒙特卡洛采样工具。
• RDKit：化学信息学和机器学习软件。
• SciPy：由一些基于 Python ，用于数学，科学和工程的开源软件构成的生态系统。
• statsmodels：统计建模和计量经济学。
• SymPy：一个用于符号数学的 Python 库。
• zipline：一个 Python 算法交易库。

73.搜索（Search）

对数据进行索引和执行搜索查询的库和软件。

• django-haystack：Django 模块化搜索。
• elasticsearch-py：Elasticsearch 的官方底层 Python 客户端。
• elasticsearch-dsl-py：Elasticsearch 的官方高级 Python 客户端。
• solrpy：solr 的 Python 客户端。
• pysolr：支持 Apache Solr 的轻量级 Python 装饰器。
• Whoosh：一个快速的纯 Python 搜索引擎库。

74.序列化（Serialization）

复杂数据类型序列化相关库。

• marshmallow：一个轻量级的库，用于将复杂对象与简单 Python 数据类型相互转换。
• pysimdjson：与 Python 绑定的 simdjson 。
• python-rapidjson：RapidJSON 的 Python 封装。
• ultrajson：使用 Python 绑定的，用 C 编写的快速 JSON 解码器和编码器。

75.Serverless 框架（Serverless Frameworks）

使用 Python 开发 Serverless 模型相关的库。

• python-lambda ：在 AWS Lambda 开发和部署 Python 代码的工具包。
• Zappa：在 AWS Lambda 和 API Gateway 部署 WSGI 应用的工具。