社区首页 >专栏 >从 0 到 1，如何徒手撸一个 Python 插件系统？

从 0 到 1，如何徒手撸一个 Python 插件系统？

程序员荒生

发布于 2022-04-02 09:06:10

74100

代码可运行

文章被收录于专栏：公众号：程序员荒生公众号：程序员荒生

运行总次数：0

代码可运行

号主从事算法服务开发多年，临近三月的尾巴，输出一个插件化部署算法服务的解决方案。篇幅内容都经过生产实践

插件机制背景

插件化机制使框架与业务模块的实现相解耦，框架服务抽象出统一的交互接口，业务模块只要符合交互标准即可做到插件替换。

微内核架构是插件架构模式的一种典型实现，常常把微内核架构也叫做插件式架构。当前微内核架构也被应用在许多我们熟知的产品，比如：操作系统、Chrome浏览器、Eclipse编辑器等

微内核架构包含两个组件：核心系统（core system）和插件模块（plugin component）

核心系统只包含让系统可以运作的最小功能
插件模块则包含一些特殊处理逻辑、额外的功能，用于提供更多的业务能力

具体如下图：

Python 插件核心

__import__()函数是我们本篇的核心，具体实现都围绕这个函数定制展开。

作用：用于动态加载类和函数。如果一个模块经常变化就可以使用 import() 来动态载入。语法:

__import__(name, globals=None, locals=None, fromlist=(), level=0)
 name[必须]：模块名称
 globals - 全局变量集合，默认为None
 locals - 局部变量集合，默认为None
 fromlist - 是否导入子模块，看上去是导入模块的列表。但实际是一个判断条件，只要设置为非空的值，且模块名称是带有子模块的，将导入子模块。例如：sys.path。当不设置时，返回sys，如果设置为非空值，则返回ntpath（path模块）
 level - 绝对或者相对导入

此处我们做个简单的验证，通过__import__实现和import一样的导入能力。分别验证导入os.path和导入其对应的子模块，具体如下：

>>> __import__('os.path')
<module 'os' from '/opt/anaconda3/envs/python38/lib/python3.8/os.py'>
>>> __import__('os.path', fromlist=['None'])
<module 'posixpath' from '/opt/anaconda3/envs/python38/lib/python3.8/posixpath.py'>
>>> __import__('os.path', fromlist=['path'])
<module 'posixpath' from '/opt/anaconda3/envs/python38/lib/python3.8/posixpath.py'>
>>>

以上只是在 shell 里面进行验证，那 Python 代码里面该如何写呢？有两种方式： 直接引用加载

p = __import__('widget.demo.infer', fromlist='infer')  # 导入
print(p.Demo)      # 取出类变量
# 打印结果
<class 'widget.demo.infer.Demo'>

Importlib包方式

import importlib    # 导入工具包
demo = importlib.import_module('.demo.infer', package='widget')
print(demo)
# 打印结果
<module 'widget.demo.infer' from '/Users/**/language-bootcamp/python/plugin_system/widget/demo/infer.py'>
print(demo.Demo)
# 打印结果
<class 'widget.demo.infer.Demo'>

插件服务基本组成

PluginCore：通过Plugin Manager调用算法，负责业务逻辑的实现 PluginManger: 通过读取配置文件，负责各种插件的加载、管理、甚至热更新

此处，Python 插件相关的知识点已经讲完了，下面进行算法插件化部署相关内容，Go Go Go！

算法服务基本组成

如上，一个完整的算法服务包含三部分：API逻辑、算法逻辑和模型文件

API逻辑：服务相关逻辑，比如：HTTP 相关的请求/响应设置或 gRPC 远程交互约定等。 算法逻辑：算法相关逻辑，比如：数据的前置预处理、后置标签映射等。 模型文件：算法运行依赖项。

可能某些号友会发问：一定是三个部分，难道不能两个，甚至一个？此处只是从纯业务功能划分，便于理解。具体代码实现，都可以。

插件管理器定义

定义了插件管理的方法，插件功能加载、插件获取方法实现

class BaseManager(object):
    """插件管理基类"""
    
    def __init__(self) -> None:
        """加载插件配置文件"""
        pass

    def get_plugin(self, name):
        """根据调用，返回插件实例"""
        raise RuntimeError('not implemented yet!')

    def get_total_plugin(self):
        """返回所有插件"""
        raise RuntimeError('not implemented yet!')

算法插件定义

每个插件需要实现公共接口方法。

class ApiBase(object):
    """API服务基类"""
    
    def __init__(self) -> None:
        "模型初始化加载"
    
    def predict(self, req_dict={}):
        """
        预测方法，推理算法入口
        :param req_dict:        请求参数，词典类型，eg:{"name":"value"}
        :return:                返回结果，词典类型，eg:{"name":"value"}
        """
        raise RuntimeError('not implemented \'predict\' method')

    def version(self):
        "版本方法"
        return '20220330'

配置文件定义

PluginManager通过配置文件进行可选插件指定加载配置，包括：插件名、插件路径等信息。

{
    "demo":{
        "infer_dir":"widget.demo.infer"
    },
    "digit_recognition":{
        "infer_dir":"widget.digit_recognition.infer"
    }
}

插件扩展

有些时候为了解耦，需要调用 C 代码，以 linux 平台为例，我们讲讲 python 如何调用 .so 文件进行扩展。

# -*- coding: utf-8 -*-
import json
import ctypes
from ctypes import c_float
from common.logger import LOG

class C_Type(object):
    def __init__(self) -> None:
        self.so = ctypes.CDLL('widget/ctype/lib/sum.so')
    
    def predict(self, req_dict={}):
        LOG.info("this is ctype infer, req_dict=%s" % json.dumps(req_dict))
        return req_dict

    def version(self):
        return '20220326'

def get_plugin_class():
    return C_Type