0001 .. SPDX-License-Identifier: GPL-2.0
0002
0003 .. include:: ../disclaimer-zh_CN.rst
0004
0005 :Original: Documentation/core-api/padata.rst
0006
0007 :翻译:
0008
0009 司延腾 Yanteng Si <siyanteng@loongson.cn>
0010
0011 .. _cn_core_api_padata.rst:
0012
0013 ==================
0014 padata并行执行机制
0015 ==================
0016
0017 :日期: 2020年5月
0018
0019 Padata是一种机制,内核可以通过此机制将工作分散到多个CPU上并行完成,同时
0020 可以选择保持它们的顺序。
0021
0022 它最初是为IPsec开发的,它需要在不对这些数据包重新排序的其前提下,为大量的数
0023 据包进行加密和解密。这是目前padata的序列化作业支持的唯一用途。
0024
0025 Padata还支持多线程作业,将作业平均分割,同时在线程之间进行负载均衡和协调。
0026
0027 执行序列化作业
0028 ==============
0029
0030 初始化
0031 ------
0032
0033 使用padata执行序列化作业的第一步是建立一个padata_instance结构体,以全面
0034 控制作业的运行方式::
0035
0036 #include <linux/padata.h>
0037
0038 struct padata_instance *padata_alloc(const char *name);
0039
0040 'name'即标识了这个实例。
0041
0042 然后,通过分配一个padata_shell来完成padata的初始化::
0043
0044 struct padata_shell *padata_alloc_shell(struct padata_instance *pinst);
0045
0046 一个padata_shell用于向padata提交一个作业,并允许一系列这样的作业被独立地
0047 序列化。一个padata_instance可以有一个或多个padata_shell与之相关联,每个
0048 都允许一系列独立的作业。
0049
0050 修改cpumasks
0051 ------------
0052
0053 用于运行作业的CPU可以通过两种方式改变,通过padata_set_cpumask()编程或通
0054 过sysfs。前者的定义是::
0055
0056 int padata_set_cpumask(struct padata_instance *pinst, int cpumask_type,
0057 cpumask_var_t cpumask);
0058
0059 这里cpumask_type是PADATA_CPU_PARALLEL(并行)或PADATA_CPU_SERIAL(串行)之一,其中并
0060 行cpumask描述了哪些处理器将被用来并行执行提交给这个实例的作业,串行cpumask
0061 定义了哪些处理器被允许用作串行化回调处理器。 cpumask指定了要使用的新cpumask。
0062
0063 一个实例的cpumasks可能有sysfs文件。例如,pcrypt的文件在
0064 /sys/kernel/pcrypt/<instance-name>。在一个实例的目录中,有两个文件,parallel_cpumask
0065 和serial_cpumask,任何一个cpumask都可以通过在文件中回显(echo)一个bitmask
0066 来改变,比如说::
0067
0068 echo f > /sys/kernel/pcrypt/pencrypt/parallel_cpumask
0069
0070 读取其中一个文件会显示用户提供的cpumask,它可能与“可用”的cpumask不同。
0071
0072 Padata内部维护着两对cpumask,用户提供的cpumask和“可用的”cpumask(每一对由一个
0073 并行和一个串行cpumask组成)。用户提供的cpumasks在实例分配时默认为所有可能的CPU,
0074 并且可以如上所述进行更改。可用的cpumasks总是用户提供的cpumasks的一个子集,只包
0075 含用户提供的掩码中的在线CPU;这些是padata实际使用的cpumasks。因此,向padata提
0076 供一个包含离线CPU的cpumask是合法的。一旦用户提供的cpumask中的一个离线CPU上线,
0077 padata就会使用它。
0078
0079 改变CPU掩码的操作代价很高,所以不应频繁更改。
0080
0081 运行一个作业
0082 -------------
0083
0084 实际上向padata实例提交工作需要创建一个padata_priv结构体,它代表一个作业::
0085
0086 struct padata_priv {
0087 /* Other stuff here... */
0088 void (*parallel)(struct padata_priv *padata);
0089 void (*serial)(struct padata_priv *padata);
0090 };
0091
0092 这个结构体几乎肯定会被嵌入到一些针对要做的工作的大结构体中。它的大部分字段对
0093 padata来说是私有的,但是这个结构在初始化时应该被清零,并且应该提供parallel()和
0094 serial()函数。在完成工作的过程中,这些函数将被调用,我们马上就会遇到。
0095
0096 工作的提交是通过::
0097
0098 int padata_do_parallel(struct padata_shell *ps,
0099 struct padata_priv *padata, int *cb_cpu);
0100
0101 ps和padata结构体必须如上所述进行设置;cb_cpu指向作业完成后用于最终回调的首选CPU;
0102 它必须在当前实例的CPU掩码中(如果不是,cb_cpu指针将被更新为指向实际选择的CPU)。
0103 padata_do_parallel()的返回值在成功时为0,表示工作正在进行中。-EBUSY意味着有人
0104 在其他地方正在搞乱实例的CPU掩码,而当cb_cpu不在串行cpumask中、并行或串行cpumasks
0105 中无在线CPU,或实例停止时,则会出现-EINVAL反馈。
0106
0107 每个提交给padata_do_parallel()的作业将依次传递给一个CPU上的上述parallel()函数
0108 的一个调用,所以真正的并行是通过提交多个作业来实现的。parallel()在运行时禁用软
0109 件中断,因此不能睡眠。parallel()函数把获得的padata_priv结构体指针作为其唯一的参
0110 数;关于实际要做的工作的信息可能是通过使用container_of()找到封装结构体来获得的。
0111
0112 请注意,parallel()没有返回值;padata子系统假定parallel()将从此时开始负责这项工
0113 作。作业不需要在这次调用中完成,但是,如果parallel()留下了未完成的工作,它应该准
0114 备在前一个作业完成之前,被以新的作业再次调用
0115
0116 序列化作业
0117 ----------
0118
0119 当一个作业完成时,parallel()(或任何实际完成该工作的函数)应该通过调用通知padata此
0120 事::
0121
0122 void padata_do_serial(struct padata_priv *padata);
0123
0124 在未来的某个时刻,padata_do_serial()将触发对padata_priv结构体中serial()函数的调
0125 用。这个调用将发生在最初要求调用padata_do_parallel()的CPU上;它也是在本地软件中断
0126 被禁用的情况下运行的。
0127 请注意,这个调用可能会被推迟一段时间,因为padata代码会努力确保作业按照提交的顺序完
0128 成。
0129
0130 销毁
0131 ----
0132
0133 清理一个padata实例时,可以预见的是调用两个free函数,这两个函数对应于分配的逆过程::
0134
0135 void padata_free_shell(struct padata_shell *ps);
0136 void padata_free(struct padata_instance *pinst);
0137
0138 用户有责任确保在调用上述任何一项之前,所有未完成的工作都已完成。
0139
0140 运行多线程作业
0141 ==============
0142
0143 一个多线程作业有一个主线程和零个或多个辅助线程,主线程参与作业,然后等待所有辅助线
0144 程完成。padata将作业分割成称为chunk的单元,其中chunk是一个线程在一次调用线程函数
0145 中完成的作业片段。
0146
0147 用户必须做三件事来运行一个多线程作业。首先,通过定义一个padata_mt_job结构体来描述
0148 作业,这在接口部分有解释。这包括一个指向线程函数的指针,padata每次将作业块分配给线
0149 程时都会调用这个函数。然后,定义线程函数,它接受三个参数: ``start`` 、 ``end`` 和 ``arg`` ,
0150 其中前两个参数限定了线程操作的范围,最后一个是指向作业共享状态的指针,如果有的话。
0151 准备好共享状态,它通常被分配在主线程的堆栈中。最后,调用padata_do_multithreaded(),
0152 它将在作业完成后返回。
0153
0154 接口
0155 ====
0156
0157 该API在以下内核代码中:
0158
0159 include/linux/padata.h
0160
0161 kernel/padata.c