参数

• train_kv (bool，默认为 True) — 是否新训练文本特征对应的键值矩阵。
• train_q_out (bool，默认为 True) — 是否新训练与潜在图像特征对应的查询矩阵。
• cross_attention_dim (int，可选，默认为 None) — encoder_hidden_states 中通道的数目。
• out_bias (bool，默认为 True) — 是否在 train_q_out 中包括偏差参数。
• dropout (float, 可选, 默认为 0.0) — 要使用的 dropout 概率。

参数

• train_kv (bool，默认为 True) — 是否要新训练与文本特征对应的 key 和 values 矩阵。
• hidden_size (int, 可选, 默认为 None) — 注意力层的隐藏大小。
• cross_attention_dim (int, 可选, 默认为 None) — encoder_hidden_states 中的通道数量。
• out_bias (bool，默认为 True) — 是否在 train_q_out 中包含偏置参数。
• dropout (float，可选，默认为 0.0) — 要使用的 dropout 概率。

参数

• train_kv (bool，默认为 True) —— 是否针对文本特征新训练键矩阵和值矩阵。
• train_q_out (bool，默认为 True) —— 是否针对潜在图像特征新训练查询矩阵。
• hidden_size（int，可选，默认为None）—注意力层的隐藏大小。
• cross_attention_dim（int，可选，默认为None）—encoder_hidden_states中的通道数。
• dropout (float, 可选，默认为 0.0) — 要使用的 dropout 概率。
• attention_op (可调用对象，可选，默认为 None) — 要用作关注操作符的基础 操作符。建议设置为 None，并允许 xFormers 选择最佳操作符。

参数

• slice_size (int, optional) — 关注计算时的分块数量。当 attention_head_dim // slice_size 作为分块数量使用时，同时，attention_head_dim 必须是 slice_size 的倍数。

参数

• slice_size (int, 可选) — 计算注意力的步数。使用attention_head_dim // slice_size数量的切片，并且attention_head_dim必须是slice_size的倍数。

参数

• attention_op (Callable, 可选，默认值为 None) — 用于作为关注运算符的基本 运算符。建议将其设置为 None，并允许 xFormers 选择最佳运算符。