生成/流式传输器

• 生成/流式传输器
  • .TextStreamer
    • new TextStreamer(tokenizer, options)
    • .put(value)
    • .end()
    • .on_finalized_text(text, stream_end)
  • .WhisperTextStreamer
    • new WhisperTextStreamer(tokenizer, options)
    • .put(value)

---

生成/流式传输器.TextStreamer

简单的文本流式传输器，一旦形成完整单词，就会立即将标记打印到标准输出。

类型：generation/streamers 的静态类

• .TextStreamer
  • new TextStreamer(tokenizer, options)
  • .put(value)
  • .end()
  • .on_finalized_text(text, stream_end)

---

new TextStreamer(tokenizer, options)

参数量	类型	默认	描述
分词器	*
选项	对象
[options.skip_prompt]	布尔值	false	是否跳过提示符标记
[options.skip_special_tokens]	布尔值	true	解码时是否跳过特殊标记
[options.callback_function]	函数		当文本准备好显示时调用的函数
[options.token_callback_function]	函数		生成新标记时调用的函数
[options.decode_kwargs]	对象	{}	传递给分词器解码方法的附加关键字参数

---

textStreamer.put(value)

接收标记，解码它们，并在它们形成完整单词后立即将其打印到标准输出。

类型：TextStreamer 的实例方法

参数量	类型
值	数组.<数组<大整数>>

---

textStreamer.end()

刷新任何剩余缓存，并将换行符打印到标准输出。

类型：TextStreamer 的实例方法

---

textStreamer.on_finalized_text(text, stream_end)

将新文本打印到标准输出。如果流结束，也会打印一个换行符。

类型：TextStreamer 的实例方法

参数量	类型
文本	字符串
流结束	布尔值

---

生成/流式传输器.WhisperTextStreamer

实用类，用于处理由 Whisper 语音转文本模型生成的标记流。当以下事件发生时，将调用回调函数：

• 新块开始 (on_chunk_start)
• 生成新标记 (callback_function)
• 块结束 (on_chunk_end)
• 流式传输结束 (on_finalize)

类型：generation/streamers 的静态类

• .WhisperTextStreamer
  • new WhisperTextStreamer(tokenizer, options)
  • .put(value)

---

new WhisperTextStreamer(tokenizer, options)

参数量	类型	默认	描述
分词器	*
选项	对象
[options.skip_prompt]	布尔值	false	是否跳过提示符标记
[options.callback_function]	函数		当文本准备好显示时调用的函数
[options.token_callback_function]	函数		生成新标记时调用的函数
[options.on_chunk_start]	函数		新块开始时调用的函数
[options.on_chunk_end]	函数		块结束时调用的函数
[options.on_finalize]	函数		流式传输结束时调用的函数
[options.time_precision]	数字	0.02	时间戳精度
[options.skip_special_tokens]	布尔值	true	解码时是否跳过特殊标记
[options.decode_kwargs]	对象	{}	传递给分词器解码方法的附加关键字参数

---

whisperTextStreamer.put(value)

类型：WhisperTextStreamer 的实例方法

参数量	类型
值	数组.<数组<大整数>>

---

< > 在 GitHub 上更新