generation/streamers

• generation/streamers
  • .TextStreamer
    • new TextStreamer(tokenizer, options)
    • .put(value)
    • .end()
    • .on_finalized_text(text, stream_end)
  • .WhisperTextStreamer
    • new WhisperTextStreamer(tokenizer, options)
    • .put(value)

---

generation/streamers.TextStreamer

简单的文本 streamer，在形成完整单词后立即将 token 打印到 stdout。

类型: generation/streamers 的静态类

• .TextStreamer
  • new TextStreamer(tokenizer, options)
  • .put(value)
  • .end()
  • .on_finalized_text(text, stream_end)

---

new TextStreamer(tokenizer, options)

参数	类型	默认值	描述
tokenizer	*
options	对象
[options.skip_prompt]	布尔值	false	是否跳过 prompt tokens
[options.skip_special_tokens]	布尔值	true	解码时是否跳过特殊 tokens
[options.callback_function]	函数		当一段文本准备好显示时调用的函数
[options.token_callback_function]	函数		生成新 token 时调用的函数
[options.decode_kwargs]	对象	{}	传递给 tokenizer 的 decode 方法的附加关键字参数

---

textStreamer.put(value)

接收 tokens，解码它们，并在它们形成完整单词后立即将它们打印到 stdout。

类型: TextStreamer 的实例方法

参数	类型
value	Array.<Array<bigint>>

---

textStreamer.end()

刷新任何剩余缓存，并将换行符打印到 stdout。

类型: TextStreamer 的实例方法

---

textStreamer.on_finalized_text(text, stream_end)

将新文本打印到 stdout。如果流正在结束，还会打印换行符。

类型: TextStreamer 的实例方法

参数	类型
text	字符串
stream_end	布尔值

---

generation/streamers.WhisperTextStreamer

实用工具类，用于处理 whisper 语音转文本模型生成的 tokens 流。当以下每个事件发生时，将调用回调函数

• 新的 chunk 开始 (on_chunk_start)
• 生成新的 token (callback_function)
• chunk 结束 (on_chunk_end)
• 流已完成 (on_finalize)

类型: generation/streamers 的静态类

• .WhisperTextStreamer
  • new WhisperTextStreamer(tokenizer, options)
  • .put(value)

---

new WhisperTextStreamer(tokenizer, options)

参数	类型	默认值	描述
tokenizer	*
options	对象
[options.skip_prompt]	布尔值	false	是否跳过 prompt tokens
[options.callback_function]	函数		当一段文本准备好显示时调用的函数
[options.token_callback_function]	函数		生成新 token 时调用的函数
[options.on_chunk_start]	函数		当新的 chunk 开始时调用的函数
[options.on_chunk_end]	函数		当 chunk 结束时调用的函数
[options.on_finalize]	函数		当流完成时调用的函数
[options.time_precision]	数字	0.02	时间戳的精度
[options.skip_special_tokens]	布尔值	true	解码时是否跳过特殊 tokens
[options.decode_kwargs]	对象	{}	传递给 tokenizer 的 decode 方法的附加关键字参数

---

whisperTextStreamer.put(value)

类型: WhisperTextStreamer 的实例方法

参数	类型
value	Array.<Array<bigint>>

---

< > 在 GitHub 上更新