生成/流式器
生成/流式器.TextStreamer
一个简单的文本流式器,它在整个单词形成后立即将标记(s) 打印到标准输出。
种类: generation/streamers
的静态类
new TextStreamer(tokenizer)
参数 | 类型 |
---|---|
tokenizer | * |
textStreamer.put(value)
接收标记,解码它们,并在它们形成整个单词后立即将其打印到标准输出。
种类: TextStreamer
的实例方法
参数 | 类型 |
---|---|
value | Array.<Array<bigint>> |
textStreamer.end()
刷新任何剩余的缓存并向标准输出打印一个换行符。
种类: TextStreamer
的实例方法
textStreamer.on_finalized_text(text, stream_end)
将新文本打印到标准输出。如果流即将结束,也会打印一个换行符。
种类: TextStreamer
的实例方法
参数 | 类型 |
---|---|
text | 字符串 |
stream_end | 布尔值
|
generation/streamers.WhisperTextStreamer
用于处理 Whisper 语音转文本模型生成的 token 流的实用程序类。当以下每个事件发生时,都会调用回调函数:
- 新的片段开始 (on_chunk_start)
- 生成新的 token (callback_function)
- 片段结束 (on_chunk_end)
- 流完成 (on_finalize)
种类: generation/streamers
的静态类
new WhisperTextStreamer(tokenizer, options)
参数 | 类型 | 默认值 | 描述 |
---|---|---|---|
tokenizer | * | ||
options | 对象 | ||
[options.skip_prompt] | 布尔值
| false | 是否跳过提示 token |
[options.callback_function] | 函数 |
| 当一段文本准备好显示时要调用的函数 |
[options.token_callback_function] | 函数 |
| 生成新 token 时要调用的函数 |
[options.on_chunk_start] | 函数 |
| 新片段开始时要调用的函数 |
[options.on_chunk_end] | 函数 |
| 片段结束时要调用的函数 |
[options.on_finalize] | 函数 |
| 流完成时要调用的函数 |
[options.time_precision] | 数字 | 0.02 | 时间戳的精度 |
[options.skip_special_tokens] | 布尔值
| true | 解码时是否跳过特殊 token |
[options.decode_kwargs] | 对象 | {} | 传递给分词器解码方法的其他关键字参数 |
whisperTextStreamer.put(value)
类型: WhisperTextStreamer
的实例方法
参数 | 类型 |
---|---|
value | Array.<Array<bigint>> |
< > 在 GitHub 上更新