使用 Docker 在本地运行 GPT-OSS 模型！

使用的技术栈

• 
• 
• 
• 
• 
• 
• 
• 
• 

基于 Docker 的 GPT-OSS 聊天机器人

使用 Docker 在您自己的代码库中本地运行 OpenAI 的开源 GPT-OSS 模型（117B / 21B）。此项目避免使用 Open WebUI 或 LM Studio 等第三方 GUI，以帮助您学习如何在应用程序中直接使用基于 GPT 的模型。

所有内容都通过 Docker 容器化，以实现干净、可重现的设置。这是一个有趣的辅助项目，旨在帮助其他人探索本地运行强大的语言模型。

✨ 欢迎贡献！
如果您想协作或进一步增强项目，请随时fork 该存储库并提交拉取请求。

项目仓库：GitHub Repo

功能

• 简单聊天界面：干净的前端，用于与聊天机器人交互。
• 由 GPT-OSS 提供支持：使用 OpenAI 的开源 GPT 模型（117B 或 21B）。
• Docker 化：使用 Docker Compose 完全容器化。
• FastAPI 后端：处理 API 和逻辑。
• Ollama 集成：使用 Ollama 在本地提供 GPT-OSS 模型。

---

🔗 GPT-OSS 资源

OpenAI 根据 Apache 2.0 发布了 GPT-OSS 模型。以下是学习路径：

1. GPT-OSS 简介：https://openai.com/index/introducing-gpt-oss
2. 模型卡片和规格：https://openai.com/index/gpt-oss-model-card/
3. 开发概述：https://openaicookbook.cn/topic/gpt-oss
4. vLLM 设置指南：https://openaicookbook.cn/articles/gpt-oss/run-vllm
5. Harmony 格式（I/O 模式）：https://github.com/openai/harmony
6. PyTorch 参考代码：https://github.com/openai/gpt-oss?tab=readme-ov-file#reference-pytorch-implementation
7. 社区网站：https://gpt-oss.com/
8. Ollama：https://ollama.ac.cn/library/gpt-oss
9. HuggingFace：https://huggingface.co/openai/gpt-oss-20b

---

技术细节和版本

• 语言模型：GPT-OSS（117B 或 21B）
• Python：3.11-slim
• 后端：FastAPI + Uvicorn
• 前端 Web 服务器：nginx:alpine
• 服务：ollama/ollama 镜像
• HTTP 客户端：HTTPX
• 容器化：Docker 和 Docker Compose

---

目录结构

gpt-oss-chatbot-dockerized/

├── backend/
│ ├── main.py
│ └── requirements.txt
├── frontend/
│ └── index.html
├── docker-compose.yml
└── Dockerfile

---

前提条件

• Docker
• Docker Compose（通常包含在 Docker Desktop 中）

---

如何使用 Docker 运行

1. 克隆仓库

   git clone https://github.com/Imran-ml/gpt-oss-app-open-source
   cd gpt-oss-app-open-source
   

2. 导航到项目目录：确保您位于 gpt-oss-app-open-source 目录中。

3. 使用 Docker Compose 构建并运行应用程序

   • 根据 Dockerfile 构建后端 Docker 镜像。
   • 拉取 ollama/ollama 镜像和 nginx:alpine 镜像。
   • 启动所有已定义的服务（Ollama、后端、前端）。
   • ollama 服务配置为在启动时自动拉取 gpt-oss 模型。首次运行时可能需要一些时间，因为需要下载模型。在 docker-compose 中，在这一行 "sh -c "ollama serve & sleep 5 && ollama pull gpt-oss && tail -f /dev/null""，您可以将 gpt-oss 替换为 gpt-oss:120b，如果您想要 120B 模型的话！

   docker-compose up --build
   

   您将在终端中看到所有容器的日志。

4. 访问聊天机器人：服务启动并运行后

   • 打开您的 Web 浏览器，访问：https://:8080 与聊天机器人交互。
   • 后端 API 可在 https://:8000 访问。
   • Ollama API 位于 https://:11434。

使用

1. 在浏览器中打开 https://:8080。
2. 聊天界面应该会加载。
3. 在输入字段中输入您的消息，然后按 Enter 键或单击发送按钮，与 gpt-oss 模型聊天。

关于作者

姓名: 穆罕默德·伊姆兰·扎曼

公司: DOCUFY GmbH

职位: 首席机器学习工程师

专业链接: - HuggingFace: 个人资料 - Kaggle: 个人资料 - LinkedIn: 个人资料 - Google Scholar: 个人资料 - Medium: 个人资料

• 项目仓库：GitHub Repo