OpenAI o1 惊艳测试

你可能听说过O1，也阅读过无数赞扬其能力的文章。其中一个最著名的例子是它能准确计算单词“strateberry”中“r”的个数，而许多其他大型语言模型（LLM）在此任务中都会失败。尽管这很令人印象深刻，但这个例子并非典型用例，也未能充分展示O1在竞争对手中脱颖而出的原因。

在这篇文章中，我们将探讨一个更实用的用例，它**结合了**多种技能**，**展示了O1的真正力量——这是只有强大的LLM才能有效处理的任务。

一个实际用例：为您的营销需求寻找最佳自由职业者

想象一下，您正在一个自由职业者平台上寻找一位营销人员。该平台上有无数优秀的自由职业者，但您如何才能找到最适合的人选呢？通常，平台会使用随机排序机制，这可能与您的具体搜索标准不符。而这正是O1这类LLM可以彻底改变您搜索方式的地方，它能处理筛选和分析数据以找到完美匹配所需的大量认知负荷。

传统方法

通常，您需要

1. 手动筛选自由职业者资料。
2. 根据您的标准评估每位自由职业者，例如评论数量、评分和特定技能。
3. 编译和比较数据以做出明智的决定。

这个过程既耗时又耗费精力。相反，让我们利用LLM来高效地自动化此任务。

结合多种技能

此测试用例结合了多种技能，包括

展示LLM能力

为了说明，我使用了一个旨在从示例数据集中筛选出评论超过200条的自由职业者的提示。这是我使用的提示：

You will be analyzing data about freelancers and creating a summary table. Your task is to filter the data for freelancers with more than 200 reviews and present the information in a structured format. Follow these steps:

1. First, carefully read through the provided freelancer data:
2. Filter the data to include only freelancers with more than 200 reviews.
3. Extract the following information for each qualifying freelancer:
   - Name
   - Service
   - Number of reviews
4. Count the total number of freelancers that meet the criteria.
5. Create a table with the following columns:
   - Name
   - Service
   - Number of Reviews
6. Populate the table with the information extracted in step 3.
7. Provide your answer in the following format:

<answer>
Total number of freelancers (with >200 reviews): [Insert total count here]

[Insert the table here, using markdown format for better readability]

| Name | Service | Number of Reviews |
|------|---------|-------------------|
| [Freelancer 1 Name] | [Service 1] | [Number of Reviews 1] |
| [Freelancer 2 Name] | [Service 2] | [Number of Reviews 2] |
...
</answer>

Make sure to include all qualifying freelancers (>200 reviews) from the provided data in your table, sorted alphabetically by name.

If the provided data is empty, does not contain any freelancer information, or no freelancers meet the criteria of having more than 200 reviews, respond with:

<answer>
No qualifying freelancer data available.
</answer>

Remember to only include freelancers with more than 200 reviews in your analysis and table.

<< COPY/PASTE THE WEBPAGE CONTENT HERE >>

该提示指示LLM根据评论数量筛选自由职业者，并以结构化表格形式呈现结果。为了确保公平性，我在各种LLM上测试了该提示，包括GPT-4、Claude、Gemini，以及最值得关注的OpenAI的O1。

在我的博客文章中阅读更多内容