优化
我们简要介绍了延迟评估和急切评估之间的区别。在本页，我们将展示如何使用延迟 API 来获得巨大的性能优势。
延迟 vs 急切
Polars 支持两种操作模式：延迟和急切。在急切 API 中，查询会立即执行，而在延迟 API 中，查询只有在“需要”时才会评估。将执行延迟到最后一刻可以带来显著的性能优势，这也是在大多数非交互式情况下首选延迟 API 的原因。
示例
我们将使用上一页中的示例来展示使用延迟 API 的性能优势。以下代码将计算来自 archive.org 的上传次数。
急切
import polars as pl
import datetime
df = pl.read_csv("hf://datasets/commoncrawl/statistics/tlds.csv", try_parse_dates=True)
df = df.select("suffix", "crawl", "date", "tld", "pages", "domains")
df = df.filter(
(pl.col("date") >= datetime.date(2020, 1, 1)) |
pl.col("crawl").str.contains("CC")
)
df = df.with_columns(
(pl.col("pages") / pl.col("domains")).alias("pages_per_domain")
)
df = df.group_by("tld", "date").agg(
pl.col("pages").sum(),
pl.col("domains").sum(),
)
df = df.group_by("tld").agg(
pl.col("date").unique().count().alias("number_of_scrapes"),
pl.col("domains").mean().alias("avg_number_of_domains"),
pl.col("pages").sort_by("date").pct_change().mean().alias("avg_page_growth_rate"),
).sort("avg_number_of_domains", descending=True).head(10)延迟
import polars as pl
import datetime
lf = (
pl.scan_csv("hf://datasets/commoncrawl/statistics/tlds.csv", try_parse_dates=True)
.filter(
(pl.col("date") >= datetime.date(2020, 1, 1)) |
pl.col("crawl").str.contains("CC")
).with_columns(
(pl.col("pages") / pl.col("domains")).alias("pages_per_domain")
).group_by("tld", "date").agg(
pl.col("pages").sum(),
pl.col("domains").sum(),
).group_by("tld").agg(
pl.col("date").unique().count().alias("number_of_scrapes"),
pl.col("domains").mean().alias("avg_number_of_domains"),
pl.col("pages").sort_by("date").pct_change().mean().alias("avg_page_growth_rate"),
).sort("avg_number_of_domains", descending=True).head(10)
)
df = lf.collect()时间
运行这两个查询，在一台普通笔记本电脑上，使用家用网络连接，得到以下运行时间：
- 急切：
1.96秒 - 延迟：
410毫秒
延迟查询比急切查询快约 5 倍。这是由于查询优化器：如果我们将 collect-ing 数据集延迟到最后，Polars 将能够判断哪些列和行是必需的，并在读取数据时尽早应用过滤器。对于包含元数据（例如，特定行组中的最小值、最大值）的文件格式（如 Parquet），差异甚至可能更大，因为 Polars 可以根据过滤器和元数据跳过整个行组，而无需通过网络发送数据。