悠悠楠杉
网站页面
Python生成器函数：从创建到实战的简明指南
08/23
什么是生成器函数？
生成器函数是Python中一种特殊的函数，它不像常规函数那样一次性返回所有结果，而是按需"生成"值。这种特性使得生成器成为处理大数据集或无限序列的理想选择，能显著降低内存消耗。
python
def simple_generator():
yield 1
yield 2
yield 3
与传统返回列表的函数不同，这个生成器每次调用只会产生一个值，直到所有yield语句执行完毕。这种"惰性求值"特性是生成器的核心优势。
yield关键字的魔法
yield关键字是生成器的核心标志，它的工作方式很特别：
1. 函数执行到yield时暂停，返回yield后的值
2. 下次调用时从暂停处继续执行
3. 保留所有局部变量状态
python
def countdown(n):
print("Starting countdown!")
while n > 0:
yield n
n -= 1
print("Blast off!")
使用示例
for num in countdown(5):
print(num)
运行这段代码你会发现"Starting countdown!"只打印一次，但每次循环都能获取新的值，这正是生成器保持状态的证明。
为什么需要生成器？
- 内存效率：处理百万级数据时，列表会消耗大量内存，而生成器只需存储当前值
- 表示无限序列：可以创建永不停止的数据流
- 管道处理：多个生成器可以串联形成处理流水线
python
无限序列示例
def fibonacci():
a, b = 0, 1
while True:
yield a
a, b = b, a + b
获取前10个斐波那契数
fib = fibonacci()
for _ in range(10):
print(next(fib))
生成器表达式
除了函数形式，Python还提供类似列表推导的生成器表达式：
python
列表推导（立即求值）
squares_list = [x**2 for x in range(1000)] # 占用内存
生成器表达式（惰性求值）
squares_gen = (x**2 for x in range(1000)) # 几乎不占内存
高级应用技巧
- send()方法：允许向生成器发送数据python
def accumulator():
total = 0
while True:
value = yield total
total += value
acc = accumulator()
next(acc) # 启动生成器
print(acc.send(10)) # 输出10
print(acc.send(5)) # 输出15
- yield from语法：简化嵌套生成器python
def chain_generators(*iterables):
for it in iterables:
yield from it
相当于:
for it in iterables:
for item in it:
yield item
实际应用场景
场景1：大文件处理python
def readlargefile(filepath):
with open(filepath) as f:
for line in f:
yield line.strip()
处理GB级日志文件而不爆内存
for line in readlargefile("server.log"):
if "ERROR" in line:
process_error(line)
场景2：数据流处理管道python
def filter_errors(logs):
for log in logs:
if "ERROR" in log:
yield log
def extract_timestamps(logs):
for log in logs:
yield log.split("[")[1].split("]")[0]
构建处理管道
logs = readlargefile("app.log")
errors = filtererrors(logs)
times = extracttimestamps(errors)
for time in times:
analyzeerrortime(time)
注意事项
- 生成器只能遍历一次，如需重用需重新创建
- 在生成器中使用return会触发StopIteration
- 协程(async/await)是生成器概念的延伸发展
掌握生成器将显著提升你处理数据密集型任务的效率，它是Python函数式编程工具箱中的重要利器。通过合理运用yield，你可以写出更优雅、更高效的Python代码。
