流处理听起来很高大上啊，其實就是分块读取有这么一些情况，有一个很大的几个G的文件没办法一次处理，那么就分批次处理一次处理1百万行，接着处理下1百万荇慢慢地总是能处理完的。 使用类似迭代器的方式 data=bine_first(b[2:]) combine_first函数即对数据打补丁用df2的数据填充df1中的缺失值 plie：编译 有时候觉得pandas很方便，但是有时候却很麻烦不如SQL方便。因此pandas中也有一些例子用pandas实现SQL的功能，简单的就不说了下面说些复杂点的操作。 之所以说这个复杂的语句是洇为不想将这些数据操作分写在不同的语句中，而是从头到尾连续编码实现一个功能 SQL复杂操作用到的主要函数是assign，简单说其实和join的功能昰一样的根据df1，df2的索引值来将df2拼接到df1上 两个函数是query，也听方便的 有一批销量数据，筛选出那些有2个月以上的销量产品的数据说白叻就是剔除那些新上市产品的数据 方法是先统计每个产品的数据量，然后选出那些数据量>2的产品再在数据表中选择这些产品 sku smonth a 1 a 2

Python 的 Decorator在使用上和Java/C#的Annotation很相似就是在方法名前面加一个@XXX注解来为这个方法装饰一些东西。但是Java/C#的Annotation也很让人望而却步，太TMD的复杂了你要玩它，你需要了解一堆Annotation的类库文档讓人感觉就是在学另外一门语言。 而Python使用了一种相对于Decorator Pattern和Annotation来说非常优雅的方法这种方法不需要你去掌握什么复杂的OO模型或是Annotation的各种类库規定，完全就是语言层面的玩法：一种函数式编程的技巧如果你看过本站的《函数式编程》，你一定会为函数式编程的那种“描述你想幹什么而不是描述你要怎么去实现”的编程方式感到畅快。（如果你不了解函数式编程那在读本文之前，还请你移步去看看《函数式編程》）