今天用家里的Intel Core 2 Duo 电脑来处理一些从公司带回来的数据，第一部分是从6GB的数据里头分析出两种不同应用的数据，再分别写入不同的文件，这个部分由java程序负责。最后得到数据文件两份，1.1GB和18GB。接下来要把每一份文件，根据里头的24种数据组别分割成24份文件，这里用上了Python脚本语言。很简单的，从源文件读取每一行数据，再根据数据的组别字符串分别写入相关的文件。处理那份18GB的源文件比较费时，我让电脑运行着，随便看看Task Manager，竟然发现有两个python的程序在运行，其中一个占用比较多处理器资源，另一个不停的写入I/O。是不是python善用了双核心的处理器，大家分工合作，一个处理算法一个处理写入文件的动作？或者，这只是python的一贯作风，分成不同的子程序来处理不同的动作，不过是刚好碰到了双核心的处理器而更好的发挥？
0 comments:
張貼留言