一: module pools-加速开发技术

简化日期计算模块

dateutil pip install python-dateutil==1.5

图像处理模块

PIL JPEG;PNG;GIF;BMP sudo pip install python-imaging

数据的加密处理模块

pycrypto pip install pycrypto

调用twitter的API

tweepy pip install tweepy

sina weibo API client

sinaweibopy

Envelopes发送邮件和附件

Envelopes官网 参考

smtplib发送邮件

smtplib参考

threadpool线程池

安装包pypi 参考1 参考2

汉子转拼音库

汉子转拼音

python 打包软件

https://github.com/pyinstaller/pyinstaller

python timezone

pytz

from datetime import datetime
import pytz
tz = pytz.timezone('Asia/Shanghai')
t = datetime.now(tz)
cst_time = tz.fromutc(datetime.utcfromtimestamp(time.time())).strftime('%Y-%m-%d-%H-%M')

commands

commands.getstatusooutput('ls')

ConfigParser

config.ini

[mydb]
host = 
port  = 
user = 
password = 

二: 爬虫相关

mechanize

与web服务器交互复杂,如get，post等，使用 mechanize（模拟登陆);BeautifulSoup提取数据

1. IBM mechanize介绍
2. 豆瓣 mechanize介绍
3. Beautiful Soup

urllib_proxy

1. proxy tools
2. httplib
3. 低成本的获取IP池，这是一个难点
4. foreigin proxy pools
5. proxy pools
6. global pools
7. proxy spider
8. code见evernote
9. 高匿proxy

cookie handle

    br = mechanize.Browser()
    cj = cookielib.LWPCookieJar()
    br.set_cookiejar(cj)

爬虫框架

1. 海量数据爬虫框架搭建
2. tecent SuperSpider

技术文章

线程池 IBM线程池

工具

1. 查询ip，dns，手机号码