MarkResources Pools

一: module pools-加速开发技术

简化日期计算模块

dateutil pip install python-dateutil==1.5

图像处理模块

PIL JPEG;PNG;GIF;BMP sudo pip install python-imaging

数据的加密处理模块

pycrypto pip install pycrypto

调用twitter的API

tweepy pip install tweepy

sina weibo API client

sinaweibopy

Envelopes发送邮件和附件

Envelopes官网 参考

smtplib发送邮件

smtplib参考

threadpool线程池

安装包pypi 参考1 参考2

汉子转拼音库

汉子转拼音

python 打包软件

https://github.com/pyinstaller/pyinstaller

python timezone

pytz


from datetime import datetime
import pytz
tz = pytz.timezone('Asia/Shanghai')
t = datetime.now(tz)
cst_time = tz.fromutc(datetime.utcfromtimestamp(time.time())).strftime('%Y-%m-%d-%H-%M')

commands


commands.getstatusooutput('ls')

ConfigParser

config.ini


[mydb]
host = 
port  = 
user = 
password = 

二: 爬虫相关

mechanize

与web服务器交互复杂,如get,post等,使用 mechanize(模拟登陆);BeautifulSoup提取数据

  1. IBM mechanize介绍
  2. 豆瓣 mechanize介绍
  3. Beautiful Soup

urllib_proxy

  1. proxy tools
  2. httplib
  3. 低成本的获取IP池,这是一个难点
  4. foreigin proxy pools
  5. proxy pools
  6. global pools
  7. proxy spider
  8. code见evernote
  9. 高匿proxy
    br = mechanize.Browser()
    cj = cookielib.LWPCookieJar()
    br.set_cookiejar(cj)

爬虫框架

  1. 海量数据爬虫框架搭建
  2. tecent SuperSpider

技术文章

线程池 IBM线程池

工具

  1. 查询ip,dns,手机号码


版权申明

知识共享许可协议
本作品采用知识共享署名-非商业性使用 4.0 国际许可协议进行许可。 转载文章请注明原文出处。

天道酬勤
评分4.8/5 based on 20