python腳本優化的應用程序引擎

Question

我有以下腳本我使用從我的UNI網站報廢數據並插入到一個GAE Db的

from mechanize import Browser 
from BeautifulSoup import BeautifulSoup 
import re 
import datetime 

__author__ = "Nash Rafeeq" 

url = "http://webspace.apiit.edu.my/schedule/timetable.jsp" 
viewurl = "http://localhost:8000/timekeeper/intake/checkintake/" 
inserturl = "http://localhost:8000/timekeeper/intake/addintake/" 
print url 
mech = Browser() 
try: 
    page = mech.open(url) 
    html = page.read() 
except Exception, err: 
    print str(err) 
#print html 
soup = BeautifulSoup(html) 
soup.prettify() 
tables = soup.find('select') 
for options in tables: 
    intake = options.string 
    #print intake 
    try: 
     #print viewurl+intake 
     page = mech.open(viewurl+intake) 
     html = page.read() 
     print html 
     if html=="Exist in database": 
      print intake, " Exist in the database skiping" 
     else: 
      page = mech.open(inserturl+intake) 
      html = page.read() 
      print html 
      if html=="Ok": 
       print intake, "added to the database" 
      else: 
       print "Error adding ", intake, " to database" 
    except Exception, err: 
     print str(err) 

我想知道什麼是優化這個腳本的最佳方式所以我可以在應用引擎服務器上運行它。因爲它是，它現在刮超過300項，並採取超過10分鐘插入我的本地機器上的所有數據

正被用來存儲數據的模型是

class Intake(db.Model): 
    intake=db.StringProperty(multiline=False, required=True) 
    #@permerlink  
    def get_absolute_url(self): 
     return "/timekeeper/%s/" % self.intake 
    class Meta: 
     db_table = "Intake" 
     verbose_name_plural = "Intakes" 
     ordering = ['intake'] 

Answer 1

Divide and conquer。

1. 做任務的列表（例如URL湊/分析）
2. 添加您的任務到一個隊列（appengine taskqueue api，amazon sqs，...）
3. 處理您的隊列

Answer 2

的第一件事你應該做的是重寫腳本直接使用App Engine數據存儲。您花費的大部分時間毫無疑問是因爲您正在使用HTTP請求（每個條目兩個！）將數據插入數據存儲區。直接使用數據存儲區batch puts應該在運行時間內減少幾個數量級。

如果您的解析代碼仍然太慢，可以將工作分解爲塊，然後使用task queue API在多個請求中執行該工作。根據

Answer 3

喜託什和尼克我已經修改了腳本波紋管

from google.appengine.api import urlfetch 
from BeautifulSoup import BeautifulSoup 
from timkeeper.models import Intake 
from google.appengine.ext import db 

__author__ = "Nash Rafeeq" 

url = "http://webspace.apiit.edu.my/schedule/timetable.jsp" 
try: 
    page = urlfetch.fetch(url) 
    #print html 
    soup = BeautifulSoup(page.content) 
    soup.prettify() 
    tables = soup.find('select') 
    models=[] 
    for options in tables: 
     intake_code = options.string 
     if Intake.all().filter('intake',intake_code).count()<1: 
      data = Intake(intake=intake_code) 
      models.append(data) 
    try: 
     if len(models)>0: 
      db.put(models) 
     else: 
      pass 
    except Exception,err: 
     pass 
except Exception, err: 
    print str(err) 

我在正確的軌道上？我也不確定如何按計劃調用（每週一次），最好的方法是做什麼？

並感謝您的及時答案