20
我正在嘗試在Python中編寫Web代理。我們的目標是訪問如下網址：http://proxyurl/http://anothersite.com/，並且像通常一樣查看他的內容http://anothersite.com。我通過濫用請求庫得到了相當不錯的結果，但這不是請求框架的預期用途。我以前寫過twisted的代理，但我不確定如何將其連接到我正在嘗試執行的操作。這裏就是我在那麼遠，如何在Python中編寫Web代理
import os
import urlparse
import requests
import tornado.ioloop
import tornado.web
from tornado import template
ROOT = os.path.dirname(os.path.abspath(__file__))
path = lambda *a: os.path.join(ROOT, *a)
loader = template.Loader(path(ROOT, 'templates'))
class ProxyHandler(tornado.web.RequestHandler):
def get(self, slug):
if slug.startswith("http://") or slug.startswith("https://"):
if self.get_argument("start", None) == "true":
parsed = urlparse.urlparse(slug)
self.set_cookie("scheme", value=parsed.scheme)
self.set_cookie("netloc", value=parsed.netloc)
self.set_cookie("urlpath", value=parsed.path)
#external resource
else:
response = requests.get(slug)
headers = response.headers
if 'content-type' in headers:
self.set_header('Content-type', headers['content-type'])
if 'length' in headers:
self.set_header('length', headers['length'])
for block in response.iter_content(1024):
self.write(block)
self.finish()
return
else:
#absolute
if slug.startswith('/'):
slug = "{scheme}://{netloc}{original_slug}".format(
scheme=self.get_cookie('scheme'),
netloc=self.get_cookie('netloc'),
original_slug=slug,
)
#relative
else:
slug = "{scheme}://{netloc}{path}{original_slug}".format(
scheme=self.get_cookie('scheme'),
netloc=self.get_cookie('netloc'),
path=self.get_cookie('urlpath'),
original_slug=slug,
)
response = requests.get(slug)
#get the headers
headers = response.headers
#get doctype
doctype = None
if '<!doctype' in response.content.lower()[:9]:
doctype = response.content[:response.content.find('>')+1]
if 'content-type' in headers:
self.set_header('Content-type', headers['content-type'])
if 'length' in headers:
self.set_header('length', headers['length'])
self.write(response.content)
application = tornado.web.Application([
(r"/(.+)", ProxyHandler),
])
if __name__ == "__main__":
application.listen(8888)
tornado.ioloop.IOLoop.instance().start()
剛一說明，我設置cookie保存方案，netloc和urlpath如果有啓動= true在查詢字符串。這樣，任何相對或絕對鏈接，然後命中代理使用該cookie來解析完整的網址。
通過此代碼，如果您轉到http://localhost:8888/http://espn.com/?start=true，您將看到ESPN的內容。但是，在下面的網站上根本不起作用：http://www.bottegaveneta.com/us/shop/。我的問題是，最好的方法是什麼？目前我正在實施這個強大的方法還是有這樣做的一些可怕的陷阱？如果這是正確的，爲什麼像我指出的某些網站根本不工作？
謝謝你的幫助。
Bottega Veneta不允許您直接訪問資源。例如，嘗試點擊http://www.bottegaveneta.com/us/shop/css/bottegaveneta/form.css - 我得到一個HTML 404頁面。 – 2013-05-14 02:29:40
我猜這是與HTTP Referrer有關。你也可以嘗試設置。 – 2013-05-14 02:30:49
@Cole哦，你是指引用者？ （https://en.wikipedia.org/wiki/HTTP_referer#Origin_of_the_term_referer） – rakslice 2013-10-04 01:32:42