天地孤影任我行

找到目录 tornado 的文章 5 篇.

tornado长连接断开的处理机制

Posted on 2013-03-08 20:18:01 tornado

摘要：

使用tornado的异步http调用时候，在继续RequestHandler的子类中，可以重载on_connection_close方法。此方法在对端连接关闭，或者在socket上读写错误的时候被调用，可以让服务器做一些清理。

阅读全文

tornado中计算etag的一个BUG

Posted on 2013-03-06 15:16:21 tornado

在tornado中是根据send buffer中的内容计算etag的，而这样对于一些只判断逻辑的页面会有问题。

计算etag的代码如下：

def compute_etag(self):
    """Computes the etag header to be used for this request.

    May be overridden to provide custom etag implementations,
    or may return None to disable tornado's default etag support.
    """
    hasher = hashlib.sha1()
    for part in self._write_buffer:
        hasher.update(part)
    return '"%s"' % hasher.hexdigest()

可以很清楚的看到，是根据self._writer_buffer中的内容计算etag，然后返回。

但是如果遇到下面的代码会出现问题：

def post(self):
    username = self.get_argument("username")
    if not redis.UserManager.is_user_exists(username):
        self.set_secure_cookie("user", username)
        self.redirect("/room", status=301)
        return
    else:
        self.render("login.html", user_exists=True)

这段代码中，返回的内容永远不会有变化。所以客户端判断返回为304，导致出现问题。解决方法是禁用etag。解决方法很简单，只要重载compute_etag方法，并返回None即可。并且建议，对于所有动态页面，不用计算etag的方法，这样可以让客户端永远获取最新的内容。如果真的要客户端缓存页面，可以用Cache-Control，设置有效期，这样比较合理。

系统时间不对导致cookie设置不成功

Posted on 2013-01-23 18:10:25 tornado

在测试一台服务器过程中，服务器上运行tornado。

但是客户的浏览器总是不能正确设置cookie，观察的效果为cookie无效。

已经排除代码和环境问题。

在复制文件的时候，文件系统报告文件时间戳不对。

于是检查系统时间，发现时间相差很大。

正确设置系统时间后，服务器工作正常。

总结： cookie设置后，浏览器接收到发现cookie的时间和本地时间相差太大，随舍弃此cookie。

Tornado的Connection reset by peer - 记一次tornado的BUG修复

Posted on 2013-01-07 17:29:45 tornado

现场抓到的错误：

[W 130107 15:59:42 iostream:425] Read error on 8: [Errno 104] Connection reset by peer
[W 130107 15:59:42 iostream:359] error on read
    Traceback (most recent call last):
      File "/usr/lib/python2.7/dist-packages/tornado/iostream.py", line 354, in _handle_read
        if self._read_to_buffer() == 0:
      File "/usr/lib/python2.7/dist-packages/tornado/iostream.py", line 421, in _read_to_buffer
        chunk = self._read_from_socket()
      File "/usr/lib/python2.7/dist-packages/tornado/iostream.py", line 402, in _read_from_socket
        chunk = self.socket.recv(self.read_chunk_size)
    error: [Errno 104] Connection reset by peer

这要从TCP的结束方式谈起：

大家都知道TCP的正常结束方式是四路握手，过程是这样：

(B) –> ACK/FIN –> (A)
(B) <– ACK <– (A)
(B) <– ACK/FIN <– (A)
(B) –> ACK –> (A)

但是四路握手不是关闭TCP连接的唯一方法，有时,如果主机需要尽快关闭连接(或连接超时,端口或主机不可达),RST (Reset)包将被发送.

注意，由于RST包不是TCP连接中的必须部分, 可以只发送RST包(即不带ACK标记). 但在正常的TCP连接中RST包可以带ACK确认标记。

所以IE浏览器在关闭一个连接时，它先会发送一个RST包给tornado，但是tornado没有正确处理。导致了recv函数返回errno.ECONNREST错误。

但是chrome、firefox是正常的关闭连接，执行TCP四路握手，所以tornado不会报错。

出现问题的代码在iostream.py的421行，代码片段：

try:
    chunk = self._read_from_socket()
except socket.error, e:
     # ssl.SSLError is a subclass of socket.error
     logging.warning("Read error on %d: %s", self.socket.fileno(), e)
     self.close()
     raise

self._read_from_socket()函数，它直接从socket接收数据。但是没有处理ECONNREST，导致错误发生。

但是这个错误只是在ubuntu 12.10上面发生，它使用的tornado版本是2.3。

gitbub上最新的版本已经修复了这个错误，2012年11月3号，有commit为证：

commit 3258726fea5bcd1b401907653bc953ce63d5aeb2 Author: Ben Darnell ben@bendarnell.com Date: Wed Oct 3 22:36:46 2012 -0700

Reduce log spam from closed client connections.

Added a bunch of tests for keepalive functionality and fixed two cases where we’d log an exception when the client was gone. ECONNRESET errors in IOStream reads now just close the connection instead of logging an error (the exception information is still available on stream.error in the close callback for apps that want it). HTTPConnection now also checks for a closed connection and cleans up instead of logging an error.

IOStream now raises a new exception class StreamClosedError instead of IOError.

最新修复的代码是这样：

try:
    chunk = self.read_from_fd()
except (socket.error, IOError, OSError), e:
    # ssl.SSLError is a subclass of socket.error
    if e.args[0] == errno.ECONNRESET:
        # Treat ECONNRESET as a connection close rather than
        # an error to minimize log spam  (the exception will
        # be available on self.error for apps that care).
        self.close(exc_info=True)
        return
    self.close(exc_info=True)
    raise

并且增加了错误处理，不再直接报IOError，而是自定义错误StreamClosedError错误。

在tornado的异步http请求中托管一个阻塞的任务到线程池

Posted on 2012-12-17 17:43:17 tornado

实际代码中使用的是进程池，不过代码很简单，你可以将它替换为线程池。

from time import sleep
from tornado.httpserver import HTTPServer
from tornado.ioloop import IOLoop
from tornado.web import Application, asynchronous, RequestHandler
from multiprocessing.pool import ThreadPool
 
_workers = ThreadPool(10)
 
def run_background(func, callback, args=(), kwds={}):
    def _callback(result):
        IOLoop.instance().add_callback(lambda: callback(result))
    _workers.apply_async(func, args, kwds, _callback)
 
def blocking_task(n):
    sleep(n)
    return n
 
class Handler(RequestHandler):
    @asynchronous
    def get(self):
        run_background(blocking_task, self.on_complete, (10,))

    def on_complete(self, res):
        self.write("Test {0}<br/>".format(res))
        self.finish()
 
HTTPServer(Application([("/", Handler)],debug=True)).listen(8888)
IOLoop.instance().start()