2017-02-04 52 views
1

插件正常工作與低容積主題發送大批量的主題,以谷歌的雲發佈訂閱麻煩,但對於高容量的有麻煩給錯誤:有使用fluentd插件

unexpected error error="The value for message_count is too large. You passed 1001 in the request, but the maximum value is 1000. 

我改變了配置設置以下PARAMS: buffer_chunk_limit 2K flush_interval 1

即使緩衝塊限制爲2k,我仍然看到有更大的尺寸,彷彿塊限制沒有任何影響的緩衝文件。

我現在得到以下錯誤大批量主題:

2017-02-04 21:38:08 +0000 [warn]: temporarily failed to flush the buffer. next_retry=2017-02-04 21:38:03 +0000 error_class="Gcloud::Pubsub::ApiError" error="The value for message_count is too large. You passed 6915 in the request, but the maximum value is 1000." plugin_id="object:3fbb05554ad8" 
    2017-02-04 21:38:08 +0000 [warn]: suppressed same stacktrace 
    2017-02-04 21:38:09 +0000 [warn]: Size of the emitted data exceeds buffer_chunk_limit. 
    2017-02-04 21:38:09 +0000 [warn]: This may occur problems in the output plugins ``at this server.`` 
    2017-02-04 21:38:09 +0000 [warn]: To avoid problems, set a smaller number to the buffer_chunk_limit 
    2017-02-04 21:38:09 +0000 [warn]: in the forward output ``at the log forwarding server.`` 

在輸出轉發文件我沒有看到大塊限制PARAM任何引用。而且我不確定我可以如何強制將更小的塊設置爲pubsub。

我尋找了一種增加pubsub限制的方法,但在pubsub文檔中找不到任何關於將日誌發佈到pubsub時顯示的fluentd錯誤顯示的1000限制的任何內容。

任何幫助表示讚賞。

回答