在分區表中遲到的數據

Question

我試圖在Google BigQuery中使用分區功能。 進入表格的日誌似乎反映在表格末尾。如果日誌在13點鐘發生，表格上會有大約15分鐘的差異。是否有任何方法可以將實時應用於分區表格？

Answer 1

您可能正在使用流式插入將數據添加到表中。根據BigQuery documentation分區表，數據仍在流緩衝區中與_PARTITIONTIME IS NULL分區相關聯，因此如果您在查詢的WHERE子句中使用_PARTITIONTIME - 則可能會丟失該數據。您可以將明確的_PARTITIONTIME IS NULL添加到WHERE子句中，以查看尚未分區的流式數據。它通常在15分鐘內製成分區。