閱讀日誌文件，因爲他們在更新中去

Question

我想解析一些日誌文件，因爲他們正在寫在Go中，但我不知道如何做到這一點，而無需重複讀取文件一次又一次改變。

我希望能夠讀取到EOF，等到下一行被寫入並再次讀取到EOF等等。它感覺有點像tail -f看起來的樣子。

Answer 1

我已經寫了一個Go包 - github.com/ActiveState/tail - 做到這一點。

t, err := tail.TailFile("/var/log/nginx.log", tail.Config{Follow: true}) 
for line := range t.Lines { 
    fmt.Println(line.Text) 
} 

...

報價kostix的回答是：

在現實生活中的文件可能會被截斷，替換或重命名（因爲那是什麼樣的logrotate工具所應該做的）。

如果文件被截斷，它會自動重新打開。爲了支持重開重命名的文件（由於logrotate的，等等），你可以設置Config.ReOpen，即：

t, err := tail.TailFile("/var/log/nginx.log", tail.Config{ 
    Follow: true, 
    ReOpen: true}) 
for line := range t.Lines { 
    fmt.Println(line.Text) 
} 

Config.ReOpen類似於tail -F（大寫F）：

-F  The -F option implies the -f option, but tail will also check to see if the file being followed has been 
     renamed or rotated. The file is closed and reopened when tail detects that the filename being read from 
     has a new inode number. The -F option is ignored if reading from standard input rather than a file. 

Answer 2

您必須觀察文件以進行更改（使用操作系統特定的子系統來完成此操作）或定期輪詢see whether its modification time (and size) changed。在任何一種情況下，在讀取另一塊數據後，您都會記住文件偏移量，並在檢測到更改後再讀取另一塊數據塊。

但請注意，這似乎只是在紙上很容易：在現實生活中，文件可能會被截斷，替換或重命名（因爲這是logrotate應該做的工具）。

有關此問題的更多討論，請參閱this question。

Answer 3

我對這樣做也很感興趣，但還沒有時間來解決它。發生在我身上的一種方法是讓「尾巴」完成繁重的工作。它可能會使你的工具平臺特定，但這可能是好的。基本思路是使用「os/exec」包中的Cmd來跟蹤文件。您可以派生一個相當於「tail --retry --follow = name prog.log」的進程，然後使用Cmd對象上的Stdout reader來監聽它的Stdout。

對不起，我知道這只是一個草圖，但也許是有幫助的。

Answer 4

有許多方法來做到這一點。在現代基於POSIX的操作系統中，可以使用inotify接口來執行此操作。

人們可以用這個包：https://github.com/fsnotify/fsnotify

示例代碼：

watcher, err := fsnotify.NewWatcher() 
if err != nil { 
    log.Fatal(err) 
} 

done := make(chan bool) 

err = watcher.Add(fileName) 
if err != nil { 
    log.Fatal(err) 
} 
for { 
    select { 
    case event := <-watcher.Events: 
     if event.Op&fsnotify.Write == fsnotify.Write { 
      log.Println("modified file:", event.Name) 

     } 
} 

希望這有助於！

Answer 5

一個簡單的例子：

package main 

import (
    "bufio" 
    "fmt" 
    "io" 
    "os" 
    "time" 
) 

func tail(filename string, out io.Writer) { 
    f, err := os.Open(filename) 
    if err != nil { 
     panic(err) 
    } 
    defer f.Close() 
    r := bufio.NewReader(f) 
    info, err := f.Stat() 
    if err != nil { 
     panic(err) 
    } 
    oldSize := info.Size() 
    for { 
     for line, prefix, err := r.ReadLine(); err != io.EOF; line, prefix, err = r.ReadLine() { 
      if prefix { 
       fmt.Fprint(out, string(line)) 
      } else { 
       fmt.Fprintln(out, string(line)) 
      } 
     } 
     pos, err := f.Seek(0, io.SeekCurrent) 
     if err != nil { 
      panic(err) 
     } 
     for { 
      time.Sleep(time.Second) 
      newinfo, err := f.Stat() 
      if err != nil { 
       panic(err) 
      } 
      newSize := newinfo.Size() 
      if newSize != oldSize { 
       if newSize < oldSize { 
        f.Seek(0, 0) 
       } else { 
        f.Seek(pos, io.SeekStart) 
       } 
       r = bufio.NewReader(f) 
       oldSize = newSize 
       break 
      } 
     } 
    } 
} 

func main() { 
    tail("x.txt", os.Stdout) 
}