1

我試圖從Dataflow流水線訪問在GKE中運行的Kafka和第三方服務(例如InfluxDB)。Google Cloud Dataflow流水線的自定義DNS解析器

我有一個服務發現的DNS服務器,也運行在GKE中。我的網絡中還有一條路由可以從Dataflow實例訪問GKE IP範圍,並且工作正常。我可以使用我的自定義服務器從Dataflow實例手動地nslookup,而不會出現問題。

但是,在運行我的Dataflow管道時,找不到正確的方式來設置其他DNS服務器。我怎麼能實現這一點,以便KafkaIO和類似的源/作家可以解析我的自定義DNS的主機名?

sun.net.spi.nameservice.nameservers是棘手的使用,因爲它必須被調用很早,名稱服務是靜態實例化之前。我會打電話java -D,但Dataflow將直接運行代碼本身。

另外,我不希望只是更換系統解算器,而只是添加一個新的GCP項目特定的解析器,該實例來預配置。

最後,我還沒有找到任何方式使用像Dataflow實例一樣的常規GCE實例的啓動腳本。

+0

https://github.com/kubernetes/kubernetes/issues/33483具有關於此主題的一些討論。 – peay

+0

我想不出今天在虛擬機中指定一個自定義DNS的方法,而不是編輯框中的/etc/resolv.conf[1]文件。我不知道是否可以共享默認網絡。如果它是機器在hostName.c。[PROJECT_ID] .i​​nternal中可用,如果hostName是穩定的[2],它可以用於你的目的。 [1] https://cloud.google.com/compute/docs/networking#internal_dns_and_resolvconf[2] https://cloud.google.com/compute/docs/networking –

回答