我需要一個工具來查找單個文本文件或一組文本文件中的重複文本或類似文本塊

Question

我想自動將重複或類似的C代碼移動到函數中。

這必須在Linux下工作。

Answer 1

你的問題的一個子集：檢測重複代碼：

嘗試：PMD

重複的代碼可以是很難找到，特別是在一個大型項目。但PMD的複製/粘貼檢測器（CPD）可以爲您找到它！ CPD已經通過三個主要的化身：

• 首先，我們寫的使用邁克爾·懷斯的貪婪字符串拼接算法的一個變種（我們的變種這裏描述）
• 然後，它是由布萊恩Ewins使用Burrows-完全重寫Wheeler變換
• 最後，它被Steve Hawkins改寫爲使用Karp-Rabin字符串匹配算法。

...

注意CPD工作與Java，JSP，C，C++，Fortran和PHP代碼。

Answer 2

你會想看看Simian。它對於非商業項目是免費的。嘗試像這樣：

# Find all C source files and identify similarities/duplicate code. 
simian -includes=**/*.c -excludes=**/*_test.c 

Answer 3

猿猴（前面提到）是一個很好的工具。我在我的項目中一直使用CloneDetective，它效果很好。 CloneDetective是免費的，所以它不會受到傷害，試試看。

Answer 4

請注意，您不能只比較文本行。您將不得不解析代碼，通過這種方式，您還可以檢測語義上正確但可能具有不同命名標識符的段。

例如，給定兩個等價但使用不同標識符的函數，文本搜索不會將它們視爲相同，而是解析器可以。

另請注意，編寫C++解析器並不是一項簡單的任務，即使在給定語法的情況下也是如此。我建議其他人的建議，併爲此尋找工具。還搜索重構工具。

Answer 5

請參閱CloneDR，該工具用於在源代碼中查找精確複製和接近未命中（複製粘貼編輯）克隆。它使用完整的語言解析器，使其能夠根據語言結構查找克隆，最大限度地減少誤報，並完全刻畫代碼的註釋或格式，從而最大限度地實現真正的檢測。當克隆塊更改變量，插入statemens或代碼塊時，CloneDR將查找克隆。它具有C，C++，COBOL，C＃，Java，PHP和其他一些語言的語言前端。

您可以在網站上查看樣本克隆檢測報告。

Answer 6

https://github.com/hudayou/fib

工具來查找一個文件或目錄相同的代碼塊。