從文件名列表中查找路徑的有效方法

Question

從存儲在文件f中的文件名列表中，找到dir下每個文件名的相對路徑，將這個新列表輸出到文件p的最佳方式是什麼？我目前使用以下內容：

while read name 
do 
    find dir -type f -name "$name" >> p 
done < f 

這對於大型列表或大型目錄樹來說太慢了。

編輯：幾個數字：

• dir下的目錄數：1870
• 文件數量dir下：80622
• 在f文件名數：73487

所有列在f中的文件確實存在於dir之下。

Answer 1

下面的一段python代碼可以做到這一點。關鍵是運行find一次並將輸出存儲在散列表中，以提供從file_name到文件名路徑列表的O（1）方法。

#!/usr/bin/env python 
import os 

file_names = open("f").readlines() 
file_paths = os.popen("find . -type f").readlines() 
file_names_to_paths = {} 
for file_path in file_paths: 
    file_name = os.popen("basename "+file_path).read() 
    if file_name not in file_names_to_paths: 
     file_names_to_paths[file_name] = [file_path] 
    else: 
     file_names_to_paths[file_name].append(file_path) # duplicate file 

out_file = open("p", "w") 
for file_name in file_names: 
    if file_names_to_paths.has_key(file_name): 
     for path in file_names_to_paths[file_name]: 
      out_file.write(path) 

Answer 2

我想這應該做的伎倆：

xargs locate -b < f | grep ^dir > p 

編輯：我想不出一個簡單的方法，以前綴dir/*/到文件名列表，否則你可以只通過直接到xargs locate。

Answer 3

嘗試此perl的單行

perl -e '%H=map{chomp;$_=>1}<>;sub R{my($p)=@_;map R($_),<$p/*> if -d$p;($b=$p)=~s|.*/||;print"$p\n" if$H{$b}}R"."' f 

1-創建散列映射的鍵是文件名：％H = {地圖終日啃食; $ _ => 1} <>

2 - 定義一個遞歸子程序來遍歷目錄：子環R {}

2.1- recusive呼叫爲目錄：地圖R（$ _），如果-d $ p

2.2-從路徑中提取文件名：（$ b = $ p）=〜s |。*/||

2.3-打印如果散列映射包含文件名：打印 「$ P \ n」 個如果$ H {$ B}

3-呼叫R 2與路徑當前目錄： 「」 R

編輯：遍歷隱藏目錄

perl -e '%H=map{chomp;$_=>1}<>;sub R{my($p)=@_;map R($_),grep !m|/\.\.?$|,<$p/.* $p/*> if -d$p;($b=$p)=~s|.*/||;print"$p\n" if$H{$b}}R"."' f 

Answer 4

根據目錄樹的百分比被認爲是匹配的，它可能會更快找到每文件，然後用grep出匹配（*）。的：

find "$dir" -type f | grep -f <(sed 's+\(.*\)+/\1$+' "$f") 

的sed命令預先處理您的文件名列表爲正則表達式，將只在路徑的終點相匹配的全名。

Answer 5

下面是使用bash和grep

#!/bin/bash 

flist(){ 
for x in "$1"/*; do #*/ for markup 
[ -d "$x" ] && flist $x || echo "$x" 
done 
} 

dir=/etC#the directory you are searching 
list=$(< myfiles) #the file with file names 

#format the list for grep 
list="/${list// 
/\$\|/}" 

flist "$dir" | grep "$list" 

替代...如果您需要完整的POSIX外殼順應性（busybox的灰，噓，等...）替換$列表操縱子串用的變體chepner's sed並用$（cat文件）替換$（<文件）