googlebot

1熱度

2回答

我一直在閱讀Googlebot如何抓取javascript生成的網頁，但我仍然有點困惑。假設我有一個XYZ公司的網頁，有5個一般產品，如浴巾和鉛筆。如何允許Googlebot指數www.xyzinc.com/products/bath-towels使得它在谷歌的搜索結果，如顯示出來： XYZ Inc. - Bath Towels www.xyzinc.com/products/bath-

1熱度

1回答

如何在robots.txt中禁用$ disallow指令？

robots.txt將$作爲特殊字符處理，以識別模式的結尾。雖然，Googlebot的是解析腳本標記e.g內JS模板一些的HREF： <a href="${object.path}"> ${object.name}</a> 對其進行編碼後，谷歌機器人試圖達到mySite.com/$%7Bobject.path%7D在404這結束。要解決此問題，我想通過向我的robots.txt中添加匹配指

0熱度

2回答

防止Googlebot索引頁面，同時仍允許訪問

在angularjs應用程序中，我使用了一些片段，如/fragments/welcome-1.html，這些片段作爲/welcome的一部分顯示。我想，我可以從谷歌搜索通過 Disallow: /fragments 在robots.txt排斥它，但它完全阻止Googlebot的任何訪問，因此/welcome頁面無法正確顯示。顯然，我無法做到這一點，但我如何確保Google可以獲取片段並且不會

0熱度

1回答

如何避免谷歌索引我的網站正在開發中完成

我有一個新的網站和一個新的域名，將需要約2個月的時間才能完成開發，然後才能正常運行。只有這樣我才能讓Google開始抓取我的網站併爲其編制索引。所以問題是如何在關閉前2個月「關閉」谷歌索引？現在我打算使用這個index.html的： <html> <meta name="googlebot" content="noindex"> UNDER CONSTRUCTION </html>

0熱度

1回答

如何阻止Google抓取我的Bitly Branded短域名？

問題是，我們正在使用bitly品牌的短域作爲URL縮短。我們的品牌短域名是d.so.city 現在，無論何時我在google上搜索site：so.city，所有d.so.city鏈接都會出現在真正的網站url之前。我不希望這些惡意網址被抓取。我知道這可以通過子域的robots.txt輕鬆完成，但我們無法訪問子域的robots.txt文件，因爲它完全鏈接在一起。我也試過谷歌網站管理員的參數阻止，但

3熱度

3回答

index.php作爲laravel網站的url中的參數

我發現任何laravel網站都可以通過index.php作爲參數訪問。這是一個很大的問題，index.php中的url參數會打斷所有圖像。看看一個真實的例子就明白了我的意思： http://www.cyprusalive.com/main-thing/sightseeing http://www.cyprusalive.com/index.php/main-thing/sightseeing

-1熱度

1回答

僅在谷歌搜索結果中被黑網站？

當我搜索我的網站：mladinski中心特爾伯夫列，第一個結果是一些iPhone中國版..但是當我訪問它，它去確定我的網站：mct.si 我用谷歌網站管理員，我得到檢查這個結果：重定向到：http://eumoil.com/chaneliphone6_1.html 我的.htaccess是這樣的： <IfModule mod_rewrite.c> RewriteEngine On # Pre

1熱度

1回答

如何在谷歌上建立一個沒有公開鏈接的動態頁面？

我提出了一個非常大的問題，我目前正在製作一個網絡應用程序。下面是一個概述：公共網頁： /home /login /post/:id (so each dynamic page must be public and indexed) 私人網頁 /posts /post/:id/comments /and-other-private-urls 正如你可以看到/posts網頁，其中將有

1熱度

1回答

SPA頁面的元定義

我有一個SPA項目（AngularJS）。我爲每個客戶單獨構建我的項目。當谷歌機器人抓取我的網頁時，他們只是抓取源代碼，然後將搜索結果中的源代碼編入索引。但是如果我說從網站管理員工具獲取和呈現，每件事情都行！谷歌將呈現的代碼編入索引並顯示在搜索結果中。我很好奇。是否有任何元定義說「嘿谷歌獲取和呈現此頁」？如： <meta name="robots" content="index,follow,re

6熱度

4回答

Google不抓取AngularJS應用程序中的鏈接

我有一個注入第三方網站的AngularJS應用程序。它將動態內容注入第三方頁面的div中。 Google成功編制了這一動態內容的索引，但似乎並未在動態內容中抓取鏈接。這些鏈接會是這個樣子的動態內容： <a href="http://www.example.com/support?title=Example Title&titleId=12345">Link Here</a> 我使用的查詢參數的