由xoops撰写的日志
xoops robots 写法 以及robots规则介绍
五 7th
代码如下:
View Code ROBOTSUser-agent: *
Disallow: /
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /cache/
Disallow: /class/
Disallow: /images/
Disallow: /include/
Disallow: /install/
Disallow: /kernel/
Disallow: /language/
Disallow: /templates_c/
Disallow: /themes/
另外介绍下robots:
User-agent: * 允许所有蜘蛛爬行。当然也可以有选择性的进行筛选。
例如:User-agent: Googlebot (还有一种叫做Mediabot,这种蜘蛛也是Google的,它的目的是抓取网页来匹配Google AdSense与内容相关广告的。) Baiduspider(百度蜘蛛).
Disallow: / 禁止蜘蛛爬行目录。
Allow: / 允许爬行的目录。
Allow: /~modules/news 允许访问特定目录中的部分url.
Disallow: /~modules/ 禁止访问特定目录中的部分url.
Allow: .htm$ 仅允许抓取 .htm结尾的url 当然也可以对其他文件进行设置 例如:(Allow: .jpg$).
Disallow: .jpg$ 则相反.
代码如下:
另外介绍下:User-agent: * 允许所有蜘蛛爬行。当然也可以有选择性的进行筛选。例如:User-agent: Googlebot (还有一种叫做Mediabot,这种蜘蛛也是Google的,它的目的是抓取网页来匹配Google AdSense与内容相关广告的。) Baiduspider(百度蜘蛛).
Disallow: / 禁止蜘蛛爬行目录。Allow: / 允许爬行的目录。
Allow: /~modules/news 允许访问特定目录中的部分url.Disallow: /~modules/ 禁止访问特定目录中的部分url.
Allow: .htm$ 仅允许抓取 .htm结尾的url More >
シンセン日本語サイト開発
七 8th
連絡先
住所:シンセン
個人的な紹介:
私はWeb開発に長年従事している,このフレームワークの使用XOOPS 、 joomla 、 magento 、 zendframework.
主なケース(web):
1. http://wa-kyo.com/
2. http://www.sz-square.net
3. http://md5.blags.cn[復号化のサイト]
4. http://www.ichibansyokuhin.com/
5. http://tomac.com.cn/
6. http://www.stakachi.com/
興味のある方は、私と価格の譲歩にお問い合わせください。
If you are interested, then please contact me and price concessions.