動的ページを制作する場合は、Googleサイトマップの利用をお勧めします。
Googleアカウントお持ちの方は、URLリストを含む簡単な形式のXMLファイルを作成することで、webサイト内でクロールさせたいURLを検索エンジンに知らせることができます。 登録保障はないですが、作成しておいたほうがクロール精度を上げることができます。

Googleウェブマスター ツールを使うと、Googlebotのクロール率も設定可能になります。さらに検索エンジンから削除したい情報の提出も可能です。

GoogleサイトマップのXMLデータは手書きでも作成できます（する人はいないと思いますが）し、少し検索すれば様々なツールが見つかります。XMLなのでDBと連動して自作ツールでも作成できます。ただし、UTF-8エンコードで作成しなければなりません。

中身は以下のように

<?xml version="1.0" encoding="UTF-8"?>
< urlset xmlns="http://www.google.com/schemas/sitemap/0.84">
< url>
< loc>http://www.example.com/</loc>
< lastmod>2005-01-01</lastmod>
< changefreq>monthly</changefreq>
< priority>0.8</priority>
</url>
</urlset>

採点

(まだ採点がありません)

 Loading ...