動的ページを制作する場合は、Googleサイトマップの利用をお勧めします。
Googleアカウントお持ちの方は、URLリストを含む簡単な形式のXMLファイルを作成することで、webサイト内でクロールさせたいURLを検索エンジンに知らせることができます。 登録保障はないですが、作成しておいたほうがクロール精度を上げることができます。
Googleウェブマスター ツールを使うと、Googlebotのクロール率も設定可能になります。さらに検索エンジンから削除したい情報の提出も可能です。
GoogleサイトマップのXMLデータは手書きでも作成できます（する人はいないと思いますが）し、少し検索すれば様々なツールが見つかります。XMLなのでDBと連動して自作ツールでも作成できます。ただし、UTF-8エンコードで作成しなければなりません。
中身は以下のように
<?xml version="1.0" encoding="UTF-8“?>
< urlset xmlns=”http://www.google.com/schemas/sitemap/0.84″>
< url>
< loc>http://www.example.com/</loc>
< lastmod>2005-01-01</lastmod>
< changefreq>monthly</changefreq>
< priority>0.8</priority>
</url>
</urlset>
| loc | ページの URL |
| lastmod | 最終更新日 |
| changefreq | 更新頻度 |
| priority | サイト内の他の URL と比較したこの URL の優先度 |
view:200
