Creando sitemaps de forma automática
Si no sabes qué son los sitemaps, para de leer y consulta wikipedia.
Existen multitud de servicios para crear sitemaps [1].
Dentro de las herramientas online, me gusta especialmente xml-sitemaps.
Este servicio crea sitemaps en formato xml, directamente importable a google, así como html. Las versiones html son especialmente útiles para verificar qué contenidos se han indexado en el sitemap. Gracias a ello podemos observar fallos en nuestras páginas (URL’s que no deberían ser visibles, enlaces que fallan, títulos de enlaces repetidos, etc).

Por ejemplo, en esta imágen se observa que existen varias páginas con el mismo título. A las arañas de google no les gustan los títulos repetidos, por lo que habría que modificar algunas de mis páginas para que tuvieran títulos distintos. Hablaremos más adelante sobre cómo mejorar el posicionamiento web y el pagerank de tus páginas.
Las versiones gratuitas de estos servicios online no siempre satisfacen las necesidades del webmaster (indexan hasta un máximo de 500 páginas, no se permite la utilización de filtros de exclusión de contenidos por url, ni por tipos de archivo, no se permite controlar la profundidad a la que se indexa, etc).
Por todo ello resulta conveniente utilizar herramientas locales (ejecutadas directamente en el servidor, o mediante un cliente). Paso a comentar algunas alternativas para Windows y Linux
Herramientas server-side para Windows
Últimamente estoy empleando GSiteCrawler.
Éste software, que funciona bajo windows, nos permite crear varios proyectos al mismo tiempo y guardar los settings para cada uno de ellos.
Un pantallazo del programa en ejecución:

Herramientas server-side para Linux
Google ha desarrollado GoogleSitemapGenerator, todavía en versión Beta. Ofrece versiones para Windows y Linux, ambas de libre distribución. En este caso comentaré la versión para linux.
Siguiendo el manual de instalación instalamos el software, ponemos una password para administración del nuevo servicio y hacemos un restart del Apache. La aplicación corre por defecto en el puerto 8181.
La aplicación permite definir filtros de inclusión/exclusión de contenidos, tamaños máximos de archivos, inclusión directa de los sitemaps en google, cambiar el nombre del fichero sitemap donde se guardan los resultados, etc.
Un pantallazo de la herramienta mientras comienza la indexación de contenidos…

[1] Herramientas para la generación de sitemaps, por categorías
Programas para ejecutar en el servidor
- Enarion phpSitemapsNG (PHP)
- GS Master (Polish, PHP/Perl)
- Outil en PHP (French, PHP)
- Perl Sitemap Generator (Perl)
- Python Sitemap Generator (Python)
- Simple Sitemaps (PHP)
- SiteMap XML Dynamic Sitemap Generator (PHP) $
- XML Sitemap Generator (PHP) $
- ASP.NET – Sitemaps.Net
- ClickCartPro $
- Coppermine
- DotClear (Spanish)
- DotClear (2)
- Drupal
- ECommerce Templates (PHP) $
- Ecommerce Templates (PHP or ASP) $
- LifeType
- mnoGoSearch
- OS Commerce
- PHPNuke (German)
- PHPNuke – NukeSEO Sitemaps Generator
- phpWebSite
- Plone
- RapidWeaver
- Textpattern
- vBulletin
- Wikka Wiki (PHP)
- WordPress
- CoffeeCup Sitemapper (Windows) $
- Devintelligence SitemapGenerator (Windows)
- GSiteCrawler (Windows)
- GWebCrawler & Sitemap Creator (Windows)
- G-Mapper (Windows)
- Inspyder Sitemap Creator (Windows) $
- IntelliMapper (Windows) $
- KeyLimeTie Sitemap Generator (Windows) $
- Map-IT Sitemapper (Windows, Mac) $
- MediaCET Diadematus (Windows)
- Microsys A1 Sitemap Generator (Windows) $
- Rage Google Sitemap Automator $ (OS-X)
- Site Magellen (Windows)
- Site Map Pro (Windows) $
- Sorrowmans Sitemap Tools (Windows)
- Vigos Gsitemap (Windows)
- Web-design-pros.ca Sitemap.xml.gz Generator (Java Webstart Application)
Servicios de generación online
- AuditMyPc.com Sitemap Generator
- AutoMapIt
- Autositemap $
- Enarion phpSitemapsNG
- Free Sitemap Generator
- Neuroticweb.com Sitemap Generator
- Safe Area SitemapGenerator
- ScriptSocket Sitemap Generator
- ResourceSEO Online Sitemap Generator
- SitemapDoc
- Sitemapspal
- Smart-IT-Consulting Google Sitemaps XML Validator
- XML-Sitemaps Generator
Related posts:

Hola amigo, tienes algun manual de GsiteCrawler en español?
Saludos