Los webmasters hoy en día pasan bastante tiempo optimizando sus sitios web sobre toquillas para bebe para los motores de búsqueda. Se han escrito libros sobre la optimización de los motores de búsqueda y se ha desarrollado una especie de industria para ofrecer servicios de optimización de los motores de búsqueda a los clientes potenciales. ¿Pero dónde empezó todo esto? ¿Cómo acabamos con el mundo del SEO en el que vivimos hoy en día (desde el punto de vista de los webmasters)?
Un tipo llamado Alan Emtage, estudiante de la Universidad de McGill, desarrolló el primer motor de búsqueda para Internet en 1990. Este motor de búsqueda se llamaba “Archie” y estaba diseñado para archivar los documentos disponibles en Internet en ese momento. Aproximadamente un año después, en la Universidad de Minnesota se desarrolló Gopher, un motor de búsqueda alternativo a Archie. Estos dos amables motores de búsqueda provocaron el nacimiento de lo que hoy utilizamos como motores de búsqueda.
En 1993, Matthew Gray desarrolló el primer robot de búsqueda: el World Wide Web Wanderer. Sin embargo, hubo que esperar hasta 1994 para que nacieran los motores de búsqueda tal y como los conocemos hoy. Se crearon Lycos, Yahoo! y Galaxy y, como probablemente, dos de ellos siguen existiendo hoy en día (2005).
En 1994 algunas empresas comenzaron a experimentar con el concepto de optimización de motores de búsqueda. En aquella época, el énfasis se ponía únicamente en el proceso de envío. En 12 meses, se lanzaron los primeros paquetes de software de envío automatizado. Por supuesto, no pasó mucho tiempo hasta que se “inventó” el concepto de spam en los motores de búsqueda. Algunos webmasters se dieron cuenta rápidamente de que podían inundar y manipular las páginas de resultados de las búsquedas mediante el envío excesivo de sus sitios. Sin embargo, los motores de búsqueda pronto contraatacaron y cambiaron las cosas para evitar que esto sucediera.
Pronto, los optimizadores de motores de búsqueda y los motores de búsqueda comenzaron a jugar una especie de juego del “gato y el ratón”. Una vez que los optimizadores de motores de búsqueda descubrieron una forma de manipular un motor de búsqueda, se aprovecharon de ello. Posteriormente, los motores de búsqueda revisaron y mejoraron sus algoritmos de clasificación para responder a estas estrategias. Muy pronto quedó claro que principalmente un pequeño grupo de webmasters estaba abusando de los algoritmos de los motores de búsqueda para ganar ventaja sobre la competencia. Había nacido la optimización de motores de búsqueda Black Hat. La forma poco ética de manipular el motor de búsqueda dio lugar a respuestas más rápidas de los motores de búsqueda. Los motores de búsqueda están tratando de mantener los resultados de búsqueda limpios de SPAM para proporcionar el mejor servicio a los clientes.
La industria de los motores de búsqueda se dio cuenta rápidamente de que el SEO (Search Engine Optimization) como industria no iba a desaparecer, y para mantener índices útiles, tendrían que al menos aceptar la industria. Los motores de búsqueda ahora trabajan parcialmente con la industria del SEO, pero todavía están muy ansiosos por eliminar a los SPAMMERS que intentan manipular los resultados.
Cuando Google.com empezó a ser el motor de búsqueda elegido por más del 50% de los usuarios de Internet, era muy visible para cualquier persona del sector que el spam en los motores de búsqueda había alcanzado una nueva dimensión. Google.com era tan importante para el éxito de un sitio web que muchos webmasters se concentraron únicamente en optimizar sus sitios para Google, ya que la recompensa merecía la pena. Una vez más, el SEO de sombrero negro se llevó a cabo, empujando hacia abajo el webmaster honesto y sus sitios en los resultados de búsqueda entregados. Google comenzó a contraatacar. Varias actualizaciones importantes de los algoritmos de Google obligó a todos los webmaster para adaptarse a las nuevas estrategias. Black Hat SE-optimizadores pero de repente vio algo diferente sucediendo. En lugar de ser empujados hacia abajo en los resultados de búsqueda, sus sitios web fueron eliminados por completo del índice de búsqueda.
Y entonces apareció algo llamado “Google Sandbox” en las discusiones. Los sitios web desaparecían en la caja de arena o los nuevos sitios web nunca entraban en el índice y eran considerados en la caja de arena de Google. El sandbox parecía ser el lugar donde Google “aparcaba” los sitios web considerados SPAMMY o que no se ajustaban a las políticas de Google (sitios web duplicados bajo diferentes nombres de dominio, etc.). El Google Sandbox hasta ahora no ha sido confirmado ni desmentido por Google y muchos webmasters lo consideran un mito.
A finales de 2004, Google anunció que tenía 8.000 millones de páginas/sitios en el índice de búsqueda. La brecha entre Google y los dos siguientes competidores (MSN y Yahoo!) parecía crecer. Sin embargo, en 2005, tanto MSN como Yahoo! empezaron a contraatacar, devolviendo la vida a la guerra de los motores de búsqueda. MSN y Yahoo parecían ganar terreno en la entrega de resultados mejores y más limpios en comparación con Google. En julio de 2005, Yahoo! anunció que tenía más de 20.000 millones de páginas/sitios en el índice de búsqueda, dejando a Google muy atrás. Ningún motor de búsqueda ha ganado aún la guerra. Sin embargo, los tres principales motores de búsqueda luchan con ahínco por la cuota de mercado y un error podría cambiar la fortuna de un motor de búsqueda. Será un camino difícil, pero vale la pena observarlo desde la barrera.