Screaming frog : Sin indexación no hay seo ( Clinic SEO - eShow 2016)

Sin Indexación

No hay SEO

Iñaki Huerta - @ikhuerta

¡Hola! Soy Iñaki Huerta

ikhuerta.com

@ikhuerta

hola@ikaue.com

Screaming es un rastreador (crawler)

Screaming es un rastreador SEO

ETC…

Lanzando

Screaming…

Los datos que saca por defecto son los que solemos mirar

LO BUENO DE SCREAMING:

1. Es una herramienta claramente SEO

Al menos en su forma de detectar enlaces onPage

2. Se parece a las arañas de google

~160€/Año (o lo que es lo mismo)

~3€/semana

Lo pagas…

- Dejando de fumar (y te sobra mucho)

- Tomando un cubata menos al mes

- Llevando un tupper al trabajo cada 2 meses

- Dejando que tu pareja pague un par de veces

¡Siempre cosas buenas!

3. Es realmente barato

~160€/Año (o lo que es lo mismo)

~3€/semana

Lo pagas…

- Dejando de fumar (y te sobra mucho)

- Tomando un cubata menos al mes

- Llevando un tupper al trabajo cada 2 meses

- Dejando que tu pareja pague un par de veces

¡Siempre cosas buenas!

3. Es realmente barato

¿Y Si no te da la gana pagar?

Rastrea gratis hasta 500 URLs

Y analiza en modo listado todas las que necesites.

Abriendo la puerta a muchas formas de análisis nuevas que antes no estaban disponibles

4. Evoluciona constantemente

- Añadidos de más Metadatos

- Integración Analytics

- Integración con Google Search Console

- Datos personalizados

- Rastreo vía JS

- Etc…

Antes de lanzar, revisar la configuración

Decidir

- si sacamos todo o solo URLs HTML ?

- Rastreamos HTML o también links javascript ?

- hacemos caso al robots.txt ?

- queremos que siga los 301 ?

- a que velocidad queremos lanzarlo ?

- cuando queremos que pare de rastrear ?

- Qué distancias de titles y demás metas son buenas ?

- Le permitimos rastrear fuera del dominio o carpeta ?

Detalles prefiltrados del total “internal” + “external” (para poner el foco sobre ciertas partes)

¡Cuidado!

Los datos no vienen

siempre como los

queremos

Si, también suman external

Extracciones configurables

Si, también suman external

¿y que

hago con

la rana?

Rastreo

de URLs

Recogida de

Criterios

Análisis

Rastreo

de URLs

Recogida de

Criterios

Análisis

¿QUÉ QUEREMOS HACER?

A las herramientas no se entra a mirar

Se entra a responder preguntas concretas

Elección de Keywords y temáticas

Content Marketing

Optimización de Contenidos

Priorización del HTML

Marcado Semántico (HTML5 & Schema)

Links de temáticas recibidos

Links Entrantes

Link Sculpting

Crecimiento (Natural, Building & Baiting)

Links Tóxicos

Velocidad de Carga

Calidad del contenido

Señales Sociales y Marca

Crawling

Priorización de la indexación

Velocidades de rastreo

Redirecciones y Canonicals

Orientación hacia distintos bots

Restricciones y ayudas a las arañas

Indexación

Semántica Autoridad

Content Marketing

Links Entrantes

Link Sculpting

Links Tóxicos

Velocidad de Carga

Crawling

Indexación

Content Marketing

Links Entrantes

Link Sculpting

Links Tóxicos

Velocidad de Carga

Crawling

Indexación

¿QUÉ QUEREMOS HACER?

1. Análisis técnico básico

2. Auditorías OnPage

3. Análisis de estructura y crawl budget

4. Migraciones y control de cambios

¿Qué hago para indexar? ¿Ayuda?

Tablas con todos los recursos de indexación que usa Google: http://blog.ikhuerta.com/indexacion-seo-tablas-de-referencia-de-todos-los-recursos-de-indexacion-que-

usa-google

ANÁLISIS TÉCNICO BÁSICO

Objetivo:

Qué Buscamos:

Realizar un QA mímino sobre el desarrollo

Detectar y solucionar deficiencias puramente

técnicas

- Problemas evidentes rastreo

- Errores de servidor

- Incoherencias en el desarrollo

Análisis técnico básico URL 1

URL 10

URL … N

• Tipos de archivo

(html, js, css, imágenes)

• Encoding

(iso / uft)

• Códigos servidor

(200, 404, 301, 302, 503, …)

• URLs no deseadas

(/www.midominio.com, //, etc.)

Rastreo del

dominio

Tipología de archivos

- Solo HTML responde bien a la indexación

(aunque imágenes y documentos también ofrecen resultados)

- Es un indicador de posibles problemas de carga A contrastar con herramientas de analisis de carga como tools.pingdom.com

- Te permite un análisis de errores en archivos: olvidos, mal

enlazados y errores varios.

Códigos de respuesta del servidor

- Te permite comprobar la coherencia en el desarrollo.

- Suele ser una muestra del caos interno que existe en el desarrollo de la web.

Códigos de respuesta del servidor

200 301 302, 307, 310, 401, 404, 410, 501, 503 …

Idealmente una web solo debería dar códigos 200 (OK), 301 hace perder el tiempo a la araña y el resto directamente provocan problemas.

Exportaciones de errores en Códigos de respuesta

Prácticamente nos da el

documento que hay que

pasar a IT para solucionar

los errores

URLs no deseadas

Se trata de un análisis MANUAL de elementos que no esperabas que estuviesen ahí.

Algunas búsquedas que ayudan a encontrar estos elementos:

“www.midominio.com/www.midominio.com” Enlaces absolutos mal definidos en el html

“%” Caracteres extraños

“<“ Restos de HTML no cerrado en el enlace.

Google Webmaster Tools

Nos da información “real” sobre la indexación

del site.

• Permite subir Sitemaps.xml

• Permite ver lo que está bloqueando el archivo

robots.txt

• Permite ver que páginas se han indexado.

• Permive ver que páginas estaban indexadas y

han pasado a provocar un error.

• Permite examinar cuanto contenido indexan

las arañas cada día de nuestros sites.

• Y muchas otras cosas no relacionadas con la

indexación.

www.google.com/webmasters

Una Cosa es Rastreo y otra el Indice de Google

Los Logs, esos archivos feos…

Y una cosa es un crawler y otra los logs reales

Post de MJ Cachon, Review de SF Log Analyzer:

http://www.mjcachon.es/blog/log-analyser-screaming-frog/

Screaming Frog Log Analyzer

Screaming no automatiza el seguimiento :(

deepcrawl.co.uk

Desde unos 80$/mes

Para 100.000 URLS

botify.com

Desde unos 49$/mes

Para 100.000 URLS

AUDITORÍAS ON PAGE

Objetivo:

Qué Buscamos:

Validar la orientación hacia el posicionamiento de

la web actual

- Valorar la calidad onpage de las páginas

- Validar la indexación real de las páginas

- Detectar problemas de semántica

- Detectar problemas de autoridad

Análisis técnico básico URL 1

URL 10

URL … N

• Análisis Etiquetas principales

(title, description, h1, h2, …)

• Directrices de indexación

(canonical, robots, prev/next)

• Duplicidades y evaluación de etiquetas

• Páginas más importantes y problemáticas

• Indexación real de las URLs

(sincronización con Google search console)

• Utilidad y conversión de las URLs

(sincronización con Google Analytics)

Rastreo del

dominio

Etiquetas principales

La validación es prácticamente automática. Pero tienes que saber lo que buscas.

Directivas de indexación

Por defecto analiza: <meta name=“robots” /> <link rel=“canonical” /> HTTPCanonical y rel=“next/prev”

Pero es que además podemos añadirle con Custom Extraction lo que queramos.

Directivas de indexación

Además, salvo que le digamos lo contrario, no recoge la información bloqueada por el robots.txt

Análisis de titles ( u otros tags prioritarios)

- Duplicados

- Demasiado largos (por

logitud o pixeles)

- Inexistentes o múltiples

Pero Screaming no es un sistema focalizado en

auditorías de etiquetas. Para ese trabajo hay mejores

Páginas principales y/o más problemáticas

Análisis de etiquetas a tu medida

Search

Permite crear listas filtradas según si la página

contiene o no un elemento

Extraction

Permite definir que elementos del HTML queremos

que screaming recoja de las página

Los datos se añaden a tu informe “internal”

H1 dentro de article CssPath article header h1

Primer Link de la página CssPath a (atributo = href)

Primer Link del main CssPath .main a (atributo = href)

Etiqueta Lang XPath //html[@lang]/@lang o //meta[@lang]/@lang

Etiquetas Open Graph XPath //meta[@property="og:title"]/@content

Versiones Mobile XPath //link[contains(@media, '640') and @href ]/@href

HrefLang XPath //link[@hreflang=“es”]/@href

Algunas extracciones de ejemplo…

Plus para Analistas Web

Instalación directa:

Tiene instalado GA RegEx [“’](UA-[0-9]+-[0-9]+)[“’]

Valor de una dimensión personaliz. RegEx ga\( *[“’]set[“’] *, *[“’]dimension1[“’] *, *[“’]([^”’]+)[“’]

Instalación mediante GTM:

Tiene instalado GTM RegEx [“’](GTM-[^”’]+)[“’]

Un valor del dataLayer de GTM RegEx ["']tuVariable["'] *: *["']([^"']+)["']

También sirve para validar implementaciones de analítica o GTM

Plus para Analistas Web

Estos datos también pueden ser muy útiles para analisis SEO

El problema para hacer auditorías:

Screaming frog

siempre baja al

detalle de todo…

El problema para hacer auditorías:

Screaming frog

siempre baja al

detalle de todo…

DOWNLOAD: ikaue.com/recursos/screaming-frog-seo-audit.xlsx

Calidad de tus URLs

Datos de Rastreo

Análisis del Buscador

Resultados de su

posicionamiento

Tipos de archivo

Encoding

Códigos de servidor

Análisis de etiquetas

Directrices de indexación

Etc…

Impresiones en resultados

Clicks

Posición media

Visitas

Calidad de las visitas

Conversiones

Calidad de tus URLs

Datos de Rastreo

Resultados de su

posicionamiento

Tipos de archivo

Encoding

Etc…

Clicks

Posición media

Visitas

Conversiones

Tu trabajo

Cómo lo percibe Google

Qué aporta a tu negocio

Calidad de tus URLs

Datos de Rastreo

Resultados de su

posicionamiento

Tipos de archivo

Encoding

Etc…

Clicks

Posición media

Visitas

Conversiones

Tu trabajo

Calidad de tus URLs

Datos de Rastreo

Resultados de su

posicionamiento

Tu trabajo

Añadiendo datos de Google Search Console

Añadiendo datos de Google Analytics

ANÁLISIS DE ESTRUCTURA Y CRAWL BUDGET

Objetivo:

Qué Buscamos:

Optimizar el rastreo para que los buscadores se

ocupen solo de las URLs que nos interesan

- Priorizar nuestro contenido

- Valorar las URLs por como las prioriza Google

- Entender como alcanza el buscador distintas

páginas

- Establecer vías para mejorar nuestro rastreo

El Concepto de Crawl Budget

Google destina un tiempo de

proceso de rasteo a cada web

según su ímportancia (autoridad

SEO) y dinamismo

No todo nuestro contenido es

igual de importante en SEO

A veces Google pierde mucho

tiempo en páginas que no te

interesa demasiado posicionar

Ejemplo de página con problemas

de Crawl Budget:

Menos de 50 productos

+10.000 Urls de listados

Nuestras herramientas

1. WPO

2. Link Sculpting

3. Canonicals

4. Rel=“next/prev”

5. Directivas del Robots

6. Robots.txt

¿Quieres saber más?

http://blog.ikhuerta.com/indexacion-seo-

optimizando-el-crawl-budget-en-listados-y-

filtrados

Priorización de contenidos:

Home de Categoría

Listados

Búsquedas

Categorías del blog

Posts del Blog

Productos

Quienes Somos

Aviso Legal

Errores

Técnicas SEO de priorización de contenidos

Priorización de contenidos: El trabajo previo es ordenarlos por PRIORIDAD SEO

Home de Categoría

Listados

Búsquedas

Home del Blog

Categorías del blog

Posts del Blog

Productos

Quienes Somos

Aviso Legal

Errores

Nos acercamos al árbol de la web (Arquitectura de la Información)

Home de Categoría Listados

Búsquedas

Home del Blog Categorías del blog Posts del Blog

Productos

Quienes Somos

Aviso Legal

Errores

Priorización de contenidos:

Y lo alteramos: Árbol = Usabilidad + Prioridades SEO

Estrategias SEO para eCommerce

Home de Categoría

Listados

Búsquedas

Home del Blog

Categorías del blog Posts del Blog

Productos

Quienes Somos

Aviso Legal

Errores

Más Cerca de la Home = más prioridad

Analizando la Autoridad OnPage Escondido en Screaming frog tenemos los informes de estructura

La Autoridad OnPage Dos criterios importantes:

1. Número de páginas únicas que linkan a una URL

Deduplicando para tener el cuenta la anulación a

partir del primer link en página

2. Nivel de una URL

Mínimo número de clicks necesarios para llegar

desde el orginen del rastreo hasta tu URL

También están integrados con el resto de la info

Pudiendo valorar

junto con otros

criterios la situación

de la URL.

En nuestras

exportaciones a Excel

por lo tanto también

estará dispobible

Incluso podemos, de una URL concreta, observar todo el camino de rastreo hasta encontrarla.

Incluso podemos, de una URL concreta, observar todo el camino de trastreo hasta encontrarla.

MIGRACIONES Y CAMBIOS EN LA WEB

Objetivo:

Qué Buscamos:

Validar de forma rápida y eficaz cualquier cambio

importante realizado en la web

- Crear listados de URLs

- Analizar solo las URLs que nos interesan

- Validar la respuesta que da nuestra web a estas

¡Vamos a hacer una nueva web!

1. Redefinición de la AI

2. Keyword Research

3. Redacción de metadatos

4. Maquetación Semántica

5. Directivas de indexación

6. Planificación de redirecciones

7. ¡Y a migrar!

Screaming Frog

nos ayuda a validar

todo el proceso

antes de la

migración

Auditoría del nuevo site

Análisis Técnico Auditoría del Front Análisis de la priorización

de contenidos

Links a validar: Páginas visibles del índice

Links a validar: Errores de rastreo

Links a validar: Páginas más vistas

Links a validar: Páginas con enlaces entrantes

Screaming en modo lista

Y encontraremos lo que no responde como esperabamos

1. Análisis técnico básico

2. Auditorías OnPage

3. Análisis de estructura y crawl budget

4. Migraciones y control de cambios

Nunca tantos

debieron tanto a una

sola herramienta

Y ESO ES TODO LO QUE TENGO QUE DECIR DE SCREAMING FROG

Gracias

Iñaki Huerta

@ikhuerta

blog.ikhuerta.com

Screaming frog : Sin indexación no hay seo ( Clinic SEO - eShow 2016)

Marketing

Linkbuilding para e-commerce en Clinic SEO eShow Madrid 2015

Fleetwood Recordings - eShow

Seo y big data, rastreando lo que google rastrea - clinic...

Indexación de 2013 - USBCali...Indexación de Revistas...

Clinic SEO / eShow Barcelona 2012 - Inicio y fin de un...

Neuromarketing - ClinicSEO - eShow Barcelona 2014

User Web Analytics - eShow 2014 Ana Soplón

Posicionamiento, indexación y...

LA INDEXACIÓN Y LA U.F.

Hotel Reservations 4 - eshow: Event Management Solutions

Visão Estratégica do SEO - eShow / OlhoSEO+SP

Modelo de indexación de eventos

La indexación en FamilySearch

Crowdfunding para Aplicativos e Startups, eShow Brasil 2014

Clinic seo eShow Madrid 2012

Games PLUS - Palestra eShow Brasil 2012