Mitä indeksointi tarkoittaa?

Indeksointi tarkoittaa, että Google löytää sivun, hakee ja lukee sen, käsittelee sen sisällön ja tallentaa sen hakemistoonsa. Vasta hakemistossa oleva sivu voi näkyä Googlen hakutuloksissa. Search Consolen indeksointiraportti kertoo, mitkä sivustosi sivut ovat hakemistossa ja miksi loput eivät ole, ja suurin osa sen ilmoituksista kertoo normaalista toiminnasta eikä viasta.

Prosessi etenee vaiheittain, ja raportin ilmoitukset kertovat, mihin vaiheeseen sivu on jäänyt. Ensin Google saa tietää osoitteesta linkin tai sivukartan kautta. Sitten se hakee sivun ja lukee sen. Lopuksi se päättää, lisätäänkö sivu hakemistoon.

Viimeinen vaihe on se, joka yllättää. Google ei lisää hakemistoon jokaista löytämäänsä sivua, eikä se lupaa lisätä. Googlen oman ohjeen mukaan kaikkien sivuston osoitteiden ei pidä odottaa päätyvän hakemistoon. Tärkeää on, että sivujen ensisijaiset versiot ovat siellä.

Suomenkielisen Search Consolen sanat hämäävät

Googlen suomenkielisissä teksteissä sana indeksoida tarkoittaa usein sivun hakemista ja lukemista, ei hakemistoon lisäämistä. Hakemistoon päätyneestä sivusta käytetään ilmaisua lisätty hakemistoon. Tämä sekoittaa helposti, koska arkikielessä indeksoitu sivu tarkoittaa juuri hakemistossa olevaa sivua.

Siksi ilmoitus Indeksoitu, ei tällä hetkellä hakemistossa ei ole ristiriitainen, vaikka se kuulostaa siltä. Se tarkoittaa, että Google kävi sivulla mutta ei lisännyt sitä hakemistoon.

Tässä artikkelissa tilojen nimet ovat samassa muodossa kuin Googlen suomenkielisessä ohjeessa sivujen hakemistoraportista. Ohje kertoo itse, että sen suomennoksessa voi olla konekäännettyä sisältöä, joten oman Search Consolesi sanamuoto voi poiketa hieman. Englanninkielisessä Search Consolessa raportin nimi on Page indexing.

Kaksi ryhmää: hakemistossa ja ei hakemistossa

Raportin yhteenvedossa sivut on jaettu kahteen ryhmään: hakemistoon lisättyihin ja niihin, joita ei ole lisätty. Jälkimmäisen alla on taulukko syistä, ja jokaisesta syystä näkee esimerkkiosoitteita. Esimerkkilista on rajattu tuhanteen riviin, joten isolla sivustolla se ei näytä kaikkia osoitteita.

Tärkeintä on ymmärtää, ettei hakemiston ulkopuolella olevien sivujen määrä ole virhemittari. Useimmilla sivustoilla osa sivuista puuttuu hakemistosta aivan oikein, koska ne ovat ohjauksia, kopioita, suodatinsivuja tai tarkoituksella piilotettuja sivuja.

Oikea kysymys ei ole, montako sivua puuttuu, vaan puuttuuko jokin sivu, jonka pitäisi olla hakemistossa. Yksittäistä osoitetta ei voi etsiä raportista, joten sen tila tarkistetaan URL-tarkastustyökalulla.

Mitä tarkoittaa ilmoitus löydetystä sivusta, jota ei ole indeksoitu?

Ilmoitus Havaittu, ei tällä hetkellä hakemistossa tarkoittaa, että Google tietää sivun osoitteen mutta ei ole vielä hakenut sivua. Englanniksi tila on ”Discovered - currently not indexed”. Googlen mukaan se halusi hakea sivun, mutta arvioi haun kuormittavan sivustoa liikaa ja siirsi sitä myöhemmäksi. Siksi haun päivämäärä on raportissa tyhjä.

Uusilla sivuilla tila on tavallinen ja yleensä ohimenevä. Sivu on lisätty sivukarttaan tai siihen on linkitetty, ja Google käy sen läpi myöhemmin. Muutaman päivän tai viikon odotus on normaalia.

Jos tila koskee pitkään suurta osaa sivustosta, se kannattaa ottaa vakavasti. Käytännössä taustalla on usein hidas tai epävakaa palvelin, suuri määrä lähes samanlaisia osoitteita, kuten suodatin- ja lajittelusivuja, tai sivuja, joihin sivustolla ei johda juuri yhtään linkkiä.

Korjaus alkaa karsinnasta. Kun turhat osoitteet poistetaan sivukartasta ja niiden syntyminen estetään, ja tärkeille sivuille linkitetään valikosta ja sisällöstä, Googlella on vähemmän haettavaa ja selvempi kuva siitä, mikä sivustolla on tärkeää.

Mitä tarkoittaa ilmoitus sivusta, jolla robotti on käynyt mutta jota ei ole indeksoitu?

Ilmoitus Indeksoitu, ei tällä hetkellä hakemistossa tarkoittaa, että Google haki ja luki sivun mutta jätti sen ainakin toistaiseksi hakemiston ulkopuolelle. Englanniksi tila on ”Crawled - currently not indexed”. Googlen mukaan sivu saatetaan lisätä hakemistoon myöhemmin, eikä sitä tarvitse lähettää uudelleen.

Tässä tilassa Google on jo nähnyt sivun sisällön, joten syy löytyy yleensä sisällöstä. Tyypillisiä ehdokkaita ovat hyvin lyhyet sivut, sivut, jotka toistavat lähes sanasta sanaan saman sivuston toista sivua, automaattisesti syntyneet arkisto- ja avainsanasivut sekä palvelusivut, joissa on vaihdettu vain paikkakunnan nimi.

Uudella sivulla tila voi olla myös välivaihe. Google voi hakea sivun ensin ja lisätä sen hakemistoon myöhemmin, joten muutaman päivän ikäisestä sivusta ei kannata vielä päätellä mitään.

Kun tärkeä sivu jää hakemiston ulkopuolelle

Jos tärkeä palvelusivu tai tuoteryhmä on jäänyt pysyvästi hakemiston ulkopuolelle, sitä ei korjata pyytämällä indeksointia yhä uudelleen. Se korjataan tekemällä sivusta selvästi oma ja hyödyllinen ja kertomalla linkeillä, että se on tärkeä.

  1. Katso sivua kuin vieras. Vastaako se johonkin kysymykseen, johon mikään muu sivustosi sivu ei vastaa?
  2. Vertaa sitä sivuston muihin sivuihin. Jos kaksi sivua kertoo saman asian eri sanoin, yhdistä ne tai tee niiden sisällöstä selvästi erilainen.
  3. Tarkista, että sivulle johtaa linkki valikosta tai muilta tärkeiltä sivuilta.
  4. Varmista, että sivun kanoninen osoite osoittaa sivuun itseensä ja että sivu on sivukartassa.
  5. Varmista, että sisältö on sivulla tekstinä eikä kuvana tai liitetiedostona.
  6. Pyydä vasta sitten indeksointia, ja pyydä kerran.

Paikkakuntasivuissa ongelma on erityisen yleinen. Kymmenen sivua, joilla on sama teksti ja eri kaupungin nimi, näyttää Googlelle yhdeltä sivulta kymmenenä kopiona. Miten palvelut ja paikkakunnat kannattaa esittää, kerrotaan artikkelissa Palvelusivut: miksi jokaiselle palvelulle kannattaa tehdä oma sivu.

Kopiot ja ensisijainen osoite

Raportin kolme tilaa liittyy kopioihin, ja kahdessa niistä ei yleensä tarvitse tehdä mitään. Ensisijainen osoite tarkoittaa samaa kuin kanoninen osoite: sitä versiota sivusta, jonka Google näyttää hakutuloksissa.

  • Sivu on kopio, jolla ei ole käyttäjän valitsemaa ensisijaista osoitetta. Google on löytänyt saman sisällön useasta osoitteesta ja valinnut niistä yhden. Googlen mukaan tämä ei ole virhe, koska Google ei näytä päällekkäisiä sivuja.
  • Vaihtoehtoinen sivu, jossa on oikea ensisijainen tagi. Sivu osoittaa oikein ensisijaiseen versioonsa, joka on hakemistossa. Mitään ei tarvitse tehdä.
  • Sivu on kopio, joten Google valitsi eri ensisijaisen osoitteen kuin käyttäjä. Olet merkinnyt sivun ensisijaiseksi, mutta Google pitää toista osoitetta parempana. Tämä kannattaa tarkistaa.

Viimeinen tila on ongelma silloin, kun Google on valinnut väärin tärkeän sivun kohdalla. Tavallinen syy on, että kaksi eri asiaa käsittelevää sivua on liian samanlaisia. Googlen ohje neuvoo tällöin varmistamaan, että sivujen sisältö eroaa merkittävästi. URL-tarkastustyökalu näyttää, minkä osoitteen Google valitsi ja minkä sinä ilmoitit.

Ohjaukset, 404 ja palvelinvirheet

  • Uudelleenohjauksen sisältävä sivu. Osoite ohjaa toiseen osoitteeseen, joten sitä ei lisätä hakemistoon. Tämä on normaalia esimerkiksi sivustouudistuksen jälkeen.
  • Ei löydy (404). Sivua ei ole. Googlen mukaan tämä ei välttämättä ole ongelma, jos sivu on poistettu eikä sitä ole korvattu. Jos sivu on siirretty, vanha osoite ohjataan uuteen pysyvällä ohjauksella.
  • 404-uudelleenohjaus. Näin Googlen suomenkielinen ohje kutsuu tilaa, joka englanniksi on ”Soft 404”. Sivu näyttää kävijälle ilmoituksen, ettei sisältöä löydy, mutta palvelin ei palauta virhekoodia 404.
  • Palvelinvirhe (5xx). Google ei saanut sivua haettua, koska palvelin vastasi virheellä tai ei vastannut ajoissa.
  • Uudelleenohjausvirhe. Ohjaus ei toimi, esimerkiksi koska se kiertää kehää tai ohjausketju kasvaa liian pitkäksi.

404-tiloista kannattaa korjata ne, joihin omalta sivustoltasi linkitetään tai jotka ovat sivukartassa. Googlen ohje sanoo tämän suoraan. Satunnaiset vanhat osoitteet, joihin mikään ei enää johda, saavat jäädä. Rikkinäisistä linkeistä ja hyvästä virhesivusta kerrotaan tarkemmin artikkelissa 404-sivu ja rikkinäiset linkit.

Palvelinvirheet ovat eri luokkaa. Jos niitä on paljon tai niiden määrä kasvaa, vika on palvelimessa, ja se haittaa myös oikeita kävijöitä. Se kannattaa selvittää webhotellin tai ylläpitäjän kanssa heti.

Noindex ja robots.txt raportissa

Tila URL-osoitteella on noindex-merkintä tarkoittaa, että sivu itse pyytää jäämään pois hakutuloksista. Tila on oikea kiitossivuilla, hallintasivuilla ja muilla sivuilla, joita ei ole tarkoitettu hakuun. Jos listalla on palvelusivu tai tuote, merkintä on jäänyt päälle vahingossa, usein kehitysvaiheesta tai lisäosan asetuksesta.

Tila robots.txt-tiedosto esti URL-osoitteen tarkoittaa, ettei Google saa hakea sivua. Sekin voi olla tarkoituksellista. Hankalampi on varoitus Lisätty hakemistoon, mutta robots.txt:n estämä: sivu on hakemistossa, vaikka sen hakeminen on kielletty, koska muut sivut linkittävät siihen.

Googlen ohje neuvoo silloin samaa kuin robots.txt-tiedostoa käsittelevä artikkeli: jos sivun ei haluta näkyvän haussa, robots.txt-esto poistetaan ja sivulle lisätään noindex-merkintä. Kielto ja noindex eivät toimi yhdessä, koska Google ei näe merkintää sivulta, jota se ei saa hakea.

Miten pyydät Googlea indeksoimaan sivun?

Yksittäisen sivun indeksointia pyydetään Search Consolen URL-tarkastustyökalulla: kirjoitat osoitteen hakukenttään, katsot sivun nykyisen tilan ja pyydät sivun lisäämistä hakemistoon. Pyynnön voi tehdä vain Search Console -kohteen omistaja tai täysillä oikeuksilla oleva käyttäjä. Jos Search Console on vielä ottamatta käyttöön, aloita sen käyttöönotosta.

Pyynnöille on kiintiö, eikä saman osoitteen pyytäminen moneen kertaan nopeuta mitään. Googlen ohjeen mukaan pyyntö ei takaa, että sivu päätyy hakutuloksiin heti tai ollenkaan, ja läpikäynti voi kestää muutamasta päivästä muutamaan viikkoon.

Kun sivuja on paljon, esimerkiksi uuden sivuston julkaisun tai sivuston siirron jälkeen, yksittäisten pyyntöjen sijaan lähetetään XML-sivukartta. Yksittäinen pyyntö kannattaa säästää tärkeille sivuille, kuten uudelle palvelusivulle tai sivulle, jonka noindex-merkintä on juuri poistettu.

Live-testi ja hakemistossa oleva versio ovat eri asioita

URL-tarkastustyökalu näyttää kaksi eri asiaa, ja niiden sekoittaminen johtaa vääriin johtopäätöksiin. Oletuksena se näyttää, mitä Google tiesi sivusta, kun se viimeksi kävi sivulla. Live-testi taas hakee sivun juuri nyt.

Jos korjasit virheen eilen, raportti ja tarkastustyökalun oletusnäkymä voivat vielä näyttää vanhaa tilaa, vaikka live-testin mukaan sivu on kunnossa. Googlen ohje neuvoo katsomaan, milloin Google viimeksi kävi sivulla, ja vertaamaan sitä korjauksen ajankohtaan.

Live-testi ei myöskään tarkista kaikkea. Googlen mukaan esimerkiksi kopioihin ja ensisijaiseen osoitteeseen liittyviä ehtoja ei testata live-testissä, joten puhdas tulos ei tarkoita, että sivu varmasti lisätään hakemistoon.

Korjauksen vahvistaminen

Kun olet korjannut jonkin raportin ongelman kaikilla sivuilla, voit pyytää Googlea vahvistamaan korjauksen. Google käy silloin läpi ongelmasta kärsineet sivut, ja saat sähköpostin, kun vahvistus on valmis tai jos ongelma löytyy edelleen.

Vahvistus kestää Googlen mukaan tavallisesti enintään noin kaksi viikkoa, mutta joskus paljon kauemmin. Sitä ei ole pakko pyytää, koska Google päivittää tilan joka tapauksessa käydessään sivuilla. Pyynnön hyöty on seuranta: näet, mitkä sivut on jo tarkistettu.

Kaikkia tiloja ei kannata korjata. Googlen ohjeessa esimerkkinä ovat robots.txt-tiedoston estämät osoitteet, jotka on todennäköisesti estetty tarkoituksella. Vahvistusta pyydetään vain oikeille virheille.

Milloin indeksoimatta jääminen on normaalia?

Indeksoimatta jääminen on normaalia, kun sivun ei kuulukaan näkyä hakutuloksissa. Tällaisia ovat uudelleenohjaukset, kopiot, joiden ensisijainen versio on hakemistossa, tarkoituksella noindex-merkityt sivut, poistetut sivut ja suodattimilla tai lajittelulla syntyneet muunnelmat.

Normaalia on myös viive. Googlen ohjeen mukaan uuden sisällön lisääminen hakemistoon voi viedä muutaman päivän, ja uuden sivuston kohdalla enintään muutaman viikon. Eilen julkaistu sivu ei ole vielä ongelma.

Useimmilla sivustoilla on hakemiston ulkopuolella ainakin muutama sivu. Google sanoo tämän itse ja lisää, että tärkeiden sivujen pitäisi silti olla hakemistossa. Se on koko raportin ydin: tärkeät sivut sisällä, turhat ulkona.

Merkit, joihin kannattaa reagoida heti

  • Hakemistossa olevien sivujen määrä putoaa jyrkästi. Katso samalta ajalta, kasvoiko noindex-merkittyjen, robots.txt:n estämien tai kirjautumista vaativien sivujen määrä. Googlen ohje neuvoo etsimään juuri tällaisia piikkejä.
  • Palvelinvirheet lisääntyvät. Vika koskee todennäköisesti myös kävijöitä.
  • Tärkeä sivu on noindex-listalla. Merkintä on jäänyt päälle, ja sivu putoaa hausta.
  • Hakemiston ulkopuolella on moninkertaisesti enemmän sivuja kuin hakemistossa. Sivusto tuottaa turhia osoitteita, tyypillisesti suodattimista, parametreista tai automaattisista arkistosivuista.

Jyrkkä muutos osuu usein sivustouudistuksen, julkaisujärjestelmän päivityksen tai uuden lisäosan ajankohtaan. Uudistuksen jälkeiset tarkistukset on koottu artikkeliin sivuston uudistuksesta ilman näkyvyyden romahdusta.

Hakemistossa ei tarkoita hakutuloksissa

Kun sivu on hakemistossa, se voi näkyä hakutuloksissa, mutta se ei näy jokaisessa haussa eikä samalla sijalla kaikille. Googlen mukaan hakutulokset riippuvat muun muassa hakijan sijainnista ja hakuhistoriasta.

Jos Search Console kertoo sivun olevan hakemistossa mutta et löydä sitä omalla haullasi, kyse ei ole indeksoinnista vaan näkyvyydestä. Silloin syyt ovat muualla: sivu ei vastaa hakuun, kilpailu on kovempaa tai haet eri sanoilla kuin asiakkaasi. Ne on käyty läpi järjestyksessä artikkelissa Miksi yritykseni ei näy Googlessa.

Omalla haulla testaaminen on muutenkin epäluotettavaa, koska Google räätälöi tuloksia. Search Consolen hakutulosraportti kertoo paremmin, millä hauilla sivu oikeasti näkyy.

Näin käyt raportin läpi kerran kuussa

Raporttia ei tarvitse seurata päivittäin. Kerran kuussa riittää, ja silloin kannattaa katsoa muutama asia samassa järjestyksessä.

  1. Hakemistossa olevien sivujen määrän suunta. Tasainen tai kasvava on hyvä merkki.
  2. Sivukarttasuodatin. Kun rajaat raportin sivukartan osoitteisiin, näet, ovatko hakuun tarkoitetut sivut hakemistossa.
  3. Syyt, joiden lähteeksi on merkitty verkkosivusto. Ne johtuvat sivustosta ja ovat korjattavissa.
  4. Uudet tilat, joita ei ollut edellisellä kerralla.

Kaikkea muuta voi katsoa silloin, kun jokin näistä muuttuu. Raportti on työkalu vikojen löytämiseen, ei tulostaulu, jonka kaikki rivit pitäisi saada kuntoon.

Yhteenveto

Indeksointi tarkoittaa, että Google hakee sivun, lukee sen ja lisää sen hakemistoonsa, josta hakutulokset kootaan. Search Consolen raportti kertoo, mitkä sivut ovat hakemistossa ja miksi loput eivät ole. Googlen suomenkielisessä ohjeessa indeksointi tarkoittaa usein hakemista ja lukemista, ja hakemistoon lisääminen sitä, mitä arkikielessä kutsutaan indeksoinniksi.

Havaittu, ei tällä hetkellä hakemistossa tarkoittaa, että Google tietää sivusta mutta ei ole hakenut sitä. Indeksoitu, ei tällä hetkellä hakemistossa tarkoittaa, että Google luki sivun mutta ei lisännyt sitä hakemistoon, ja syy on yleensä sisällössä. Ohjaukset, kopiot ja tarkoituksella piilotetut sivut kuuluvatkin hakemiston ulkopuolelle.

Keskity siihen, ovatko tärkeät sivut hakemistossa. Korjaa niiden ongelmat, pyydä indeksointia kerran ja anna Googlelle aikaa.