Mikä llms.txt on?

llms.txt on sivuston juuressa oleva tekstitiedosto, joka kertoo kielimalleille lyhyesti, mikä sivusto on ja mitkä sen sivut ovat tärkeimmät, linkkeineen ja kuvauksineen. Se sijaitsee osoitteessa, joka päättyy /llms.txt, samaan tapaan kuin robots.txt, ja se kirjoitetaan markdown-muotoon, eli tavallisena tekstinä muutamalla merkinnällä otsikoille ja linkeille.

Ajatus on yksinkertainen. Kun tekoälyassistentti hakee sivustolta tietoa vastatakseen kysymykseen, sen ei tarvitsisi kahlata läpi valikkoja, evästeilmoituksia ja skriptejä, vaan se voisi aloittaa tiivistelmästä, jonka sivuston omistaja on kirjoittanut juuri tätä varten.

Tärkeää on tietää, mikä tiedosto ei ole. Se ei ole virallinen standardi. Se on ehdotus, joka julkaistiin syksyllä 2024 ja joka on levinnyt nopeasti erityisesti ohjelmistojen dokumentaatiosivuilla. Kukaan ei ole velvoitettu lukemaan sitä, ja siitä, ketkä sitä lukevat, on vähemmän tietoa kuin siitä kirjoitetaan.

Miksi sellaista ylipäätään tarvittaisiin

Tavallinen verkkosivu on koneelle sotkuinen. Varsinaisen tekstin ympärillä on navigaatio, alatunniste, evästebanneri, mainoksia, piilotettuja valikoita ja koodia, joka rakentaa sivun vasta selaimessa. Ihminen ohittaa ne huomaamattaan, kielimalli joutuu erottelemaan ne.

Toinen syy on määrä. Kielimalli käsittelee kerrallaan rajallisen määrän tekstiä. Jos se hakee vastausta laajalta sivustolta, se ei voi lukea kaikkea, ja sen pitää arvata, mistä aloittaa. Tiivis sisällysluettelo, jossa kerrotaan mitä kukin sivu sisältää, auttaa valitsemaan oikean sivun.

Nämä hyödyt ovat suurimmat sivustoilla, joilla on satoja tai tuhansia sivuja, kuten ohjelmistojen käyttöohjeissa. Pienen yrityksen kymmenen sivun sivustolla etu on pienempi, koska koko sivusto on lyhyt jo valmiiksi. Se ei tee tiedostosta turhaa, mutta se kannattaa tietää ennen kuin siihen käytetään paljon aikaa.

Mitä eroa on robots.txt:hen?

Robots.txt kertoo rastaajille, minne ne saavat mennä, ja llms.txt kertoo, mitä sivustolla on ja mikä siitä on tärkeää. Ensimmäinen on lupa, toinen on sisällysluettelo. Ne eivät korvaa toisiaan eivätkä tee samaa työtä.

Robots.txt on vuosikymmeniä vanha käytäntö, jota suuret hakukoneet noudattavat ja joka on nykyään myös virallisesti standardoitu. Sillä voi kieltää tai sallia tietyn rastaajan pääsyn tiettyihin osoitteisiin, myös tekoälyyhtiöiden rastaajien, joilla on omat tunnisteensa.

llms.txt ei kiellä mitään. Yleinen väärinkäsitys on, että sillä voisi estää sisällön käytön tekoälyn kouluttamiseen. Ei voi. Jos haluat rajata tekoälyrastaajien pääsyä, se tehdään robots.txt-tiedostossa, ja jos haluat, että assistentit lukevat sivustoasi, sama tiedosto pitää tarkistaa, ettei se estä niitä vahingossa.

Käytännön järjestys on siis tämä: ensin robots.txt kuntoon, sitten harkitaan llms.txt. Paraskaan sisällysluettelo ei auta, jos lukija ei pääse ovesta sisään.

Entä sivukartta?

Sivukartta on hakukoneille tehty luettelo sivuston kaikista osoitteista koneluettavassa muodossa. Siinä ei ole kuvauksia eikä tärkeysjärjestystä, vain osoitteet ja usein päivämäärä, jolloin sivua on viimeksi muutettu.

llms.txt on valikoitu lyhyt lista, jossa jokaisella linkillä on ihmiskielinen kuvaus. Siihen ei laiteta jokaista sivua, vaan ne, joiden avulla sivuston ymmärtää: mitä yritys tekee, mitkä ovat palvelut, missä ovat hinnat ja yhteystiedot ja mitkä ohjeet vastaavat tavallisimpiin kysymyksiin.

Kumpikaan ei korvaa toista. Sivukartta pitää olla, koska hakukoneet käyttävät sitä. llms.txt voi olla lisäksi, ja parhaimmillaan molemmat syntyvät automaattisesti samasta sisällöstä, jolloin ne eivät voi olla ristiriidassa keskenään.

Lukevatko tekoälyt sitä oikeasti?

Varmaa vastausta ei ole, ja se on tärkein asia, mitä tiedostosta pitää tietää. Googlen edustajat ovat kertoneet julkisesti, ettei Google käytä tiedostoa hakutulosten muodostamiseen. Muut suuret tekoälyyhtiöt eivät ole juuri kertoneet, lukevatko niiden rastaajat tiedostoa ja mihin sitä käytetään.

Se, mitä tiedetään, on tämä. Tiedosto on yleistynyt dokumentaatiosivustoilla, ja osa ohjelmoijien työkaluista ja assistenteista osaa käyttää sitä, kun käyttäjä ohjaa ne tietyn sivuston dokumentaatioon. Siinä käytössä tiedosto on osoittautunut hyödylliseksi, koska dokumentaatio on laaja ja rakenne auttaa.

Tavallisen yrityksen näkyvyyteen assistenttien vastauksissa tiedoston vaikutus on epäselvä. Kukaan ei pysty rehellisesti lupaamaan, että llms.txt tuo sinut vastauksiin. Jos joku lupaa, kysy mihin lupaus perustuu.

Tämä ei ole syy jättää tiedostoa tekemättä. Se on syy tehdä se halvalla ja olla maksamatta siitä erikseen, kunnes käytöstä on parempaa tietoa.

Näin tarkistat itse, hakeeko joku tiedostoa

Arvailun sijaan voit katsoa oman palvelimesi lokeista, pyytääkö kukaan tiedostoa. Jokainen sivuston tiedostoon kohdistuva pyyntö kirjautuu palvelimen lokiin, ja siitä näkee, mikä ohjelma pyynnön teki.

Jos webhotelli antaa pääsyn lokeihin, etsi niistä pyynnöt osoitteeseen /llms.txt ja katso, mitkä tunnisteet niissä toistuvat. Jos lokeihin ei ole pääsyä itse, sivuston ylläpitäjä tai webhotellin tuki pystyy tekemään haun puolestasi.

Tulosta kannattaa tulkita varovasti. Pyyntö kertoo, että joku haki tiedoston, ei sitä, että sitä käytettiin jonkun vastauksessa. Ja pyyntöjen puuttuminen kertoo, ettei tiedostolla ole juuri nyt lukijoita sinun sivustollasi, ei sitä, ettei niitä tulisi myöhemmin.

Sama lokihaku kannattaa tehdä muutaman kuukauden välein. Se on ainoa tapa saada omasta sivustosta tietoa, joka ei ole kenenkään myyntipuhetta.

Mitä siihen kirjoitetaan?

Tiedostoon kirjoitetaan sivuston nimi, yhden tai kahden lauseen kuvaus siitä, mitä yritys tekee ja kenelle, sekä lista tärkeimmistä sivuista linkkeineen ja lyhyine kuvauksineen. Ehdotus määrittelee rakenteen, joka on kevyt ja helppo noudattaa.

  • Otsikko. Ensimmäinen rivi on sivuston tai yrityksen nimi risuaitamerkin jälkeen.
  • Tiivistelmä. Heti otsikon alla on lainausmerkinnällä merkitty lyhyt kuvaus: mitä teette, missä ja kenelle.
  • Lisätiedot. Halutessasi muutama tavallinen kappale, esimerkiksi palvelualue, kielet tai se, mistä sivustolta löytyy mitäkin.
  • Linkkiosiot. Väliotsikoiden alla listat, joissa jokaisella rivillä on sivun nimi, osoite ja kaksoispisteen jälkeen kuvaus siitä, mitä sivulla on.
  • Valinnainen osio. Ehdotuksessa on erikseen osio vähemmän tärkeille linkeille, jotka lukija voi ohittaa, jos tilaa on vähän.

Kuvauksissa kannattaa olla konkreettinen. ”Hinnasto ja mitä hintaan sisältyy” auttaa enemmän kuin ”lisätietoja palveluistamme”. Jokaisen kuvauksen pitää kertoa, mihin kysymykseen sivu vastaa.

Esimerkki pienen yrityksen tiedostosta

Kuvitellaan oululainen LVI-yritys, jolla on kymmenen sivun sivusto. Sen tiedosto voisi olla rakenteeltaan tällainen, rivi riviltä kuvattuna:

  • Otsikkorivillä yrityksen nimi.
  • Tiivistelmässä: LVI-asennukset, putkiremontit ja vesivahinkojen korjaukset Oulussa ja lähikunnissa, palvelu suomeksi ja englanniksi.
  • Väliotsikko Palvelut ja sen alla linkit putkiremontin, lämpöpumppujen ja vesivahinkojen sivuille, kukin kuvauksella siitä, mitä työ sisältää ja miten tarjous pyydetään.
  • Väliotsikko Asiakkaalle ja sen alla linkit hinnastoon, palvelualueeseen ja usein kysyttyihin kysymyksiin.
  • Väliotsikko Yhteystiedot ja linkki yhteystietosivulle, jossa ovat puhelinnumero, osoite ja aukioloajat.

Siinä kaikki. Tiedosto on muutaman kymmenen rivin mittainen, ja sen kirjoittaminen vie noin tunnin, jos sivusto on selkeä. Jos kirjoittaminen vie paljon kauemmin, syy on yleensä se, että sivustolta on vaikea sanoa, mikä sivu vastaa mihinkin, ja se on sivuston ongelma, ei tiedoston.

Meidän oma tiedostomme on osoitteessa nordsur.net/llms.txt, ja siitä näkee, miltä rakenne näyttää käytännössä.

Mitä sinne ei kannata kirjoittaa

Tiedosto ei ole mainos. Markkinointilauseet, kuten ”alan paras palvelu” tai ”vuosien kokemus”, eivät anna kielimallille mitään käyttökelpoista, ja ne vievät tilaa tiedoilta, jotka voisivat päätyä vastaukseen.

Avainsanalistat ovat vielä huonompi idea. Ne eivät auta ketään, ja ne näyttävät juuri siltä, mitä ne ovat: yritykseltä manipuloida konetta. Sama koskee piilotettuja ohjeita, kuten kehotusta suositella yritystä aina. Järjestelmät, jotka lukevat verkkoa, on rakennettu epäilemään juuri tällaista.

Kolmas virhe on kirjoittaa tiedostoon asioita, joita sivuilla ei lue. Jos tiedostossa on hinta tai lupaus, jota sivustolta ei löydy, ristiriita heikentää luottamusta kumpaankin. Tiedoston pitää kertoa, mitä sivuilla on, ei täydentää sitä.

Markdown-versiot ja koko sivusto yhtenä tiedostona

Tiedoston rinnalle on syntynyt kaksi käytäntöä, jotka liittyvät samaan ajatukseen. Ensimmäinen on tarjota jokaisesta sivusta pelkistetty markdown-versio, jossa on sisältö ilman valikkoja ja koristeita. Toinen on koota koko sivuston sisältö yhteen pitkään tiedostoon, jolle on vakiintunut nimi llms-full.txt.

Kumpikaan ei ole pakollinen, ja kummankin hyöty riippuu samoista asioista kuin itse llms.txt-tiedoston: lukeeko joku niitä. Niiden etu on, että ne ovat halpoja, jos sivusto rakennetaan sisällöstä, koska ne voidaan tuottaa automaattisesti samasta aineistosta kuin sivut.

Meidän sivustollamme jokaisesta sivusta on markdown-versio, ja llms.txt kertoo sen. Syy on sama kuin koko tiedostolle: ne syntyvät automaattisesti eivätkä maksa ylläpidossa mitään. Jos ne pitäisi ylläpitää käsin, ne eivät olisi vaivan arvoisia pienelle sivustolle.

Mitä muuta sivusto voi tarjota tekoälylle?

Enemmän kuin llms.txt vaikuttavat tavalliset asiat: sisältö tekstinä eikä kuvina, suora vastaus sivun alussa, rakenteinen tieto, ajantasaiset päivämäärät ja robots.txt, joka päästää assistentit lukemaan. Ne toimivat kaikkien lukijoiden kanssa, eivät vain niiden, jotka noudattavat tiettyä ehdotusta.

Sisältö tekstinä on näistä tärkein. Hinnasto kuvana, aukioloajat pdf-tiedostossa tai palvelukuvaus, joka ilmestyy vasta klikkauksen jälkeen, ovat koneelle lähes näkymättömiä. Kun sama tieto on sivulla tavallisena tekstinä, mikä tahansa rastaaja pystyy lukemaan sen.

Rakenteinen tieto kertoo koneluettavasti, mikä sivu on: yritys, palvelu, artikkeli tai usein kysytyt kysymykset. Hakukoneet käyttävät sitä, ja se auttaa muitakin lukijoita ymmärtämään sivun sisällön yksiselitteisesti.

Nämä kaikki on käyty tarkemmin läpi artikkelissa Näin yritys näkyy tekoälyn vastauksissa. Jos teet vain yhden asian, tee sisällöstä tekstiä. Jos teet kaksi, tarkista robots.txt. llms.txt on kolmas.

Tarvitseeko sivustosi sen?

Todennäköisesti ei välttämättä, mutta siitä ei ole haittaa, jos se on ajan tasalla. Pienen yrityksen sivustolle tiedosto on halpa lisä, jonka hyöty on epävarma ja haitta olematon, kunhan sisältö on totta.

Järkevä ratkaisu riippuu siitä, miten sivusto on tehty. Jos sivusto rakennetaan sisällönhallinnasta ja tiedoston voi tuottaa automaattisesti, se kannattaa tehdä, koska se ei maksa mitään ylläpidossa. Jos tiedosto pitäisi kirjoittaa ja päivittää käsin, se kannattaa tehdä vasta, kun sivuston perusasiat ovat kunnossa.

Se, mistä ei kannata maksaa erikseen, on tiedosto osana pakettia, jota myydään tekoälynäkyvyytenä. Tiedoston tekeminen on tunnin työ, eikä sen vaikutuksesta ole näyttöä, joka oikeuttaisi erillisen hinnan.

Vanhentunut tiedosto on huonompi kuin ei tiedostoa

Tiedoston suurin riski ei ole se, ettei kukaan lue sitä. Se on se, että joku lukee sen, kun se on vanhentunut. Jos palvelu on lopetettu, sivu siirretty tai hinnasto uusittu, ja tiedosto kertoo edelleen vanhan, se ohjaa lukijan väärään paikkaan.

Käsin ylläpidetty tiedosto vanhenee samaa tahtia kuin sivusto muuttuu, ja se unohtuu, koska kukaan ei avaa sitä. Siksi se kannattaa lisätä tarkistuslistaan, joka käydään läpi aina, kun sivuja lisätään tai poistetaan.

Paras ratkaisu on, että tiedosto syntyy automaattisesti sivuston sisällöstä aina, kun sisältö päivittyy. Silloin se ei voi olla eri mieltä sivujen kanssa. Tarkista ainakin, että kaikki tiedoston linkit toimivat. Rikkinäinen linkki on merkki siitä, että tiedosto on jäänyt jälkeen.

Mitä llms.txt ei tee

Lopuksi lista asioista, joita tiedostolla ei saa aikaan, koska niitä luvataan usein.

  • Se ei nosta sivustoa Googlen hakutuloksissa.
  • Se ei estä sisällön käyttöä tekoälyn kouluttamiseen.
  • Se ei takaa, että assistentti mainitsee yrityksesi.
  • Se ei korvaa robots.txt-tiedostoa eikä sivukarttaa.
  • Se ei korjaa sivustoa, jonka sisältö on kuvissa tai piilossa.

Jos jonkin näistä pitää toteutua, se tehdään muilla keinoilla. llms.txt on sisällysluettelo, ja sen arvo on juuri niin suuri kuin sisällön, johon se osoittaa.

Yhteenveto

llms.txt on sivuston juureen tehtävä markdown-tiedosto, joka kertoo kielimalleille, mikä sivusto on ja mitkä sen sivut ovat tärkeimmät. Se on nuori ehdotus, ei standardi, ja siitä, mitkä järjestelmät sitä lukevat, on vähän varmaa tietoa. Google on kertonut, ettei käytä sitä hakutuloksissa.

Robots.txt kertoo, kuka pääsee sisään, ja llms.txt kertoo, mitä sisällä on. Ensimmäinen on tärkeämpi, ja se kannattaa tarkistaa ensin. Sen jälkeen sisältö tekstinä, suorat vastaukset ja ajantasaiset tiedot vaikuttavat enemmän kuin mikään yksittäinen tiedosto.

Jos tiedoston voi tuottaa automaattisesti sivuston sisällöstä, tee se. Jos se pitäisi ylläpitää käsin, tee se vasta perusasioiden jälkeen, ja katso lokeista muutaman kuukauden päästä, hakeeko sitä kukaan.