Ubuntu Suomen keskustelualueet

Muut alueet => Yleistä keskustelua => Aiheen aloitti: samja - 11.05.08 - klo:18.15

Otsikko: Hakukoneiden latailu
Kirjoitti: samja - 11.05.08 - klo:18.15
Koodia: [Valitse]
<META NAME="ROBOTS" CONTENT="NOFOLLOW">
Jostain syystä äskeinen ei riitä, vaan ja etenkin Google lataa sivustoani tosi paljon.

Sivuillani on foorumilistaus ja kenttinä erilaista tietoa linkit sisältäen. Vaikka sivusto on aika simppeli, muodostaa linkit aikamoisen viidakon. Eli ihan turhaa on googlen latailu ja kuormittaa vain palvelinta.

Löytyykö ongelmaan muukin ratkaisu kuin ohjemallisesti esittää hakukoneille tyhjä tulos turhista latailuista? Näin kai siitä ainakin selviää. Pikkasen työlästä vain.
Otsikko: Vs: Hakukoneiden latailu
Kirjoitti: mgronber - 11.05.08 - klo:18.26
Jostain syystä äskeinen ei riitä, vaan ja etenkin Google lataa sivustoani tosi paljon.

How do I prevent Googlebot from following links on my pages? (http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=33581)

How do I use a robots.txt file to control access to my site? (http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=40360)
Otsikko: Vs: Hakukoneiden latailu
Kirjoitti: samja - 11.05.08 - klo:18.59
Tuo metatagi voi toimia yleisesti, mutta minulla ei vaan satu toimimaan.

Tarkastin ja huomasin, että syy on näköjään historiassa. Nyt google latailee palveluita, joita ei edes ole olemassa. Ja sitä linkkimateriaalia (http://sohvaperuna.net/index.php?mm=foorumeita) riittää.

Vääristä palveluista annetaan virhe, jonka ainakin ihmiset ymmärtävät. Nyt yritin estää googlea indeksoimasta turhia virhesivuja:

Koodia: [Valitse]
<META NAME='ROBOTS' CONTENT='NOINDEX, NOFOLLOW'>
Otsikko: Vs: Hakukoneiden latailu
Kirjoitti: samja - 12.05.08 - klo:08.26

Nyt sitten sain toisen erikoislataajan sivulle. Robotoi sivuja muutaman sekunnin välein.

Viittausivu:  fillbest.com

Sainkohan hyökkäyksen täältä?
Otsikko: Vs: Hakukoneiden latailu
Kirjoitti: Jakke77 - 12.05.08 - klo:10.24
Koodia: [Valitse]
<META NAME="Googlebot" CONTENT="nofollow">
vaikuttaakohan nuo pienet kirjaimet tuohon millään lailla