Vai al contenuto
danielegenova

Problemi con il file robots.txt

Recommended Posts

danielegenova

Buonasera,

ho creato una sitemaps per far indicizzare il mio forum (erano settimane che non veniva indicizzato). Dopo meno di 24 ore Google lo ha visto.

A distanza di pochi giorni Google non lo rileva più. Il tools Web Master mi dice:

Nel corso delle ultime 24 ore, Googlebot ha rilevato 638 errori durante il tentativo di accedere al tuo file robots.txt. Per assicurarci di non aver eseguito la scansione di pagine elencate in tale file, abbiamo posticipato la nostra scansione. La percentuale complessiva di errori relativi al file robots.txt del tuo sito è del 87.4%.

Il file robots.txt è quello di default.

Ho letto che si può anche non avere. Se lo rimuovo faccio giusto?

Grazie

Condividi questo messaggio


Link di questo messaggio
Condividi su altri siti
gianpiero

meglio non averlo che con errori

comunque le info date col contagocce non possono aiutarci a capir il problema

se vuoi una opinione sarebbe almeno il caso di sapere com'è compilato e dove lo hai messo ( rispetto al forum e root )

Condividi questo messaggio


Link di questo messaggio
Condividi su altri siti
danielegenova

meglio non averlo che con errori

comunque le info date col contagocce non possono aiutarci a capir il problema

se vuoi una opinione sarebbe almeno il caso di sapere com'è compilato e dove lo hai messo ( rispetto al forum e root )

Grazie della risposta.

Il file robots è quello di default:

# HOW TO USE THIS FILE:

# 1) Edit this file to change "/forum/" to the correct relative path from your base URL, for example if your forum was at "domain.com/sites/community", then you'd use "/sites/community/"

# 2) Rename the file to 'robots.txt' and move it to your web root (public_html, www, or htdocs)

# 3) Edit the file to remove this comment (anything above the dashed line, including the dashed line

#

# NOTES:

# Even though wild cards and pattern matching are not part of the robots.txt specification, many search bots understand and make use of them

#------------------------ REMOVE THIS LINE AND EVERYTHING ABOVE SO THAT User-agent: * IS THE FIRST LINE ------------------------------------------

User-agent: *

Disallow: /forum/admin/

Disallow: /forum/cache/

Disallow: /forum/converge_local/

Disallow: /forum/hooks/

Disallow: /forum/ips_kernel/

Disallow: /forum/retail/

Disallow: /forum/public/style_captcha/

Disallow: /forum/index.php?app=core&module=task

Disallow: /forum/index.php?app=forums&module=moderate&section=moderate

Disallow: /forum/index.php?app=forums&module=extras&section=forward

Disallow: /forum/index.php?app=members&module=messaging

Disallow: /forum/index.php?app=members&module=chat

Disallow: /forum/index.php?app=members&module=search

Disallow: /forum/index.php?app=members&module=search&do=active

Disallow: /forum/index.php?&unlockUserAgent=1

Disallow: /forum/*app=core&module=global&section=reputation

Disallow: /forum/*app=core&module=usercp

Disallow: /forum/*app=core&module=usercp

Disallow: /forum/*app=members&module=messaging

Disallow: /forum/*&p=

Disallow: /forum/*&pid=

Disallow: /forum/*&hl=

Disallow: /forum/*&start=

Disallow: /forum/*view__getnewpost$

Disallow: /forum/*view__getlastpost$

Disallow: /forum/*view__old$

Disallow: /forum/*view__new$

Disallow: /forum/*view__getfirst$

Disallow: /forum/*view__getprevious$

Disallow: /forum/*view__getnext$

Disallow: /forum/*view__getlast$

Disallow: /forum/*&view=getnewpost$

Disallow: /forum/*&view=getlastpost$

Disallow: /forum/*&view=old$

Disallow: /forum/*&view=new$

Disallow: /forum/*&view=getfirst$

Disallow: /forum/*&view=getprevious$

Disallow: /forum/*&view=getnext$

Disallow: /forum/*&view=getlast$

Disallow: /forum/*?s=

Disallow: /forum/*&s=

Disallow: /forum/index.php?app=core&module=global&section=login&do=deleteCookies

Disallow: /forum/index.php?app=forums&module=extras&section=rating

Disallow: /forum/index.php?app=forums&module=forums&section=markasread

Disallow: /forum/*&do=who

Disallow: /forum/*&section=dname

Messo nella cartella forum

Nel frattempo ho visto che il file non era robots.txt ma robot.txt

Può essere quello il motivo?

In ogni caso ho sottoposto a Google di riesaminarlo...

Condividi questo messaggio


Link di questo messaggio
Condividi su altri siti
gianpiero

togli il robots.txt che hai in root ( quello di wordpress )

metti il robots.txt unico per tutto il sito nella root al posto di quello

prima aggiusta i percorsi esempio:

Disallow: /forum/admin/

deve descrivere esattamente dove sia la cartella admin rispetto alla root

e tutte le altre, esempio:

Disallow: path/to/cartella/pippo/forum/admin/

togli

# HOW TO USE THIS FILE:
# 1) Edit this file to change "/forum/" to the correct relative path from your base URL, for example if your forum was at "domain.com/sites/community", then you'd use "/sites/community/"
# 2) Rename the file to 'robots.txt' and move it to your web root (public_html, www, or htdocs)
# 3) Edit the file to remove this comment (anything above the dashed line, including the dashed line
#
# NOTES:
# Even though wild cards and pattern matching are not part of the robots.txt specification, many search bots understand and make use of them
#------------------------ REMOVE THIS LINE AND EVERYTHING ABOVE SO THAT User-agent: * IS THE FIRST LINE ------------------------------------------

la prima riga deve essere

User-agent: *

Condividi questo messaggio


Link di questo messaggio
Condividi su altri siti
Max

il nome corretto del file è robots.txt e leggi bene le ultime righe dice, l'ultima in particolare dice che devi eliminare le prime voci lasciando come prima riga "User agent", in pratica devi eliminare queste:

# HOW TO USE THIS FILE:

# 1) Edit this file to change "/forum/" to the correct relative path from your base URL, for example if your forum was at "domain.com/sites/community", then you'd use "/sites/community/"

# 2) Rename the file to 'robots.txt' and move it to your web root (public_html, www, or htdocs)

# 3) Edit the file to remove this comment (anything above the dashed line, including the dashed line

#

# NOTES:

# Even though wild cards and pattern matching are not part of the robots.txt specification, many search bots understand and make use of them

#------------------------ REMOVE THIS LINE AND EVERYTHING ABOVE SO THAT User-agent: * IS THE FIRST LINE ------------------------------------------

;)

Condividi questo messaggio


Link di questo messaggio
Condividi su altri siti
gianpiero

e se per esempio nel file robots.txt si lasciasse solo questo?

User-agent: *

Disallow:

cosa comporterebbe?

finiamo il discorso di Daniele prima, non facciamo sempre come il prezzemolo :D

Condividi questo messaggio


Link di questo messaggio
Condividi su altri siti
BomAle

per saperne di più ti posso dire che da questo esempio


User-agent: hackerbot
Robot-version: 2.0
Request-rate: 1/30m # un documento ogni 30 minuti
Allow: *index.html # concedere alle pagine di indice
Disallow: * # ma niente altro

puoi davvero fare di tutto basta usare le 5 direttive disponibili!... ci sono inoltre moltissimi siti per la generazione di robots.txt

Per il Request-rate ora credo si usi Crawl-delay

Modificato da Skillman_92

Condividi questo messaggio


Link di questo messaggio
Condividi su altri siti
danielegenova

Grazie! Siete gentilissimi!

Vi aggiorno prima di ciò che è accaduto:

1) ho rinominato il file robot.txt in robots.txt

2) in webmaster tools sotto "visualizza come google" gli ho ridato il link del forum

Questa mattina il forum è stato indicizzato.

Mi consigliate di fare le modifiche segnalate qui sopra?

Grazie ;)

Condividi questo messaggio


Link di questo messaggio
Condividi su altri siti
gianpiero

stai mescolando 2 cose diverse, legate tra loro ma con intenti diversi e opposti

  • robots dice a Google cosa NON indicizzare
  • la sitemap dice invece QUALI url comprendere nei risultati di ricerca

Ora se il sito è pippo.it ed il forum è in pippo.it/forum

il robots.txt deve essere messo in pippo.it

La sitemap che hai creato non è dinamica, ma creata una tantum e statica giusto ?

Va bene per siti quasi immobili, non per un forum

Quindi metti IPSEO oppure upgrade alla nuova versione della board.

Parere personale ? Metti IP.SEO, però è parere personale ....

Condividi questo messaggio


Link di questo messaggio
Condividi su altri siti
danielegenova

stai mescolando 2 cose diverse, legate tra loro ma con intenti diversi e opposti

  • robots dice a Google cosa NON indicizzare
  • la sitemap dice invece QUALI url comprendere nei risultati di ricerca

Questo era chiaro ma volevo essere completo nell'esposizione e comprendere più variabili possibili.

Ora se il sito è pippo.it ed il forum è in pippo.it/forum

il robots.txt deve essere messo in pippo.it

Ottimo, grazie!

La sitemap che hai creato non è dinamica, ma creata una tantum e statica giusto ?

Esatto! L'ho creata perchè Google non mi considerava...

Va bene per siti quasi immobili, non per un forum

Quindi metti IPSEO oppure upgrade alla nuova versione della board.

Parere personale ? Metti IP.SEO, però è parere personale ....

Volevo upgradare ma essendo un novello di iPboard sto attendendo. Installare IP.SEO mi "dubbia" un po' perchè non so se va disinstallato prima di upgradare e cosa può comportare la sua presenza nell'aggionamento alla 3.4

in che cartella è il tuo forum? in root o in una cartella chiamata "forum"?

Nella cartella forum

Condividi questo messaggio


Link di questo messaggio
Condividi su altri siti
gianpiero

Volevo upgradare ma essendo un novello di iPboard sto attendendo. Installare IP.SEO mi "dubbia" un po' perchè non so se va disinstallato prima di upgradare e cosa può comportare la sua presenza nell'aggionamento alla 3.4

puoi mettere IP.SEO tranquillamente, stai un attimo a farlo e quando farai l'upgrade non avrai problemi ( da quel che ho letto )

se hai una v. 3.3.4 puoi lasciarla come sta per un po' di mesi

Condividi questo messaggio


Link di questo messaggio
Condividi su altri siti
danielegenova

puoi mettere IP.SEO tranquillamente, stai un attimo a farlo e quando farai l'upgrade non avrai problemi ( da quel che ho letto )

se hai una v. 3.3.4 puoi lasciarla come sta per un po' di mesi

Approfitto ancora della vostra gentilezza: una guida per l'installazione di "app"?

Condividi questo messaggio


Link di questo messaggio
Condividi su altri siti
gianpiero
Non si va a sovrascrivere files, giusto?

no,

trascinando la cartella admin su quella esistente i files nuovi contenuti vanno a finire nel percorso corretto

trascinando la cartella admin in root del forum i files nuovi in essa contenuti vanno a finire nel percorso corretto

Modificato da gianpiero

Condividi questo messaggio


Link di questo messaggio
Condividi su altri siti

Crea un account o accedi per lasciare un commento

You need to be a member in order to leave a comment

Crea un account

Iscriviti per un nuovo account nella nostra comunità. È facile!

Registra un nuovo account

Accedi

Sei già registrato? Accedi qui.

Accedi Ora

×