Vai al contenuto
pistacchio

[IPB3] Robots.txt

Recommended Posts

pistacchio

A quanto pare dalla 3.1 in poi verrà generato automaticamente un robot che risolve questo problema:

dal blog ufficilale:

De-emphasize unimportant pages

IP.Board 3.1 will now issue a meta robots tag with the value "noindex" for some common non-content pages. Examples include the login page, the register page, and the lost password request page. The purpose of the tag is to suggest to the search engine not to index the page at all. Every IP.Board installation on the internet will have effectively the same login, registration and lost password pages, and these pages have no valuable content that search engine spiders want to index anyways. By de-emphasizing unimportant pages, more emphasis is placed on the content-heavy pages we want search engine spiders to spend their time on.

Condividi questo messaggio


Link di questo messaggio
Condividi su altri siti
pistacchio

Per IPB3.0, se volessi rimuovere dall'indicizzazione di google le pagine degli utenti, basta scrivere nel robot questo:


User-agent: *
Disallow: /forum/user/

?

Condividi questo messaggio


Link di questo messaggio
Condividi su altri siti
pistacchio

Grazie per le risposte.

Il mio dubbio era sorto dal fatto che la directory "/user/" in realtà non esiste, ma è opera del rewrite per rendere seo-friendly le URLs.

Esiste una lista di voci consigliate da inserire nel robot per la IPB3 ?

Condividi questo messaggio


Link di questo messaggio
Condividi su altri siti
Domenico Amato

Esiste una lista di voci consigliate da inserire nel robot per la IPB3 ?

User-agent: *
Disallow: /forum/admin/
Disallow: /forum/cache/
Disallow: /forum/converge_local/
Disallow: /forum/hooks/
Disallow: /forum/ips_kernel/
Disallow: /forum/retail/
Disallow: /forum/public/js/
Disallow: /forum/public/style_captcha/
Disallow: /forum/public/style_css/
Disallow: /forum/index.php?app=core&module=task
Disallow: /forum/index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /forum/index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /forum/index.php?app=forums&module=extras&section=forward
Disallow: /forum/index.php?app=members&module=messaging
Disallow: /forum/index.php?app=members&module=chat
Disallow: /forum/index.php?app=members&module=search
Disallow: /forum/index.php?app=members&module=search&do=active
Disallow: /forum/index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$

Condividi questo messaggio


Link di questo messaggio
Condividi su altri siti
pistacchio

Hai ragione, non lo avevo visto!

Gli sviluppatori hanno annunciato che con la 3.1 ci saranno miglioramenti proprio sul robots. Probabilmente questa lista verrà arricchita.

Condividi questo messaggio


Link di questo messaggio
Condividi su altri siti
pistacchio

Ho visto che google indicizza anche le pagine "chi ha risposto a questa discussione", che hanno questa struttura:

dominio.it/forum/index.php?app=forums&module=extras&section=stats&do=who&t=xxxx

con xxxx che corrisponde all'ID della discussione.

Credo sia abbastanza inutile come contenuto da far indicizzare. Cosa bisogna aggiungere al robots per escluderlo?

Condividi questo messaggio


Link di questo messaggio
Condividi su altri siti
ZioRip

ecco, un'altra cosa che non so... io sono gnoranto...

Ho una lista di cartelle disallow: /roba mia che ho aggiunto al sito

Ma a che serve mettere il disallow?

Il fatto che non lo vedano i robot non lo indicizza su google (o gli altri motori di ricerca), ma poi fa qualcos'altro?

Condividi questo messaggio


Link di questo messaggio
Condividi su altri siti
ZioRip

Interessante, grazie :D

Non vado oltre perchè finisco ot... magari riprendo l'argomento in altra sezione :D

Condividi questo messaggio


Link di questo messaggio
Condividi su altri siti
ZioRip

Ok, allora approfitto :D

La domanda successiva era: ma allora, se io volessi che qualcuno non potesse accedere a quelle cartelle tramite http?

Condividi questo messaggio


Link di questo messaggio
Condividi su altri siti
haldo

Ok, allora approfitto :D

La domanda successiva era: ma allora, se io volessi che qualcuno non potesse accedere a quelle cartelle tramite http?

ciao mi è sembrato di capire che sei sotto ARUBA, io me ne sono andato per disperazione, comunque se sei sotto aruba segui questa guida

http://vademecum.aruba.it/start/linux/htaccess.asp

invece se hai un server dedicato o virtuale basta usare ul file .htaccess nella cartella che vuoi far accedere tramite password, qui una rapida e pratica guida

http://www.schiaccianoci.net/2006/01/25/apache2-come-proteggere-una-cartella-con-password/

ciao

Condividi questo messaggio


Link di questo messaggio
Condividi su altri siti
najaru

comunque l'accesso alle cartelle in generale si gestisce tramite i permessi settati via ftp.

777 è l'accesso totale.

644 dovrebbe essere un accesso bloccato.

Condividi questo messaggio


Link di questo messaggio
Condividi su altri siti
ZioRip

Grazie :D

Francamente, dopo averne provati tanti, sono tornato ad Aruba per la disperazione.... Ne parlano tutti così male, eppure io non ho mai avuto problemi.

Mi promettono spazio e traffico illimitato e, avendo un podcast con circa 40000 abbonati, posso dire che ho spazio e traffico illimitati, mentre altri mi hanno sollevato la questione delle connessioni.. troppe connessioni contemporaneamente... e dico io... è un sito, non sto condividendo spazio e traffico illimitati con una persona...

Non sono al 100% soddisfatto di aruba (sono su macchina condivisa.. me ne stavo dimenticando), ma devo dire che tra tutti quelli che ho provato è sicuramente il meno peggio :D

Condividi questo messaggio


Link di questo messaggio
Condividi su altri siti
najaru

Attenzione che su aruba lo spazio non è illimitato. Più cresce lo spazio occupato e più ti diminuiscono la banda e il sito rallenta.

In più come puoi vedere dal tuo acp, hai 64M di memory limit mentre IPB ne richiederebbe 128 minimi

comunque aruba non è male, peccato il dover comprare i database separatamente

Condividi questo messaggio


Link di questo messaggio
Condividi su altri siti
ZioRip

Suggerimenti per un servizio Hostinguser_popup.png (non server dedicato... già mi costa abbastanza così il sito) con spazio illimitato (ho veramente tanta tanta tanta roba) e traffico illimitato che soddisfi i requisiti di IP.Board?

Dall'ultimo aggiornamento (martedi scorso) mi sembrava che il test dicesse che tutti i requisiti erano soddisfatti...

Condividi questo messaggio


Link di questo messaggio
Condividi su altri siti
najaru

Seguo più siti che hanno aruba linux, e non ci sono grossi problemi. Puoi anche stare li finchè non ti scade.....

Il 64M è quasi sicuro, controlla nei dati php. Support - PHP INFO

Condividi questo messaggio


Link di questo messaggio
Condividi su altri siti
haldo

Per ben valutare serve sapere

dimensioni del sito

banda mese che usi

visitatori unici

pagine generate

questi ultimi due valori per valutare possibili entrate da adsense (io con solo adsense mi ci pago il server dedicato)

budget a disposizione.

Io sono stato per anni su aruba, ma poi diventava sempre piu lento, ogni tanto mi sparivano dei file di grosse dimensioni, il db mysql era il principale problema lentissimo e si corrompeva quasi ogni settimana.

Ora sono su un server dedicato e faccio come mi pare sia per spazio che per banda.... sto pensando di affittare un po di spazio visto che uso non piu del 20% di ram e non piu del 10% di processore!!! ma non è una cosa che farò adesso...al momento sono troppo impegnato a completare bene la migrazione, poi si vedrà.

ciao

Condividi questo messaggio


Link di questo messaggio
Condividi su altri siti
najaru

Forse me l'avevi già detto, sei sempre su aruba col dedicato o da un altra parte?

Io non ho mai usato un dedicato, è difficile da usare?

Condividi questo messaggio


Link di questo messaggio
Condividi su altri siti
ZioRip

Credo che il sito, escluso il superfluo, sia superiore ai 10 gb (ma questo è un valore in continua crescita per via dei video corsi in HD che cerco disperatamente di vendere).

La banda non saprei come calcolarla, se non dalle statistiche di IP.Downloads

Per tutto il resto, non avendo segreti, posso anche farti accedere alle stitiche di analytics.... :D

Budget?... sono sotto..... il minimo indispensabile.

Come dicevo prima, sarei estremamente felice di trovare qualcuno che sappia gestire bene la cosa (e dividere la torta) perchè credo che il sito abbia un certo potenziale, ma io non so fare il webmaster e vorrei non farlo più.

Condividi questo messaggio


Link di questo messaggio
Condividi su altri siti

Crea un account o accedi per lasciare un commento

You need to be a member in order to leave a comment

Crea un account

Iscriviti per un nuovo account nella nostra comunità. È facile!

Registra un nuovo account

Accedi

Sei già registrato? Accedi qui.

Accedi Ora

×