Forum > Directoare Web >

botul dirpedia

răspunde
28 mai 2011, 15:54:31
speedy18us
mesaje: 16 		recent am pus pe un director niste metode de a impiedica unii boti sa intre. pur si simplu se facea sute de requesturi intr-o ora. requesturile pe care se pot face sint doar GET si POST. alecs, ce fel de request ii dai sa faca la botul dirpedia? pentru ca l-am vazut in lista de boti blocati, iar dupa cuvintele din user agent nu este blocat.
si banuiesc ca asta va afecta la listare fiind un sistem automatizat de testare a directoarelor.
29 mai 2011, 9:41:44
alecs
mesaje: 155 		Botul dirpedia ("DirPedia Spider") face requesturi de tip HEAD. Probabil acesta este motivul.
1 iunie 2011, 8:34:37
speedy18us
mesaje: 16 		vad ca am si fost scos pe lista de directoare offline
1 iunie 2011, 22:09:06
alecs
mesaje: 155 		Inteleg ca ai o problema cu anumiti boti, dar metoda de a filtra tot ce nu e GET sau POST e extrema.
Da, as putea sa fac requesturi GET sau sa fac sa para botul ca fiind un browser, dar nu este elegant si nici normal sa fie asa.

"The HEAD method is identical to GET except that the server MUST NOT return a message-body in the response. The metainformation contained in the HTTP headers in response to a HEAD request SHOULD be identical to the information sent in response to a GET request. This method can be used for obtaining metainformation about the entity implied by the request without transferring the entity-body itself. This method is often used for testing hypertext links for validity, accessibility, and recent modification. "
http://www.w3.org/Protocols/rfc2616/rfc2616-sec9.html
2 iunie 2011, 14:18:53
speedy18us
mesaje: 16 		am dat accept si la requesturile de tip head. am sa incerc sa fac o exceptie numai pt botul dirpedia.
am ales filtrele extreme pt ca unii boti nu asculta ceea ce le ceri (robots.txt sau fac prea multe requesturi). si pe deasupra este un filtru foarte bun daca este combinat cu user agent, pt a scoate toti botii (sau macar cei care i-am detectat) care nu au ce cauta pe un site.
3 iunie 2011, 11:40:06
alecs
mesaje: 155 		OK, daca mai sunt probleme sa ma anunti.
răspunde