Google crawler indhold i forms

Skrevet d. 11. april 2008 kl. 22:20 af Lars Bachmann
Kategori: Google,SEO

15 kommentarer


Google er begyndt at eksperimentere med at crawle indhold i forms. Det vil sige at HTML formularer, og rullemenuer som nedenstående nu i princippet kan indekseres af Google.

Google har til aften bekræftet dette på deres officielle blog, og Matt Cutts har også skrevet lidt om.

Da jeg læste det, tænkte jeg med det samme at her var basis for et blogindlæg som mine læsere kunne have interesse i, så jeg skyndte mig at skrive et par stikord ned i en draft, men nu kan jeg så se at Rosenstand er kommet mig i forkøbet ;) Så jeg skulle åbentbart ikke have tøvet så længe med dette indlæg?

Men nu hvor Rosenstand har skrevet lidt om det, vil jeg ikke gå mere i detaljer med hvad dette går ud på, det kan du i stedet læse hos ham.

I stedet vil jeg bruge dette indlæg til at teste om Google har i sinde at indeksere mine 2 testsider som jeg udelukkende linker til i min <select> box ovenover.

Jeg bruger en ekstern counter (Ikke google analytics), til at holde øje med eventuel trafik på de 2 testsider, og denne test er kun brugbar hvis I ikke linker til siderne.

Hvis der skulle komme en bot forbi og indeksere dem, skal jeg nok skrive om det.

Andre indlæg i samme kategori

Var det ikke det du søgte? så prøv Google

15 kommentarer til “Google crawler indhold i forms”


  1. Frank H M

    2 years ago

    Hvis dine sider bliver crawlet, må det siges at være noget af en ros. For at citere fra Hr. Cutts: “We only do this for a small number of high-quality sites right now”.

    Så bliver dine sider crawlet, er det ensbetydende med et kvalitetsstempel fra selveste Google. :)


  2. Riisager

    2 years ago

    De bliver nød til at være lidt mere hemmelige, da de heller ikke må besøges at en med GoogleToolbar


  3. Søren Sprogø

    2 years ago

    Heh ja, jeg tror Rosenstand skulle have brugt lidt længere tid på at få sin post korrekt, frem for at få den hurtigt ud :-P


  4. Rasmus Sørensen

    2 years ago

    Jeg har hørt Matt sige adskillige gange, at Googlebot forsøger at ALT, der indeholder en http:// eller en href. Det undrer mig slet ikke, at de selvfølgelig vil forsøge at finde information i forms og andet godt.

    vi har jo også set dem lave “requests” på css, javascript og andre filtyper m.m.

    Ligesom vi SEO’er tester, gør Google det selvfølgelig også.
    Og ja, Rosenstand budre nok lave en lidt mere eksakt og isoleret test, hvis han skal være helt sikker på resultatet :)


  5. Rasmus Sørensen

    2 years ago

    Jeg har hørt Matt sige adskillige gange gennem årene, at Googlebot forsøger at crawle ALT, der indeholder en http:// eller en href. Det undrer mig slet ikke, at de selvfølgelig vil forsøge at finde information i forms og andet godt.

    Vi har jo også set dem lave “requests” på css, javascript og andre filtyper m.m.

    Ligesom vi SEO’er tester, gør Google det selvfølgelig også.

    Og ja, Rosenstand budre nok lave en lidt mere eksakt og isoleret test, hvis han skal være helt sikker på resultatet :)


  6. Rosenstand

    2 years ago

    Åh ja – jeg ved vist alt for lidt om det internet. Tænk hvad jeg ikke kunne drive det til, hvis jeg var klog nok. Men jeg må nøjes med det, jeg har – og så kalde tingene det, jeg tror, det hedder. Jeg havde faktisk forstået det således, at Google nu ville crawle indholdet i forms ved at udføre queries i dem – og så følge de links, der opstår som følge af det. Og derfor skrev jeg det sådan, som nu engang en amatør på mit niveau kan formulere det. Beklager min uvidenhed.


  7. Lars Bachmann

    2 years ago

    -> Riisager
    Hvilken forskel vil det gøre hvis de pågældende sider blev set af en browser med Google Toolbar?
    Google vil selvfølgelig kunne finde ud af at de eksisterede, men de vil vel ikke blive indekseret på den baggrund?


  8. Rosenstand

    2 years ago

    Hej Lars
    Du kan faktisk godt risikere, at Google crawler en side, fordi den har fundet den via de logs, din toolbar sender. Adam Lasnik bekræftede faktisk dette i Stockholm sidste år.


  9. Bachmann

    2 years ago

    Så skal man da passe på med intranet, og andre “lukkede” systemer? Men en ting er jo at de crawler siden, men kan de også finde på at indeksere den og vise den i SERP?


  10. Rosenstand

    2 years ago

    Der bliver jeg dig svar skyldig – det kom han ikke nærmere ind på. Svaret var bare, at “Google kan finde og crawle indhold på nettet via de oplysninger, som Google Toolbar sender retur”. Citat slut.


  11. Søren Sprogø

    2 years ago

    Bachmann: Hvis Google kan læse din side, så ryger den med i indekset! Med mindre du fortæller den anderledes, enten via robots.txt eller de tilsvarende META tags.

    “Lukkede” systemer er forhåbentligt beskyttet af en eller anden form for login funktionalitet. Så selvom der f.eks. er links til en side, så får GoogleBot ikke adgang til indholdet.

    Men der har da tidligere været mange grusomme historier om folk der har lagt fortrolige informationer på nettet et sted, hvor de har troet ingen kendte adressen. Men GoogleBot har fundet frem til det alligevel (evt. via Toolbaren), og pludseligt har folk kunnet Google sig frem til personnumre, kontioplysninger, sygehistorik osv. osv.


  12. Vadskær

    2 years ago

    Når nu man skriver sine blog-indlæg og så først poster dem i løbet af ugen (som du tidligere har beskrevet), ja så løber man jo den risiko, at andre kommer først.

    Måske du skulle prøve med “dug-friske nyheder”…
    ;o)


  13. Rasmus Sørensen

    2 years ago

    Sprogø har helt ret. Hvis Google kan komme ind på et intranet, så crawler og i mangle tilfælde indekserer de også indholdet. Men det er jo ret nemt at holde botten ude – enten via en simpel robots.txt ekskludering, via meta name robots no index, no follow eller via en blokreing i htaccess.

    Som søren også skriver, kan man, hvis man gider grave lidt tilbage i tiden, finde adskillige eksempler på, at Google har indekseret indhold fra ekstra-/intranet, hvilket har bevirket at man kunne finde.. eerrm.. uhensigtsmæssige informationer på kreative Google søgninger.

    Google’s toolbar er et helt kapitel for sig selv. Den toolbar er noget fanden har skabt i vrede og solgt til Google. Hvis man tænker lidt over, hvilke informationer, som google rent faktisk kan grave ud af toolbar data, bliver man lidt paranoid:

    - de ved præcist hvilke sider du besøger, hvor langt tid, hvor du kommer fra og hvor du bevæger dig hen-.

    - de ved om klikker på Adsense eller konkurrenternes links

    - de ved om du besøger dine egne sites (data fra Adsense, gmail, adwords, toobaren, etc etc.)

    - de ved om dit site er godt eller skidt (kommer du tilbage til google efter at besøgt netop dit site

    - de kan finde sites og sider, der ikke linkes til fra andre steder

    Sidste punkt har jeg set mange mange gange.

    Moralen er derfor: afinstaller den skide toolbar og lev et bedre liv. Det store danske SEOP-firma jeg var ansat i 8 år havde en (uofficiel) politk om at google’s toolbar ikke måtte installeres og da slet ikke med Pagernk slået til.

    Paranoid? Nej, bare glad for mine placeringer på Google :)


  14. Rosenstand

    2 years ago

    Rasmus: Du har uigendriveligt ret! ALDRIG have den installeret hvis du arbejder med bare det mindste på nettet, du ikke har lyst til at dele med store G.

1 Trackbacks

  1. Google toolbar kan være farlig:
    13. april 2008 kl. 22:45

    [...] Jeg skrev i foregårs et indlæg om Google og crawling og det der i kommentarene dertil at jeg blev opmærksom på ovenstående problemstilling. Så hvis du ikke har læst indlægget, så kan du gøre det her, og husk at tage kommentarene med: http://www.larsbachmann.dk/google-crawler-indhold-i-forms.html [...]

Skriv en kommentar

Tilmeld dig Conseo's nyhedsbrev.