Üye Girişi
Bağlan Google+ ile Bağlan Facebook ile Bağlan
Yeni Kayıt
Tüm Forumlar
  • Tüm Forumlar
  • Web Tasarım - Programlama
  • Tasarım ve grafik
  • Bu Konuda
Şimdi Ara

..../robots.txt nedir?

Sıcak Fırsatlarda Tıklananlar
Editörün Seçtiği Fırsatlar
Bu Konudaki Kullanıcılar:
2 Misafir - 2 Masaüstü
5 sn
12
Cevap
0
Favori
762
Tıklama
Daha Fazla
İstatistik
  • Konu İstatistikleri Yükleniyor
Konuya Özel
0 oy
Öne Çıkar
Cevapla
Sayfa: 1
Giriş
Mesaj
  • herkese slm. ark.lar siteme gelen ziyaretçilerin istatistiğine baktığımda 3 şey dikkatimi çok çekiyor:

    1. olmadığı halde /robots.txt 'yi tıklayanlar
    2. /stats kısmına bakanlar
    3.www.whois.sc/ adresinden bana yönlenenler

    /robots.txt nedir ne işe yarar? arama motorlarının robotları öncelikle buraya mı bakar? böyle bir şey oluşturmalı mıyım? faydası var mıdır? (gelen request/isteklere bakarsak bu kadar kişinin rastlantısal olarak olmayan bir yere bakmaları imkansız)

    /stats kısmı bildiğim kadarıyla siteyle ilgili istatistiklerin tutulduğu yer ama neden başkaları bu kısma bakmak ister ve kullanıcı adı ile parola isteyen bu kısma bilmediği halde bakabilir mi? yani bu kısım bir güvenlik açığı yaratabilir mi?

    whois.sc adresi hangi adresin kimin adına kayıtlı olduğunu gösteren bir site (ya da öyle bir şey) siteye baktığımda -sitede kendi adresimi yazdığımda- çok rahat bilgilere ulaşabiliyorum bunu engelleyebilir miyim? ayrıca bu site ne işe yarar? buradaki bilgiler herhangi bir şekilde hack vs. için kullanılabilir mi?

    cvplarsanız çok sevinirim.







  • Arama motorları, belki de sitenizin ziyaretçilerinin büyük bir bölümü onlar sayesinde sizi buluyorlar ve takip etmeye başlıyorlar.

    Bazen arama motorlarına sitenizi siz kaydetmek için başvuruyorsunuz, bazen de arama motorları Robot veya Bot denilen uygulamalarla sizin sitenizi buluyorlar.

    Bu bulma işleminde ise sitenizde bulunan her linki özenle tarayıp kendi veritabanlarına kaydediyorlar. Bu sayede arama sonuçlarında sitenizde ne var ne yok ziyaretçileriniz öğrenebiliyor, bulabiliyor.

    Ancak bazı durumlarda sitenizi indeksleyen bu robotlara hükmetmek isteyebilirsiniz:
    Parola koruması olmayan fakat çoğu kişinin de görmesini istemeyeceğiniz bir sayfanız olabilir,


    Bazı sayfalarınızdaki programların ve içerik sayılamayacak bilgilerin (cgi-bin dizini gibi) taranmasını istemeyebilirsiniz,
    Ya da sadece fazla bandwidth kaybetmek istemeyip taramanın yapılmamasını isteyebilirsiniz.

    Bu gibi durumlarda robotlara hükmetmek için elinizde bir fırsat bulunuyor: robots.txt dosyası. Bu dosya sitenizin ana dizininde bulunur ve arama motorlarının gönderdikleri robotlara bazı komutlar verir. Örneğin bu dosyadaki bir satır ilewww.siteniz.com/gizli adresinin arama motorlarında çıkmamasını sağlayabilirsiniz. Sitenize ftp ile bağlandığınızda eğer robots.txt adında bir dosya yoksa bunu siz de oluşturabilirsiniz. Eğer böyle bir dosya yoksa her robot tüm site içeriğini indeksleyecektir.

    Basit olarak robots.txt dosyasının içinde şu iki satır bulunur:

    User-agent: *Disallow: /

    Burada User-agent: satırı ve sonrasında gelen * işareti "Tüm robotlara alttaki komutu uygula" anlamına gelmektedir. Disallow: ise Türkçe karşılığıyla "İzin verme" demek olup, akabinde gelen / işaretiyle "tüm site içeriğini indeksleme" komutuna karşılık gelir.

    Örnek olarak Google arama motorundan gelecek robotun, bizim sitemizdeki /gizli_bilgiler klasöründeki hiçbir içeriği taramamasını istiyoruz. Bunun için kullanmamız gereken komut satırı:

    User-agent: Googlebot

    Disallow: /gizli_bilgiler/

    olacaktır. /gizli_bilgiler/ yazmamızdaki neden ise baştaki / işareti kök dizini, sondaki / işaret ise gizli_bilgilerin bir dizin olduğunu vurgulamak içindir. Eğer siz sadece bir dosyayı indeksletmemek isterseniz, Disallow: /gizli_dosya.html satırını da kullanabilirsiniz.

    robots.txt dosyası hakkında daha fazla bilgiyihttp://www.robotstxt.org adresinden alabilirsiniz.

    http://www.robotstxt.org/wc/active.html adresinden de şuan için bilinen tüm robotların isimlerine ulaşabilir, az önceki örnekte yaptığımız gibi sadece bazı robotların bazı sayfalara ulaşamamasını sağlayabilirsiniz.

    ALINTIDIR


    Ayrıca bu sayfayıda inceleyebilirsin

    www.google.com/robots.txt



    < Bu mesaj bu kişi tarafından değiştirildi DeLi_ZaL -- 7 Temmuz 2006; 5:38:47 >




  • Çok fazla ayrıntıya girmeden şöyle bir şey her site için ideal;

    User-agent: Emailcollector
    Disallow: /
    User-agent: *
    allow: /

    Mail toplayıcılarını kesiyor onun dışında tüm siteyi indexliyor tabi sitede indexlenmemesini istediğin yer varsa bu şekilde engelleyebilirsin.
  • alıntı ve cvp.lar için çok teşekkürler bir de diğer sorduklarımı biliyorsanız cvp.larsanız çok sevinirim.

    ellerinize kollarınıza mouse'unuza ve klavyenize sağlık
  • whois.sc sitesi:

    Genelde hackerlerin kullandıkları bir sitedir.

    Nedenine gelince.. bazı domain sitelerinde site ismini yazdıgın zaman sana o site ile alaklı bilgiler verir.

    Whois.Sc ise (Tabiki önce kayıt yapman lazım mail adresinle)

    Bilgisayarın Başlat kısmından Çalıştır bölümüne giriyorsun

    CMD yazıp entere basıyorsun. karşına bir komut sistemi açılıyor.

    oraya örnegin "pingwww.siteadı.com" diye yazıp enterliyorsun tırnaksız şekilde

    ping attıgın sitenin hangi makinada oldugunu ve ip adresini veriyor

    whois scye girip bu ip adresiyle tarama yapınca o Serverde kurulu kac tane host varsa

    hepsini önüne diziyor. örnegin Turkticaret netin bir zamanlar bi serverinde 1400 üzeri site kaydı çıkarıyordu




  • vay anam vay vay vay......





    sağolasın. ellerine sağlık.

    şimdi de cvp.lamak isteyenler için yeni soru: /favicon.ico nedir?????
  • favicon.ico

    bu bişey değildir. favicon dosyanın adı .ico uzantısıda bi resim dosyası türüdür gif gibi düşün
    .ico uzantılı bi icon bulup internet sayfana koduyla ekledigin zaman
    sayfanın adres kısmının basında o icon gözükür

    bende gözükmüyor o başka mesele: )))
  • cvp için tşk. bi de adresi versen de incelesek ayıp olur mu
  • www.seslialem.com/v3 : ) kendi sitem
  • stats soruna yanıt.. alanından şifre koruması kısmını işaretlediysen dışarıdan göremezler. kullanıcı adı ve şifre ister. ama şifresizse görülebilir. peki neden başkalarının web istatistiklerine bakarlar? memleket ilginç insanlarla dolu napıcaksın ! :)
  • robots.txt ile favicon.ico yu koydum siteme.

    bu arada favicon'u yapmak için

    http://users.pandora.be/liontech/IconShop.zip adresinden icon shop 1.13 programını indirip açın .jpg ya da .bmp gibi kayıtlı olan resmi içine atın ve export deyip icon'u seçin. favicon'unuz hazır ancak bir de ikonu index.html'nin olduğu yere atmayı unutmayın ayrıca bu ikonun gözükmesini istediğiniz her sayfaya aşağıdaki kodu yazmayı unutmayın.

    http://www.accessfp.net/faviconico.htm

    not: kaynak:

    http://www.accessfp.net/faviconico.htm




  • kod çıkmadı, şöyle olacaktı:
    head tag'ının altına

    <link REL="SHORTCUT ICON" HREF="http://accessfp.net/favicon.ico">
    reklamı silersek de
    <link REL="SHORTCUT ICON">
    şeklinde olacak



    < Bu mesaj bu kişi tarafından değiştirildi mustaphaturk -- 16 Temmuz 2006; 1:14:51 >
    • 
Sayfa: 1

Benzer içerikler

- x
Bildirim
mesajınız kopyalandı (ctrl+v) yapıştırmak istediğiniz yere yapıştırabilirsiniz.
Hizmet kalitesi için çerezleri kullanabiliriz. DH’ye girerek kullanım izni vermiş sayılırsınız.
Anladım Veri Politikamız