Alamat : Baran Gembyang, Jl. Bandungan Rt.04 / Rw.I, Ambarawa, Kab. Semarang CALL : 0815-8533-3933

Friday, February 12, 2010

Cara menggunakan robots.txt

Asalamualaikum.....
wah ketemu lagi ama orang yang goblog sok pinter yang gayanya suka ngasih tips agar blog atau website di index google,,
Mari kita sama sama belajar lagi agar blog kita di index google.
Sebelum kita menggunakan robots.txt kita harus tahu terlebih dahulu apa itu robots.txt. Robots.txt adalah sebuah file dengan extensi .txt yang berfungsi untuk memberikan kontrol terhadap akses file pada suatu website dari search enggine. File robots.txt tersebut diletakkan di direktori utama.
berikut ini contoh tentang cara menggunakan robots.txt :

1. Contoh robot.txt yang mengijinkan penelusuran seluruh file di server kita oleh seluruh bot/ kode yang di miliki search enggine untuk mencari data.

User-agent: *
Disallow:/cgi-bin/
Disallow: /tmp/Disallow: /~joe/


2. Contoh robot.txt mengijinkan diakses oleh BadBot saja.

User-agent: BadBot
Disallow: /



3. Contoh robot.txt mengijinkan diakses oleh Bot yang dimiliki google.

User-agent: Google
Disallow:

User-agent: *
Disallow: /



4. Contoh robot.txt tidak mengijinkan diakses seluruh filenya oleh Bot.

User-agent: *
Disallow: /~joe/stuff/



5. Contoh robot.txt tidak mengijinkan diakses pada file tertentu oleh Bot.

User-agent: *
Disallow: /~joe/junk.html
Disallow: /~joe/foo.html
Disallow: /~joe/bar.html



Setelah kita mengetahui cara menggunakan robots.txt kita atur file apa saja dan bot apa saja yang bisa mengakses file kita. kemudian simpan file tersebut dengan nama robots.txt, kemudian letakkan file tersebut di , contoh "http://www.example.com/robots.txt".

sekarang kita belajar mengartikan kode-kode tersebut
- User-agent: * >>>>>>tanda ( * ) artinya mengijinkan seluruh bot
- User-agent: BadBot >>>>> artinya hanya bot yang bernama BadBot yang boleh mengakses
- Disallow: / >>>>>>>>> artinya mengijinkan seluruh file kita dibaca oleh bot
- Disallow: /~joe/junk.html >>>>> artinya tidak memperbolehkan bot mengakses file ~joe/junk.html

Nah dari situ kita bisa mengatur file apa saja yang boleh diakses bot google dan lainya dan di index search engine pada halaman tertentu dengan cara menggunakan robots.txt. Sekali lagi cara memasang robots.txt harus tepat. Memasang robots.txt di satu lokasi dengan file ixdex.php pada web kamu. Cara memasang robots.txt di letakan dalam public_html/ , jika menggunakan sub domain meletakkan file robots.txt di public_html/namadomain/. Kegunaan file robots.txt itu memberikan kontrol file mana yg boleh dibaca bot atau mesin pencari. Sehingga dengan cara memasang file robots.txt web atau blog kita spesifik diakses bot speeder.

Huuuuuhhh sekian dulu ya dari saya tentang cara menggunakan robots.txt. Cozzz udah kedinginan ni kena AC maklum orang desa jarang makan AC hikzzz hikzzz, kutunggu koment kalian ya.... kita belajar bersama... byeee

Posted by: Ngestu Aji Baskoro Jasa Pembuatan Website Blog Updated at : 9:22 AM

25 comments :

  1. lam knal.,
    thnks y infonya... :)

    ReplyDelete
  2. iya sama sama alu juga masi belajar.....
    cara menggunakan robots.txt

    ReplyDelete
  3. cara settingnya gmn di blogspot.

    ReplyDelete
  4. caranya udah aku tampilkan di postig aku dengan label di index google silakan baca lagi masss andd tetep semangat......chaiyo

    ReplyDelete
  5. sob..agak ribet juga ya maklum gaptek nih, ada pejelasan paktisnya gak nih.. :-D

    ReplyDelete
  6. login ke blogger --->akunku-->webmaster tools --> site configuration--->Crawler access,edit texbox nya dari robot.txt

    ReplyDelete
  7. disalow artinya tidak boleh/diijinkan.berati yg masuk dirobot txt itu kan yg tidak blh di index oleh google kan? bukan sebaliknya...setau saya robot txt itu untuk mencegah file2 tertentu agar tidak di index google. mhn sharingnya.

    ReplyDelete
  8. iya kalo Disallow: /~joe/junk.html brati file junk.html tidak akan di crawler atau di telusuri oleh search enggine. yups bener

    ReplyDelete
  9. di atas saya baca ================
    - Disallow: / >>>>>>>>> artinya mengijinkan seluruh file kita dibaca oleh bot
    =============================
    maap sok tau kali saya yang lagi belajar ini.....
    - Disallow: / >>>>>>>> "artinya tidak mengijinkan "
    ============================
    gawatnya klu ada direktoti web open soucre... gampang bgt kali ya untuk di hack......
    ========
    maap. ..... sekalian nanya yang mana yg bener.......
    tengkiyuuuuuuu...........

    ReplyDelete
  10. - Disallow: / >>>>>>>>> artinya mengijinkan seluruh file kita dibaca oleh bot
    - Disallow: /~joe/junk.html >>>>> artinya tidak memperbolehkan bot mengakses file ~joe/junk.html

    ReplyDelete
  11. Boleh tapi tidak aman dari hacker, karena file yg diakses tidak dibatasi

    ReplyDelete
  12. salam kenal makasih informasinya ak ki tesih goblog durungerti hehehehe unjungi ke pintusurgga ane mita komen nya dari anda gan kan anda yang udah jago :D

    ReplyDelete
  13. nih alamat nya gan http//www.pintusurgga.co.cc ane minta komenya maklum ane pendatang baru jadi masih goblog hehehe

    ReplyDelete
  14. sangat membantu bwt ane yg nubie...

    ReplyDelete
  15. terimakasih infonya..
    mau tanya:
    - agar widget dan comment tidak kena search, apa yg harus di disallow: ?

    ReplyDelete
  16. -- infoku, y klo komentar g pengen di akses bot harus dissalow : /komentar.php misal-- infoku, y klo komentar g pengen di akses bot harus disallow : /komentar.php misal

    ReplyDelete
  17. makasih buat tipsnya masbro :D
    jadi tau skrng ;)

    ReplyDelete
  18. sob
    gimana , cara nya , biar artikel kita ke indeks lagi setelah menggunakan robots.txt

    soal na artikel ane , gak ke indeks url nya gak ketemu
    setelah ane , pake file robots.txt

    mohon tutor lengkap nya , sob
    tq

    ReplyDelete
  19. klo boleh tau file robots.txt nya kayak gimana... kirim ke email aq jasyapa tau bisa bantu aqu.cowokmu@gmail.com

    ReplyDelete

Silahkan membuat komentar disini tetapi jangan melakukan spam ( komentar bermutu)
Please create a comment but don't make spam (best coment)