SEO

Robots.txt SEO – Robots.txt’nizi Nasıl Optimize Edersiniz ve Doğrulayabilirsiniz?

Robots.txt SEO – Robots.txt’nizi Nasıl Optimize Edersiniz ve Doğrulayabilirsiniz? Teknik SEO’nuz üzerinde çalışırken kontrol etmeniz ve optimize etmeniz gereken ilk şeylerden biri robots.txt dosyasıdır. Robots.txt dosyanızdaki bir sorun veya yanlış yapılandırma, sıralamanızı ve trafiğinizi olumsuz yönde etkileyebilecek kritik SEO sorunlarına neden olabilir.

Bu yazıda robots.txt dosyasının ne olduğunu, neden buna ihtiyacınız olduğunu, SEO’nun nasıl optimize edileceğini ve arama motorlarının herhangi bir sorun yaşamadan erişebildiğini nasıl test edeceğinizi öğreneceksiniz .

WordPress üzerindeyseniz, bu makalenin sonuna doğru, WordPress sanal robots.txt dosyası hakkında belirli bilgiler var.

Robots.txt nedir?

Robots.txt, web sitenizin kök dizininde bulunan ve arama motorları tarayıcılarına, tarama ve dizine ekleme işlemi sırasında hangi sayfaları tarayabilecekleri ve dizine ekleyebilecekleri konusunda talimatlar veren bir metin dosyasıdır.

Arama motorlarının nasıl çalıştığına dair önceki makalemi okuduysanız , tarama ve indeksleme aşamasında, arama motorlarının halka açık web’de bulunan ve indekslerine ekleyebilecekleri sayfaları bulmaya çalıştıklarını bilirsiniz.

Bir web sitesini ziyaret ederken, yaptıkları ilk şey robots.txt dosyasının içeriğini aramak ve kontrol etmektir.

Dosyada belirtilen kurallara bağlı olarak, tarayabilecekleri URL’lerin bir listesini oluştururlar ve daha sonra belirli web sitesi için dizine eklerler.

Bir robots.txt dosyanız yoksa ne olur? Bir robots.txt dosyası eksikse, arama motoru tarayıcıları, belirli bir web sitesinin herkese açık tüm sayfalarının taranabileceğini ve dizinlerine eklenebileceğini varsayar.

Robots.txt iyi biçimlendirilmezse ne olur? Soruna bağlı. Arama motorları yanlış yapılandırıldığı için dosyanın içeriğini anlayamazlarsa, web sitesine erişmeye devam edecekler ve robots.txt’de ne varsa yok sayacaklar.

Yanlışlıkla arama motorlarının web siteme erişmesini engellersem ne olur? Bu büyük bir problem. Başlangıç ​​olarak, web sitenizdeki sayfaları taramayacak ve dizine eklemeyecekler ve dizinlerinde zaten mevcut olan sayfaları kademeli olarak kaldıracaklar.

Robots.txt dosyasına ihtiyacınız var mı?

Evet, web sitenizin herhangi bir sayfasının veya dizininin arama motoru sonuçlarında görünmesini engellemek istemeseniz bile kesinlikle bir robots.txt dosyasına ihtiyacınız vardır.

Neden robots.txt kullanmalı?

Robots.txt dosyasının en yaygın kullanım örnekleri şunlardır:

# 1 – Arama motorlarının web sitenizin belirli sayfalarına veya dizinlerine erişmesini engellemek için. 

# 2 – Büyük bir web siteniz olduğunda, tarama ve indeksleme çok kaynak yoğun bir süreç olabilir. Çeşitli arama motorlarından gelen tarayıcılar sitenizin tamamını taramaya ve dizine eklemeye çalışacak ve bu ciddi performans sorunları yaratabilir.

Bu durumda, web sitenizin SEO veya sıralamalar için önemli olmayan belirli bölümlerine erişimi kısıtlamak için robots.txt’den yararlanabilirsiniz. Bu şekilde, yalnızca sunucunuzdaki yükü azaltmakla kalmaz, tüm indeksleme sürecini daha hızlı hale getirir.

# 3 – Bağlı kuruluş bağlantılarınız için URL gizlemeyi kullanmaya karar verdiğinizde. Bu, kullanıcıları veya arama motorlarını kandırmak için içeriğinizi veya URL’lerinizi gizlemekle aynı şey değildir, ancak bağlı kuruluş bağlantılarınızın yönetimini kolaylaştırmak için geçerli bir işlemdir.

Robots.txt hakkında bilmeniz gereken iki önemli nokta

İlk şey, robots.txt’ye eklediğiniz tüm kuralların yalnızca yönergeler olmasıdır. Bu, kurallara uymanın ve takip etmenin arama motorlarına bağlı olduğu anlamına gelir.

Çoğu durumda yaparlar, ancak dizinlerine dahil edilmesini istemediğiniz içeriğiniz varsa, en iyi yol, belirli bir dizini veya sayfayı parolayla korumaktır.

İkincisi, robotlarda bir sayfayı veya dizini engelleseniz bile, halihazırda dizinde olan diğer sayfalardan bağlantılar varsa, arama sonuçlarında görünmeye devam edebilir. Başka bir deyişle, robots.txt dosyasına bir sayfa eklemek, sayfanın kaldırılacağını veya web’de görünmeyeceğini garanti etmez.

Sayfayı veya dizini parolayla korumanın yanı sıra başka bir yol da sayfa yönergelerini kullanmaktır. Her sayfanın <head> bölümüne eklenir ve aşağıdaki örnekteki gibi görünürler:

<meta name = ”robots” content = ”noindex”>

Robots.txt nasıl çalışır?

Robot dosyası oldukça basit bir yapıya sahiptir. Kullanabileceğiniz önceden tanımlanmış bazı anahtar kelime / değer kombinasyonları vardır.

En yaygın olanları şunlardır: Kullanıcı aracısı, İzin Verme, İzin Ver, Tarama gecikmesi, Site Haritası.

User-agent: Hangi tarayıcıların yönergeleri hesaba katması gerektiğini belirtir. Tüm tarayıcılara başvurmak veya bir tarayıcının adını belirtmek için * kullanabilirsiniz, aşağıdaki örneklere bakın .

User-agent yönergesi için mevcut tüm isimleri ve değerleri burada görüntüleyebilirsiniz .
User-agent: *– tüm tarayıcıları içerir.
User-agent: Googlebot– talimatlar yalnızca Google botu içindir.

İzin Verme: Bir kullanıcı aracısına (yukarıda belirtilen), bir URL’yi veya bir web sitesinin bir bölümünü taramamasını söyleyen yönerge.

Disallow’un değeri belirli bir dosya, URL veya dizin olabilir. Google desteğinden alınan aşağıdaki örneğe bakın .

Tarama gecikmesi : Arama motoru tarayıcılarını web sitenizden sonraki sayfayı taramadan önce belirli bir süre beklemeye zorlamak için bir tarama gecikmesi değeri belirleyebilirsiniz. Girdiğiniz değer milisaniye cinsindendir .

Tarama gecikmesinin Googlebot tarafından dikkate alınmadığı unutulmamalıdır .

Google’ın tarama oranını kontrol etmek için Google Arama Konsolunu kullanabilirsiniz (seçenek Site Ayarları altında bulunur).

Binlerce sayfalık bir web siteniz olması ve sunucunuzu sürekli isteklerle aşırı yüklemek istemediğiniz durumlarda tarama oranını kullanabilirsiniz.

Çoğu durumda, crawl-delay direktifini kullanmamalısınız.

Site Haritası: sitemap yönergesi Google gibi büyük arama motorları tarafından desteklenmekte ve sizin konumunu belirtmek için kullanılır XML site haritası .

Robotlarda XML site haritasının konumunu belirtmeseniz bile, arama motorları onu yine de bulabilir.

Örneğin, şunu kullanabilirsiniz:

Sitemap: https://example.com/sitemap.xml

Önemli: Robots.txt büyük / küçük harfe duyarlıdır. Bu, bu yönergeyi eklerseniz, Disallow: /File.html’nin file.html’yi engellemeyeceği anlamına gelir.

Robots.txt nasıl oluşturulur?

Bir robots.txt dosyası oluşturmak kolaydır. İhtiyacınız olan tek şey bir metin editörü (parantez veya not defteri gibi) ve web sitenizin dosyalarına (FTP veya kontrol paneli aracılığıyla) erişimdir.

Bir robot dosyası oluşturma sürecine girmeden önce yapılacak ilk şey, zaten bir tane sahip olup olmadığınızı kontrol etmektir.

Bunu yapmanın en kolay yolu, yeni bir tarayıcı penceresi açmak ve https: //www.alanınız.com/robots.txt adresine gitmektir.

Aşağıdakine benzer bir şey görürseniz, bu zaten bir robots.txt dosyanız olduğu ve yeni bir dosya oluşturmak yerine mevcut dosyayı düzenleyebileceğiniz anlamına gelir. Robots.txt dosyanızı nasıl düzenleyebilirsiniz?

User-agent: *
Allow: /

En sevdiğiniz FTP istemcisini kullanın ve web sitenizin kök dizinine bağlanın.

Robots.txt her zaman kök klasörde (sunucunuza bağlı olarak www veya public_html) bulunur.

Dosyayı bilgisayarınıza indirin ve bir metin düzenleyiciyle açın.

Gerekli değişiklikleri yapın ve dosyayı sunucunuza geri yükleyin.

Yeni bir robots.txt nasıl oluşturulur

Halihazırda bir robots.txt dosyanız yoksa, bir metin düzenleyici kullanarak yeni bir .txt dosyası oluşturun, yönergelerinizi ekleyin, kaydedin ve web sitenizin kök dizinine yükleyin.

Önemli: Dosya adınızın robots.txt olduğundan ve başka bir şey olmadığından emin olun . Ayrıca, dosya adının büyük / küçük harfe duyarlı olduğunu ve bu nedenle tümünün küçük harf olması gerektiğini unutmayın.

Robots.txt’yi nereye koyuyorsunuz? robots.txt her zaman web sitenizin kök dizininde bulunmalı ve herhangi bir klasörde bulunmamalıdır.

Robots.txt örneği

Tipik bir senaryoda, robots.txt dosyanız aşağıdaki içeriğe sahip olmalıdır:

User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml

Bu, tüm botların web sitenize herhangi bir engel olmadan erişmesine izin verir. Ayrıca, arama motorlarının bulmasını kolaylaştırmak için site haritası konumunu belirtir.

Robots.txt dosyanızı nasıl test edip doğrulayabilirsiniz?

Robots.txt URL’nizin içeriğini robots.txt URL’sine giderek görüntüleyebilirsiniz, ancak bunu test etmenin ve doğrulamanın en iyi yolu , Google Arama Konsolunun robots.txt Test seçeneğidir.

Google Arama Konsolu Hesabınıza giriş yapın.

Tarama seçenekleri altında bulunan robots.txt Test Edici’yi tıklayın .

Click Testi düğmesini.

Her şey yolundaysa, Test düğmesi yeşile dönecek ve etiket İZİN VERİLDİ olarak değişecektir. Bir sorun varsa, izin verilmemesine neden olan çizgi vurgulanacaktır.

Robots.txt test aracı hakkında bilmeniz gereken birkaç şey daha:

Web sitenizden bir URL girmek ve bunun engellenip engellenmediğini test etmek için URL Test Edici’yi (aracın altında) kullanabilirsiniz.

Düzenleyicide herhangi bir değişiklik yapabilir ve yeni kuralları kontrol edebilirsiniz ANCAK bunların canlı robots.txt dosyanıza uygulanabilmesi için dosyanızı bir metin düzenleyiciyle DÜZENLEMENİZ ve dosyayı web sitenizin kök klasörüne yüklemeniz gerekir (yukarıda açıklandığı gibi) ).

Google’a robots.txt dosyanızda değişiklikler yaptığınızı bildirmek için GÖNDER düğmesini (yukarıdaki ekrandan) tıklayın ve açılır pencereden tekrar GÖNDER düğmesini tıklayın (aşağıda gösterildiği gibi seçenek 3).

Robots.txt ve WordPress

Robots.txt hakkında şimdiye kadar okuduğunuz her şey WordPress web siteleri için de geçerlidir.

Robots.txt ve WordPress hakkında bilmeniz gereken tek şey şunlardır:

Geçmişte, WordPress web sitelerinin wp-admin ve wp-include klasörlerine robots.txt yoluyla erişimi engellemesi öneriliyordu .

WordPress beri 2012 yılı itibariyle bu artık ihtiyaç vardır sağlar a için

@header( 'X-Robots-Tag: noindex' );  etiketi, robots.txt dosyasında izin vermeme eklemekle aynı işi yapar .

Sanal robots.txt dosyası nedir?

WordPress varsayılan olarak sanal bir robots.txt dosyası kullanıyor. Bu, dosyayı doğrudan düzenleyemeyeceğiniz veya dizininizin kök dizininde bulamayacağınız anlamına gelir.

Dosyanın içeriğini görüntülemenin tek yolu tarayıcınıza https://www.yourdomain.com/robots.tx t yazmanızdır.

WordPress robots.txt’nin varsayılan değerleri şunlardır:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Arama Motoru Görünürlük Ayarları altındaki ” Arama motorlarının bu siteyi dizine eklemesini engelle ” seçeneğini etkinleştirdiğinizde robots.txt şu hale gelir:

User-agent: *
Disallow: /

Temel olarak tüm tarayıcıların web sitesine erişmesini engelleyen.

WordPress’te robots.txt dosyasını nasıl düzenlerim?

WordPress tarafından sağlanan sanal robots.txt dosyasını doğrudan düzenleyemeyeceğiniz için, onu düzenlemenin tek yolu yeni bir tane oluşturmak ve web sitenizin kök dizinine eklemektir.

Kök dizinde fiziksel bir dosya bulunduğunda, sanal WordPress dosyası dikkate alınmaz.

Robots.txt SEO En İyi Uygulamaları

Robots.txt dosyanızı test edin ve web sitenizin arama motorlarında görünmesini istediğiniz herhangi bir bölümünü engellemediğinizden emin olun.

CSS veya JS klasörlerini engellemeyin. Google, tarama ve dizine ekleme işlemi sırasında bir web sitesini gerçek bir kullanıcı gibi görüntüleyebilir ve sayfalarınızın JS ve CSS’nin düzgün çalışmasına ihtiyacı varsa engellenmemelidir.

WordPress kullanıyorsanız, wp-admin ve wp-include klasörlerinize erişimi engellemenize gerek yoktur . WordPress, meta robots etiketini kullanarak harika bir iş çıkarır.

Her arama motoru botu için farklı kurallar belirlemeye çalışmayın, kafa karıştırıcı olabilir ve güncel tutmak zor olabilir. Kullanıcı aracısını daha iyi kullanın : * ve tüm botlar için tek bir kural kümesi sağlayın.

Sayfaların arama motorları tarafından dizine eklenmesini istemiyorsanız, bunu robots.txt yoluyla değil, her sayfanın başlığında kullanarak yapın .

Sonuç

Robots.txt dosyanızı yapılandırmak veya test etmek için çok fazla zaman harcamanıza gerek yoktur. Önemli olan bir tanesine sahip olmak ve Google Web Yöneticisi Araçları aracılığıyla arama motoru tarayıcılarının web sitenize erişimini engellemediğinizi test etmektir.

Web sitenizi ilk oluşturduğunuzda veya teknik SEO denetiminizin bir parçası olarak bir kez yapmanız gereken bir görevdir .

Yorum Bırak

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir