Web Siteniz Yapay Zeka Tarafından Okunuyor mu? Teknik Kontrol Listesi
GPTBot, ClaudeBot, PerplexityBot ve Google-Extended: hangi AI botlarına izin vermeli, llms.txt nasıl uygulamalı, structured data ile AI alıntı şansını nasıl artırmalısınız? Adım adım teknik rehber.

Geç 2024 verilerine göre GPTBot ve ClaudeBot'un birlikte ürettiği tarama isteği, Googlebot'un aynı dönemdeki istek hacminin %20'sine ulaştı. Bu oran 2026'da katlanarak büyüdü. Yapay zeka botları artık web'i sessizce tarıyor ve içeriklerinizi modellerine besliyor.
Peki siteniz bu botlara açık mı? Onları doğru yönlendiriyor musunuz? Ve en önemlisi: doğru şekilde konfigure edilmiş bir site, AI sistemlerinde alıntılanma şansını nasıl artırıyor?
Bu rehberde bunların hepsini adım adım ele alacağız.
İçindekiler
- AI Botların Haritası: Kim, Ne Yapıyor?
- robots.txt: İzin Vermeli mi, Engellemeli mi?
- llms.txt Standardı: Uygulama Rehberi
- Structured Data ile AI Alıntı Optimizasyonu
- Türkçe İçerik ve AI Sistemleri
- Teknik Kontrol Listesi
- ilkkod'da Uyguladıklarımız
AI Botların Haritası
Aktif AI Crawler'lar (2026)
| Bot Adı | Şirket | Amaç | User-Agent |
|---|---|---|---|
| GPTBot | OpenAI | ChatGPT model eğitimi + Search | GPTBot |
| ChatGPT-User | OpenAI | ChatGPT web arama (anlık) | ChatGPT-User |
| ClaudeBot | Anthropic | Claude model eğitimi | ClaudeBot |
| Claude-SearchBot | Anthropic | Claude web araması (anlık) | Claude-SearchBot |
| PerplexityBot | Perplexity AI | Perplexity arama indeksi | PerplexityBot |
| Google-Extended | Gemini model eğitimi | Google-Extended | |
| Googlebot | Google arama indeksi | Googlebot | |
| Cohere-AI | Cohere | Enterprise AI modelleri | cohere-ai |
| Applebot-Extended | Apple | Apple Intelligence | Applebot-Extended |
| FacebookBot | Meta | Meta AI modelleri | FacebookBot |
İki Farklı Bot Türü
AI şirketlerinin genellikle iki farklı bot türü çalıştırdığını anlamak kritik:
Eğitim Botları (asenkron):
- Model eğitimi için içerik toplıyor
- Crawl yavaş ve düşük öncelikli
- Engellemek içeriğinizin modele dahil olmamasını sağlar
Arama Botları (anlık):
- Kullanıcı sorusuna anlık yanıt için tarıyor
- Çok hızlı ve hedefli
- Engellediğinizde, AI arama sonuçlarında siteniz görünmez
Bu iki bot türü farklı user-agent kullanıyor. Örneğin OpenAI için:
GPTBot→ Eğitim botuChatGPT-User→ Arama botu
robots.txt: İzin Vermeli mi, Engellemeli mi?
En sık sorulan soru bu. Cevap bağlama göre değişiyor.
Senaryo 1: İçeriğiniz Kamuya Açık, Alıntılanmak İstiyorsunuz
Çoğu web sitesi için önerilen yapılandırma:
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
# AI Arama Botları — alıntılanmak için açık bırakın
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: Applebot-Extended
Allow: /
Sitemap: https://siteniz.com/sitemap.xml
Senaryo 2: Premium/Ücretli İçeriğiniz Var
Üyelik duvarı veya ücretli içerik platformları için:
# Eğitim botlarını engelle (içerik değerini koru)
User-agent: GPTBot
Disallow: /premium/
Disallow: /members/
User-agent: ClaudeBot
Disallow: /premium/
Disallow: /members/
# Arama botlarına açık bırak (keşfedilebilirlik için)
User-agent: ChatGPT-User
Allow: /
User-agent: PerplexityBot
Allow: /
Senaryo 3: Tamamen Engelleme
Eğer içerik gizliliği veya telif hakkı hassasiyeti varsa:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
⚠️ Dikkat: Eğitim botu ile arama botunu birlikte engellerseniz, ChatGPT arama sonuçlarında siteniz hiç görünmez. Genellikle eğitim botunu engellemek, arama botunu açık bırakmak optimum stratejidir.
robots.txt Uyumluluk Durumu
Tüm AI şirketleri robots.txt'e uymuyor mu? Araştırmalara göre:
| Bot | robots.txt Uyumu |
|---|---|
| GPTBot (OpenAI) | ✅ Uyumlu |
| ChatGPT-User | ✅ Uyumlu |
| ClaudeBot | ✅ Uyumlu |
| PerplexityBot | ✅ Uyumlu |
| Google-Extended | ✅ Uyumlu |
| Bilinmeyen/scraper botlar | ❌ Uyumsuz |
Ana oyuncular robots.txt'e saygı gösteriyor. Ancak kötü niyetli veya küçük ölçekli botlar görmezden gelebilir — bunlar için rate limiting ve firewall kuralları gerekiyor.
llms.txt Standardı: Uygulama Rehberi
llms.txt Nedir?
llms.txt, web sitenizin içerik yapısını ve amaçlanan kullanım şeklini AI sistemlerine aktaran yeni bir dosya standardıdır. 2024 sonunda önerilen bu standart, robots.txt'den farklı çalışır:
| Özellik | robots.txt | llms.txt |
|---|---|---|
| Amaç | Erişim kontrolü | İçerik rehberliği |
| Format | Key-value | Markdown |
| Kapsam | Tüm botlar | Özellikle LLM'ler |
| Zorunluluk | Fiili standart | Yeni ve isteğe bağlı |
| Uyum oranı | Yüksek | Düşük (hâlâ gelişiyor) |
llms.txt Format Spesifikasyonu
Dosya /llms.txt adresinde yayınlanmalı ve şu yapıya sahip olmalı:
# [Site Adı]
> [Tek cümlelik site açıklaması]
[Opsiyonel: Uzun açıklama paragrafı]
## [Bölüm Adı]
- [Kaynak Başlığı][URL]
- [Kaynak Başlığı][URL]
## [Başka Bölüm]
- [Kaynak Başlığı][URL]
ilkkod için Örnek llms.txt
# ilkkod — Web Tasarım & Yazılım Geliştirme
> Ankara merkezli, Next.js ve React teknolojileriyle kurumsal web
> siteleri, e-ticaret platformları ve dijital çözümler üreten
> yazılım ajansı. Kurucu: İlker Kılıç.
İlkkod, 2022'den bu yana Ankara bölgesindeki KOBİ ve girişimlere
hizmet vermektedir. Teknik uzmanlık: Next.js App Router, TypeScript,
Tailwind CSS, PostgreSQL, Drizzle ORM.
## Hizmetler
- [Kurumsal Web Tasarım](/ankara/kurumsal-web-tasarim):
Next.js ile özel kurumsal web sitesi geliştirme
- [E-Ticaret Çözümleri](/ankara/e-ticaret-sitesi):
İkas, WooCommerce ve özel e-ticaret platformu
- [SEO Hizmeti](/ankara/seo-optimizasyonu):
Teknik SEO, yerel SEO ve içerik stratejisi
## Rehberler ve Kaynaklar
- [Web Tasarım Rehberi 2026](/blog/web-tasarim-rehberi)
- [SEO Rehberi 2026](/blog/seo-rehberi)
- [Ankara Yerel SEO Rehberi](/blog/ankara-yerel-seo-rehberi)
- [GEO ve AI SEO Rehberi](/blog/chatgpt-yapay-zeka-seo-turkiye-2026)
## Hakkında
İlker Kılıç — Full-Stack Web Geliştirici
- LinkedIn: https://linkedin.com/in/ilkerkılıç
- GitHub: https://github.com/ilkerkılıç
Next.js'te llms.txt Uygulaması
// app/llms.txt/route.ts
export async function GET() {
const llmsTxt = [
"# ilkkod — Web Tasarım & Yazılım Geliştirme",
"",
"> Ankara merkezli Next.js ajansı.",
"",
"## Hizmetler",
"",
"- [Kurumsal Web Tasarım](/ankara/kurumsal-web-tasarim)",
"- [E-Ticaret](/ankara/e-ticaret-sitesi)",
"- [SEO Hizmeti](/ankara/seo-optimizasyonu)",
"",
"## Rehberler",
"",
"- [Web Tasarım Rehberi](/blog/web-tasarim-rehberi)",
"- [SEO Rehberi](/blog/seo-rehberi)",
].join("\n")
return new Response(llmsTxt, {
headers: {
"Content-Type": "text/plain; charset=utf-8",
"Cache-Control": "public, max-age=86400",
},
})
}
llms-full.txt: Genişletilmiş Versiyon
Bazı siteler ayrıca /llms-full.txt dosyası yayınlıyor. Bu dosya tüm blog yazılarının ve sayfaların tam içeriğini veya özetlerini içeriyor. Büyük siteler için pratik değil, ancak küçük-orta ölçekli ajans/danışman siteleri için etkili olabilir.
Structured Data ile AI Alıntı Optimizasyonu
Structured data (yapısal veri), arama motoru ve AI sistemlerinin içeriğinizi daha iyi anlamasını sağlar. JSON-LD formatı tercih ediliyor.
Öncelikli Schema Türleri
1. Article Schema — Blog yazıları için zorunlu
{
"@context": "https://schema.org",
"@type": "Article",
"headline": "Başlık",
"description": "Meta açıklama",
"datePublished": "2026-04-08",
"dateModified": "2026-04-08",
"author": {
"@type": "Person",
"name": "İlker Kılıç",
"url": "https://ilkkod.com/hakkimizda",
"sameAs": ["https://linkedin.com/in/ilkerkılıç"]
},
"publisher": {
"@type": "Organization",
"name": "ilkkod",
"url": "https://ilkkod.com",
"logo": {
"@type": "ImageObject",
"url": "https://ilkkod.com/logo.png"
}
},
"inLanguage": "tr-TR",
"isAccessibleForFree": true
}
2. FAQPage Schema — SSS bölümleri için
{
"@context": "https://schema.org",
"@type": "FAQPage",
"mainEntity": [
{
"@type": "Question",
"name": "llms.txt nedir?",
"acceptedAnswer": {
"@type": "Answer",
"text": "llms.txt, web sitenizin içerik yapısını AI sistemlerine aktaran yeni bir standarttır."
}
}
]
}
3. HowTo Schema — Rehber içerikler için
{
"@context": "https://schema.org",
"@type": "HowTo",
"name": "robots.txt'e AI Bot İzni Nasıl Eklenir",
"step": [
{
"@type": "HowToStep",
"name": "robots.txt dosyasını açın",
"text": "Site kök dizinindeki robots.txt dosyasını düzenleyin."
},
{
"@type": "HowToStep",
"name": "Bot izinlerini ekleyin",
"text": "User-agent: GPTBot / Allow: / satırlarını ekleyin."
}
]
}
Next.js'te JSON-LD Ekleme
// app/blog/[slug]/page.tsx
export default function BlogPost({ post }) {
const articleSchema = {
"@context": "https://schema.org",
"@type": "Article",
"headline": post.title,
"datePublished": post.publishedAt,
"author": {
"@type": "Person",
"name": "İlker Kılıç"
}
}
return (
<>
<script
type="application/ld+json"
dangerouslySetInnerHTML={{
__html: JSON.stringify(articleSchema)
}}
/>
{/* ... sayfa içeriği */}
</>
)
}
Schema Doğrulama
Structured data'nızı şu araçlarla test edin:
- Google Rich Results Test: search.google.com/test/rich-results
- Schema.org Validator: validator.schema.org
- Structured Data Testing Tool (arşivlenmiş ama hâlâ çalışıyor)
Türkçe İçerik ve AI Sistemleri
Türkçe Dil Desteği Durumu (2026 Q1)
| AI Sistemi | Türkçe Web Araması | Türkçe Üretim | Türkçe Alıntı |
|---|---|---|---|
| ChatGPT Search | ✅ Aktif | ✅ İyi | ✅ Aktif |
| Perplexity AI | ✅ Aktif | ✅ İyi | ✅ Aktif |
| Google Gemini | ✅ Aktif | ✅ Çok iyi | ⚠️ Kısmi |
| Claude (Anthropic) | ✅ Aktif | ✅ İyi | ✅ Aktif |
| Microsoft Copilot | ✅ Aktif | ✅ İyi | ✅ Aktif |
| Perplexity Pages | ✅ Aktif | ✅ İyi | ✅ Aktif |
Türkçe İçerik için Özel Öneriler
Dil etiketi doğrulaması:
<html lang="tr">
<head>
<meta charset="UTF-8">
<!-- Open Graph dil etiketi -->
<meta property="og:locale" content="tr_TR">
</head>
</html>
hreflang (çok dilli site varsa):
<link rel="alternate" hreflang="tr" href="https://ilkkod.com/tr/blog/ornek" />
<link rel="alternate" hreflang="en" href="https://ilkkod.com/en/blog/example" />
<link rel="alternate" hreflang="x-default" href="https://ilkkod.com/blog/ornek" />
Türkçe karakter ve encoding:
- Tüm sayfalarda
charset="UTF-8"zorunlu - URL'lerde Türkçe karakter kullanmayın (ı → i, ş → s, ğ → g)
- Başlıklarda ve içerikte doğal Türkçe kullanın — AI sistemleri Türkçe dil modellerine sahip
Teknik Kontrol Listesi
1. Bot Erişimi
-
robots.txtdosyası güncel ve AI botlarına yönelik kurallar eklenmiş - GPTBot için izin/yasak açıkça belirtilmiş
- ChatGPT-User (arama botu) ayrıca yapılandırılmış
- ClaudeBot ve Claude-SearchBot ayrı kurallar içeriyor
- PerplexityBot için kural mevcut
- Google-Extended için tercih belirtilmiş
- Applebot-Extended düşünülmüş
2. llms.txt
-
/llms.txtdosyası mevcut ve erişilebilir - Site açıklaması tek cümlelik, net
- En önemli sayfalar/içerikler linklendi
- Yazar/şirket bilgisi dahil edildi
- Cache-Control başlığı ayarlandı
3. Structured Data
- Tüm blog yazılarında Article schema
- SSS bölümleri FAQPage schema ile işaretli
- Ana sayfada Organization schema
- Yazar sayfasında Person schema
- Breadcrumb schema tüm sayfalarda
- Schema hataları Google Rich Results Test ile doğrulandı
4. İçerik Yapısı
- H1, H2, H3 başlık hiyerarşisi doğru
- Her H2 altında standalone (bağımsız) paragraflar
- Tablolar, listeler ve kod blokları iyi yapılandırılmış
- Meta title ve description her sayfada benzersiz
-
datePublishedvedateModifiedetiketleri güncel
5. Teknik Performans
- Core Web Vitals "İyi" seviyede (LCP < 2.5s, INP < 200ms, CLS < 0.1)
- HTTPS aktif, sertifika geçerli
- XML sitemap mevcut ve
robots.txt'te referans verilmiş - 404 hataları düzenli izleniyor
- Canonical URL'ler doğru ayarlanmış
6. E-E-A-T Sinyalleri
- Yazar biyografisi her makalede görünür
- Yazar sayfası sosyal profil linkleriyle güçlü
- Hakkımızda sayfası gerçek bilgiler içeriyor
- İletişim bilgileri erişilebilir
- Gizlilik politikası güncel
ilkkod'da Uyguladıklarımız
Bu rehberdeki önerilerin büyük çoğunluğunu ilkkod.com'da bizzat uyguladık. İşte gerçek örnekler:
robots.txt Yapılandırmamız
Tüm büyük AI botlarına açık izin veriyoruz. İçeriklerimiz kamuya açık rehber yazılar olduğundan, modellere dahil olması ve alıntılanması bizim için pozitif.
llms.txt
/llms.txt ve /llm.txt adreslerinde hem standart hem alternatif formatlarda yayınlıyoruz. Her yeni blog yazısı eklediğimizde otomatik güncelleniyor.
Structured Data
Tüm blog yazılarımızda Article schema, SSS bölümlerimizde FAQPage schema aktif. Person ve Organization schema ana sayfada mevcut.
Sonuçlar
Bu optimizasyonları tamamlamamızın ardından:
- ChatGPT'nin Türkçe web aramasında ilkkod içerikleri kaynak olarak alıntılanmaya başladı
- Perplexity'de "ankara web tasarım" ve "nextjs ödeme entegrasyonu" gibi sorgularda sayfalarımız kaynak gösterildi
- Google Search Console'da "AI Overview" kaynaklı tıklamalar görünür hale geldi
Sonuç
Web sitenizi AI sistemlerine hazırlamak karmaşık değil — ama ihmal edilen bir alan. 2026'da bu optimizasyonları yapmamış siteler giderek artan bir görünürlük kaybıyla karşılaşacak.
Öncelik sıralaması:
- robots.txt — AI arama botlarına izin verin (30 dakika)
- Structured data — En azından Article ve FAQPage schema (2-4 saat)
- llms.txt — Temel yapıyı oluşturun (1 saat)
- İçerik yapısı — Bağımsız paragraflar, net başlıklar (sürekli)
Tüm bunlar tek başına yeterli değil. GEO başarısı uzun vadeli, tutarlı içerik kalitesine bağlı. Ama teknik zemin olmadan en iyi içerik bile AI radarında kaybolup gidebilir.
Web sitenizin teknik SEO ve AI optimizasyonunu birlikte ele almak ister misiniz? Ücretsiz teknik analiz için iletişime geçin.
Sıkça Sorulan Sorular
GPTBot'u engellemeli miyim?
Eğer içeriğiniz kamuya açık ve alıntılanmak istiyorsanız, GPTBot'u engellememek gerekiyor. Ancak GPTBot (eğitim botu) ile ChatGPT-User (arama botu) farklı. İçeriğinizin ChatGPT modeline dahil olmasını istemiyorsanız GPTBot'u engelleyebilirsiniz, ancak ChatGPT-User'a açık bırakmalısınız — aksi halde ChatGPT arama sonuçlarında görünmezsiniz.
llms.txt'i uygulamamın bir faydası var mı?
2026 başı itibarıyla büyük AI şirketlerinin çoğu llms.txt'i aktif olarak uymuyor. Ancak standart olgunlaşıyor ve adoption hızla artıyor. Hazırlamak düşük maliyetli, potansiyel getirisi yüksek. Perplexity ve bazı küçük LLM sağlayıcıları bu dosyayı şimdiden kullanıyor.
Structured data eklemeden AI alıntısı mümkün mü?
Evet, mümkün. AI sistemleri ham HTML'i de işleyebiliyor. Ancak structured data, içeriğin ne olduğunu (makale, SSS, rehber, kişi) açık bir şekilde bildiriyor. Bu, belirsizliği ortadan kaldırıyor ve alıntı olasılığını artırıyor. Structured data olmayan siteler alıntılanabilir, ama dezavantajlı konumda.
AI botları site hızımı etkiler mi?
Evet, etkileyebilir. Özellikle büyük AI şirketlerinin crawler'ları yoğun istek yapabiliyor. Rate limiting ve Cloudflare gibi CDN çözümleri, gerçek kullanıcıları etkilemeden bot trafiğini yönetmenize yardımcı olur. Google Search Console dışında server loglarınızı da izlemeniz öneriliyor.
Robots.txt'i güncelleyince hemen etkisi görülür mü?
Robots.txt değişiklikleri botların bir sonraki ziyaretinde geçerli oluyor. Büyük AI botları genellikle birkaç günde bir robots.txt'i yeniden kontrol ediyor. Ancak alıntı etkisi çok daha uzun sürede (haftalar-aylar) oluşuyor — çünkü bot önce içeriği topluyor, sonra model veya indeks güncelleniyor.


