Dalam era digital yang semakin berkembang, penggunaan teknologi kecerdasan buatan (AI) telah menjadi bagian tak terpisahkan dari proses pencarian informasi. Google dan platform lainnya kini memperkenalkan sistem AI Search yang mampu mengakses dan memproses konten secara berbeda dibandingkan mesin pencari tradisional. Untuk memastikan visibilitas website Anda tetap optimal, penting untuk memahami cara mengoptimalkan konten agar dapat diakses oleh AI Search.
Penggunaan AI dalam proses pencarian tidak hanya mengubah cara mesin mencari informasi, tetapi juga memengaruhi strategi SEO. Kebanyakan AI memiliki batas waktu sekitar 1-5 detik untuk mengambil konten, sehingga konten yang panjang mungkin berpotensi terpotong atau dihapus. Oleh karena itu, kecepatan dan kesederhanaan menjadi faktor utama dalam optimasi konten untuk AI Search.
Selain itu, sistem AI crawler umumnya tidak dapat menangani JavaScript dengan baik, bahkan mungkin tidak bisa sama sekali. Maka dari itu, pembuat konten harus berusaha untuk membuat struktur konten yang logis di dalam HTML tanpa ada embel-embel “terbungkus” JavaScript. Hal ini akan membantu AI dalam memahami dan mengakses konten dengan lebih efisien.
Metadata dan semantik juga menjadi hal penting dalam optimasi konten untuk AI Search. Terapkan judul, deskripsi, tanggal, dan schema markup yang jelas untuk membantu sistem AI dalam memahami konten Anda dengan cepat dan tepat. Jangan lupa untuk memberikan informasi tanggal publikasi agar AI dapat memahami kapan konten dipublikasikan atau diperbarui.
Perbedaan SEO Tradisional dan AI Search
Perbedaan utama antara SEO tradisional dan AI Search terletak pada cara sistem memproses informasi. Mesin pencari tradisional seperti Googlebot biasanya mengakses dan mengindeks konten berdasarkan struktur HTML dan metadata. Sementara itu, AI Search menggunakan algoritma yang lebih kompleks dan canggih untuk mengakses dan memahami konten.
Salah satu aspek penting dalam AI Search adalah kecepatan. Kebanyakan sistem AI memiliki batas waktu sekitar 1-5 detik untuk mengambil konten, sehingga konten yang panjang mungkin berpotensi terpotong atau dihapus. Oleh karena itu, penting untuk memastikan bahwa website Anda dioptimasi secara loading speed agar konten dapat diakses dengan cepat.
Teks terstruktur yang jelas juga menjadi faktor penting dalam optimasi konten untuk AI Search. Sistem AI crawler umumnya tidak dapat menangani JavaScript dengan baik, bahkan mungkin tidak bisa sama sekali. Maka dari itu, pembuat konten harus berusaha untuk membuat struktur konten yang logis di dalam HTML tanpa ada embel-embel “terbungkus” JavaScript.
Tips Mengoptimasi untuk Aksesibilitas AI Search
Untuk memastikan konten Anda dapat diakses oleh AI Search, berikut beberapa tips yang dapat diterapkan:
Konfigurasikan robots.txt untuk AI Crawler
Tambahkan robots.txt yang bisa diakses oleh crawler, lalu izinkan atau larang crawler berdasarkan kebutuhan. Contoh izin akses untuk AI Search/Agent, tetapi tidak mengizinkan training data collection:
# Allow AI search and agent use
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: PerplexityBot
User-agent: FirecrawlAgent
User-agent: AndiBot
User-agent: ExaBot
User-agent: PhindBot
User-agent: YouBot
Allow: /
# Disallow AI training data collection
User-agent: GPTBot
User-agent: CCBot
User-agent: Google-Extended
Disallow: /
# Allow traditional search indexing
User-agent: Googlebot
User-agent: Bingbot
Allow: /
# Disallow access to admin areas for all bots
User-agent: *
Disallow: /admin/
Disallow: /internal/
Sitemap: https://www.example.com/sitemap.xml
Hindari proteksi bot berlebihan
Jangan gunakan proteksi bot secara agresif seperti di Cloudflare/AWS WAF. Hal ini akan melarang AI Agent dan Crawler mengakses konten Anda. Sebaliknya, izinkan rentang data center IP di keseluruhan area (contoh: Indonesia).
Tingkatkan speed website
Optimalkan loading speed konten secepat mungkin, idealnya kurang dari satu detik. Usahakan juga untuk mempertahankan bagian utama konten di bagian atas HTML.
Gunakan metadata dan semantik markup yang Jelas
Contohnya seperti:
– Tag SEO basic: <title>, <meta description> dan <meta keyword>
– Tag Open Graph: Ini meningkatkan pratinjau di hasil AI Search
– Markup Schema.org: Gunakan JSON-LD untuk data terstruktur
– Struktur judul yang tepat: (H1-H6)
– Elemen semantik: <article>, <section> dan <nav>
Buat konten terlihat di satu halaman
Hindari tombol “Baca selengkapnya” atau artikel pagination (multi-halaman).
Menyediakan akses terprogram API (dengan spesifikasi OpenAPI) atau RSS Feed
Hal ini memungkinkan akses yang lebih cepat dan terstruktur untuk tool AI.
Informasikan tanggal publikasi
Gunakan tanggal yang terlihat dan meta tag untuk membantu AI memahami kapan konten dipublikasikan atau diperbarui.
Buat file llms.txt
Untuk konten dokumentasi atau referensi, Anda bisa membuat file llms.txt. Gunakan Firecrawl Generator untuk membuatnya.
Buat dan unggah file sitemap.xml
Gunakan sitemap.xml untuk memandu crawler ke konten yang penting.
Gunakan favicon dan gambar utama
AI Search menampilkan konten secara visual. Memiliki favicon.ico yang sederhana dan gambar utama yang jelas akan meningkatkan visibilitas konten Anda di sana.
Daftar AI Crawler User-Agents yang Harus Dipertimbangkan
Saat mengonfigurasi robots.txt, pertimbangkan AI Crawler berikut ini:
- OpenAI: GPTBot (training data), ChatGPT-User (user actions in ChatGPT), OAI-SearchBot (AI search results)
- Google: Google-Extended (AI training), GoogleOther (various AI uses)
- Anthropic: ClaudeBot (consolidated bot for various uses)
- Andi: AndiBot
- Perplexity: PerplexityBot
- You.com: YouBot
- Phind: PhindBot
- Exa: ExaBot
- Firecrawl: FirecrawlAgent
- Common Crawl: CCBot (used by many AI companies for training data)
Untuk data lengkap dan ter-update, silakan cek Dark Visitors.
Tips Mengoptimalkan Pengoperasian Komputer dengan AI Agent
AI Agent yang dapat menggunakan komputer, seperti menggunakan browser atau operator OpenAI adalah sebuah terobosan baru yang menarik. Inilah beberapa tips yang bisa Anda lakukan:
- Terapkan “agent-responsive design (desain yang responsif terhadap agen)”. Susun situs Anda sehingga AI dapat dengan mudah menafsirkan dan berinteraksi dengannya.
- Pastikan elemen interaktif seperti tombol dan kolom teks didefinisikan dengan jelas dan dapat diakses.
- Gunakan pola navigasi yang konsisten untuk membantu AI memprediksi dan memahami alur website.
- Minimalkan interaksi yang tidak perlu seperti login atau pop-up yang dapat mengganggu tugas si AI.
- Menggabungkan fitur aksesibilitas web seperti penggunaan ARIA label yang juga dapat membantu AI memahami setiap elemen di halaman.
- Tes website Anda dengan AI Agent, lakukan secara berkala untuk hasil yang optimal.
Tips untuk Developer
Jika Anda membuat sebuah developer tool, optimalkan visibilitas AI dengan cara:
– Pertahankan file llms.txt ke yang baru
– Berikan akses mudah dengan memberikan versi HTML yang clean atau simplikasikan dokumenya.
– Pertimbangkan untuk menggunakan alat dokumentasi seperti Theneo dan Mintlify untuk mengoptimalkan aksesibilitas AI.
Mengoptimalkan AI Search adalah proses yang berkelanjutan, karena AI Crawler masih jauh dari kata sempurna. Alasannya karena:
– 34% permintaan AI Crawler menghasilkan status code 404 atau error lainnya
– Hanya Gemini dari Google dan AppleBot yang saat ini bisa me-render JavaScript di antara AI besar lainnya
– AI Crawler menunjukkan inefisiensi 47 kali lipat dibandingkan tradisional Crawler seperti Googlebot
– AI Crawler mewakili sekitar 28% volume Googlebot dalam analisis traffic terbaru
Untuk detail lebih lanjut, silakan cek sumber-sumber di bawah ini:
– LLMs.txt specification
– Dark Visitors AI crawler list
– Google’s AI crawler documentation
Dengan memahami dan menerapkan langkah-langkah di atas, Anda dapat memastikan bahwa konten Anda tetap terindeks dan mudah diakses oleh AI Search. Dengan demikian, visibilitas website Anda akan tetap optimal di tengah perkembangan teknologi kecerdasan buatan.
