Seminar Internet Marketing – SEO pertama merangkak berfokus pada dua bagian utama dari infrastruktur mesin pencari: merangkak dan mengindeks .
Jika semua halaman di situs tidak dirayapi, mereka tidak dapat diindeks. Dan jika halaman Anda tidak dapat diindeks, mereka tidak akan muncul di halaman hasil mesin pencari (SERP).
Inilah yang membuat SEO merangkak-pertama adalah penting – ini semua tentang memastikan semua halaman yang ada di situs dirayapi dan diindeks, sehingga mereka akan memposisikan dengan baik di SERPs.
SEO pertama merangkak dapat:
- Bantu Anda memahami bagaimana Google menjelajah situs Anda.
- Identifikasi ketidakcocokan.
- Bantu Google mengakses halaman yang bermanfaat.
- Bantu Google memahami konten.
Tetapi sebelum Anda menjelajahi situs klien Anda, pastikan Anda mengikuti panduan 12 langkah ini.
Sebelum Mengkonfigurasi Perayapan
Kumpulkan Informasi & Data dari Klien
1. Kirim Dokumen Kuesioner Perayapan ke Klien Anda
Dalam dokumen ini, Anda harus mengajukan pertanyaan berikut:
Berapa banyak produk yang Anda miliki di situs Anda?
Ini adalah pertanyaan yang tidak bisa Anda jawab. Anda tidak dapat mengetahui jumlah produk dalam database mereka atau berapa banyak dari mereka yang disediakan secara online.
Sebaliknya, klien Anda biasanya tahu jawaban atas pertanyaan ini dengan hati dan mereka dapat menjawab sebagian besar waktu Anda dengan mudah.
Saya mengatakan sebagian besar waktu karena saya menemukan beberapa klien yang tidak tahu berapa banyak produk yang mereka miliki di situs mereka. Ini juga bisa terjadi.
Mengetahui berapa banyak produk yang dimiliki klien, adalah salah satu informasi terpenting yang perlu Anda ketahui sebelum merayapi situs. Padahal, ini adalah salah satu alasan paling penting Anda akan melakukan “Audit SEO pertama Perayapan” di situs mereka.
Anda harus mengetahui jumlah produk mereka yang tersedia secara online karena Anda benar-benar ingin menjawab dua pertanyaan penting pada akhir audit SEO Anda :
- Bisakah crawler mengakses ke semua halaman produk di situs? Untuk pertanyaan pertama, jika perayap tidak dapat mengakses semua halaman produk di situs, yang terbaik adalah menyelidiki log server web. Ini akan membantu Anda memahami apakah bot mesin pencari, katakanlah Googlebot, dapat mengakses halaman produk tetapi tidak crawler Anda. Kalau tidak, mungkin ada banyak alasan yang menyebabkan masalah ini, termasuk JavaScript .
- Apakah perayap mengakses lebih banyak halaman produk di situs daripada yang seharusnya? Jika dalam perayapan Anda ada URL produk berlebihan dari yang seharusnya, maka itu menunjukkan masalah dengan perayapan situs. Dalam kasus terburuk, mungkin ada jebakan perayap yang baik untuk mengetahui dengan audit Anda.
Saya telah ditanya sebelumnya jika kita dapat menganggap artikel sebagai produk untuk jenis situs lain, jawaban untuk pertanyaan ini adalah, ya.
Ketika kami meminta jumlah produk yang tersedia di situs mereka kepada klien kami, terutama dengan produk yang kami maksudkan, apa yang situs tawarkan sebagai ekor panjang. Mereka dapat menyediakan artikel, berita, podcast, video dll … selain produk.
Apakah halaman di situs Anda menghasilkan konten yang berbeda berdasarkan agen-pengguna?
Anda bertanya apakah konten pada halaman berubah dengan agen-pengguna.
Apakah halaman di situs Anda menghasilkan konten yang berbeda berdasarkan negara yang dipersepsikan atau bahasa pilihan?
Anda ingin belajar jika konten pada halaman berubah dengan IP atau bahasa yang di-geolokasi.
Apakah ada akses memblokir atau merangkak memblokir di situs Anda?
Pertama, Anda bertanya apakah mereka memblokir semacam IP, agen pengguna dari perayapan. Kedua, Anda ingin mengetahui apakah ada beberapa batasan merangkak di situs.
Sebagai contoh pembatasan penelusuran, ada kemungkinan server merespons dengan kode status HTTP selain dari 200 hingga melampaui jumlah permintaan tertentu per detik.
Misalnya, server dapat merespons dengan kode status HTTP 503 (Layanan Sementara Tidak Tersedia) ketika permintaan crawler melebihi 10 halaman per detik.
Berapa bandwidth server Anda?
Biasanya, mereka tidak tahu jawaban untuk pertanyaan ini.
Pada dasarnya, Anda harus menjelaskan kepada klien Anda bahwa Anda bertanya berapa banyak halaman per detik yang dapat Anda jelajahi di situs mereka.
Bagaimanapun, saya sarankan Anda untuk menyetujui jumlah halaman per detik yang dapat Anda jelajahi dengan klien Anda.
Ini akan menjadi kesepakatan yang bagus untuk Anda sehingga Anda tidak berakhir dalam situasi yang tidak nyaman sesudahnya, seperti menyebabkan kegagalan server karena permintaan perayapan Anda.
Apakah Anda lebih suka menjelajah hari atau jam?
Klien Anda mungkin memiliki beberapa hari atau jam perayapan yang disukai. Misalnya, mereka ingin agar situs mereka dirayapi pada akhir pekan atau di malam hari.
Namun, jika klien memiliki preferensi tersebut dan jumlah hari dan jam perayapan sangat terbatas, penting untuk memberi tahu mereka bahwa sebagai hasilnya, melakukan audit SEO akan memakan waktu lebih lama karena hari atau jam perayapan terbatas.
2. Akses & Kumpulkan Data SEO
Minta klien Anda untuk mendapatkan akses ke:
- Google Search Console .
- Alat analisis web (misalnya, Google Analytics ).
- Log server web.
Anda juga harus mengunduh peta situs, jika tersedia.
Verifikasi Perayap
3. Tindak lanjut HTTP Header Bots Engine
Sebagai konsultan SEO, Anda harus menindaklanjuti permintaan HTTP apa yang diminta bot mesin pencari header dalam perayapan mereka.
Jika audit SEO Anda menyangkut Googlebot, dalam hal ini, Anda harus tahu apa yang diminta HTTP header dari Googlebot dari server HTTP atau server HTTPS.
Ini sangat penting karena ketika Anda mengatakan kepada klien Anda, Anda akan merayapi situs mereka misalnya, karena Googlebot merayapi maka Anda harus yakin meminta header HTTP yang sama dengan Googlebot dari server mereka.
Informasi respons dan data yang Anda kumpulkan dari server tergantung pada apa yang Anda minta di header HTTP crawler Anda.
Misalnya, bayangkan server yang mendukung brotli dan permintaan perayap Anda:
Accept-Encoding: gzip,deflate
tapi tidak:
Accept-Encoding: gzip,deflate,br
Pada akhir audit SEO Anda, Anda dapat mengatakan kepada klien Anda bahwa ada masalah kinerja perayapan di situs mereka tetapi ini mungkin tidak benar.
Dalam contoh ini, perayap Anda yang tidak mendukung brotli dan situs mungkin tidak memiliki masalah kinerja perayapan.
4. Periksa Perayap Anda
- HTTP apa yang mengarahkan permintaan crawler?
- Jumlah halaman maksimum per detik yang dapat Anda jelajahi dengan crawler Anda?
- Jumlah maksimum tautan per halaman yang diperhitungkan perayap?
- Apakah perayap Anda menghormati instruksi merangkak di:
- Robots.txt?
- Kode sumber?
- Tajuk HTTP?
- Bagaimana cara crawler menangani pengalihan?
- Berapa banyak pengalihan yang bisa diikuti?
Memverifikasi & Menganalisis Informasi & Data yang Dikumpulkan Saat Mengambil Keputusan untuk Konfigurasi Perayapan
5. Minta contoh URL dari Situs Klien Anda dengan Berbagai:
- Agen-pengguna.
- IP yang di-geolokasi.
- Bahasa.
Jangan percayai jawaban yang telah Anda kumpulkan dari klien Anda dengan dokumen kuesioner perayapan di awal. Ini bukan karena klien Anda bisa berbohong kepada Anda, tetapi hanya karena mereka tidak tahu semua tentang situs mereka.
Saya sarankan Anda untuk melakukan tes perayapan khusus situs Anda di situs sebelum merayapi situs.
Saya telah ditanya sebelumnya apakah bagian ini benar-benar penting. Ya, itu karena konten di situs dapat berubah berdasarkan agen-pengguna, IP, atau bahasa.
Misalnya, beberapa situs dapat berlatih penyelubungan. Dalam pengujian perayapan khusus situs Anda, Anda harus memeriksa apakah konten di situs berubah oleh agen pengguna Googlebot atau tidak.
Di sisi lain, beberapa situs mungkin mengirim konten yang berbeda pada URL yang sama, berdasarkan bahasa atau IP geolokasi. Google menyebutnya sebagai “halaman adaptasi lokal”, dokumen pendukung yang telah dimodifikasi baru-baru ini ” Bagaimana Google menjelajah halaman adaptasi lokal “.
Di masa mendatang, perilaku perayapan Googlebot terkait halaman adaptasi lokal dapat dimodifikasi lagi. Yang terbaik adalah mengetahui apakah konten berubah di situs oleh negara yang dianggap atau bahasa yang disukai pengunjung dan bagaimana Googlebot atau bot mesin pencari lainnya menangani mereka pada waktu itu dan menyesuaikan perayap Anda sesuai.
Selain itu, tes ini dapat membantu Anda mengidentifikasi masalah perayapan di situs sebelum merangkak dan itu bisa menjadi temuan penting dalam audit SEO Anda.
6. Mengenal Server
Kumpulkan informasi tentang server dan kinerja perayapan situs. Adalah baik untuk mengetahui jenis server yang akan Anda kirimi permintaan merangkak dan memiliki gagasan tentang kinerja perayapan situs sebelum merangkak.
Untuk memiliki gagasan tentang kinerja perayapan, Anda dapat memeriksa permintaan perayapan khusus situs yang telah Anda lakukan pada langkah 5. Bagian ini diperlukan untuk mengetahui tingkat perayapan yang optimal untuk didefinisikan dalam file konfigurasi perayapan Anda.
Dari sudut pandang saya, elemen yang paling sulit untuk diatur dalam perayapan adalah tingkat perayapan.
7. Pra-Identifikasi Limbah Perayapan
Sebelum menyiapkan file konfigurasi perayapan yang efisien, penting untuk mengidentifikasi terlebih dahulu limbah perayapan di situs klien Anda.
Anda dapat mengidentifikasi limbah perayapan di situs dengan data SEO yang dikumpulkan dari log server web, Google Analytics, Google Search Console, dan peta situs.
8. Memutuskan untuk Mengikuti, Tidak Mengikuti atau Yang Lain Terus di Database Perayapan
- URL diblokir oleh robots.txt.
- Tautan ke situs web lain termasuk subdomain dari situs klien.
- URL dengan skema (protokol) tertentu (misalnya, HTTP).
- Jenis konten (misalnya, PDF atau gambar).
Pilihan Anda tergantung pada jenis audit SEO yang akan Anda lakukan.
Dalam audit SEO Anda, misalnya, sekali Anda mungkin ingin menganalisis URL yang diblokir oleh robots.txt, nanti, tautan yang diberikan ke situs web lain atau subdomain situs, selanjutnya, tautan ke URL dengan skema tertentu (protokol).
Namun, perlu diingat bahwa jika Anda mengikuti atau hanya melestarikannya di database perayapan Anda, karena itu meningkatkan volume data, itu juga akan meningkatkan kompleksitas analisis data nanti.
Konfigurasi Perayapan
9. Buat File Konfigurasi Perayapan yang Efisien
- Pilih yang benar:
- Agen pengguna.
- IP yang di-geolokasi.
- Bahasa.
- Tetapkan yang optimal:
- Kedalaman perayapan.
- Tingkat perayapan.
- Pilih dengan bijak URL awal:
- Skema (protokol)?
- TLD yang mana?
- Dengan atau tanpa subdomain di nama host?
- Pilih untuk mengikuti, untuk tidak mengikuti atau menyimpan di URL crawl database:
- Dicekal oleh robots.txt.
- Dengan skema tertentu (protokol).
- Milik subdomain dari domain klien.
- Dari domain lain.
- Jenis konten dengan ekstensi (misalnya, pdf, zip, jpg, doc, ppt) `?
- Hindari merangkak merayapi limbah (terutama jika Anda memiliki sumber daya yang terbatas).
Tentang kedalaman perayapan, saya sarankan Anda untuk memilih kedalaman perayapan kecil di awal dan meningkatkan kedalaman perayapan dalam konfigurasi perayapan Anda secara progresif.
Ini akan sangat membantu terutama jika Anda akan menjelajah situs web besar. Tentu saja, Anda dapat melakukannya jika perayap memungkinkan Anda untuk meningkatkan kedalaman perayapan langkah demi langkah.
Selain itu, ada perayap cerdas yang dapat mengidentifikasi limbah perayapan sendiri saat perayapan sehingga Anda tidak perlu merawatnya secara manual dalam konfigurasi perayapan Anda. Jika Anda memiliki crawler seperti itu maka Anda tidak perlu repot dengan hal ini.
Setelah Mengkonfigurasi Perayapan
10. Beri tahu Klien tentang Agen-Pengguna & IP Anda
Ini pada prinsipnya sangat penting, jika Anda akan merayapi situs web besar untuk mencegah mereka memblokir perayapan Anda. Untuk situs kecil, itu tidak penting, tetapi saya sarankan Anda untuk tetap berlatih.
Menurut pendapat saya, ini adalah kebiasaan profesional yang baik. Selain itu, ini menunjukkan kepada klien Anda bahwa Anda adalah seorang ahli dalam perayapan.
11. Jalankan Uji Coba
- Analisis data perayapan tes Anda. Cari tahu apakah ada hasil yang tidak terduga.
- Beberapa masalah untuk diperiksa:
- Berapa tingkat perayapan? Apakah perlu penyesuaian?
- Apakah perayap menafsirkan robots.txt dari domain yang Anda ikuti di konfigurasi perayapan Anda dengan benar?
- Apakah Anda menerima banyak kode status HTTP selain 200, terutama 503 kode status HTTP? Apa yang mungkin menjadi alasannya?
- Apakah ada batasan merangkak?
- Apakah Anda mengharapkan hasil konfigurasi perayapan Anda? Mulailah dengan domain yang ingin Anda ikuti, lalu tautan yang ingin Anda simpan dalam database perayapan Anda, dan akhirnya tautan yang tidak ingin Anda ikuti.
- Apakah ada masalah dengan kedalaman perayapan? Apakah kedalaman perayapan yang ditunjukkan oleh perayap untuk URL yang dirayapi meyakinkan Anda? Ada beberapa alasan yang dapat mempengaruhi kedalaman perayapan, misalnya, pertama perayap itu sendiri, kedua apa yang telah Anda jelajahi seperti sitemap html.
- Apakah Anda merayapi beberapa jenis konten yang tidak diinginkan?
- Apakah ada beberapa limbah perayapan di data perayapan Anda?
- Ambil tindakan yang sesuai dengan memodifikasi file konfigurasi crawl Anda atau kadang-kadang bahkan Anda mungkin ingin mengubah crawler Anda.
Akhirnya, Luncurkan Perayapan
12. Jika Semua Baik-Baik Saja
- Hitung berapa lama waktu perayapan.
- Akhirnya, luncurkan perayapan Anda.