Cloudflare Ungkap Blot Ai Siluman Dari Perplexity

Seperti nan telah kita tahu, AI melakukan perayapan pada situs web untuk mendapatkan info terbaru dan agar lebih akurat, imbasnya jelas AI makin canggih namun disisi lain ini merugikan para konten pembuat seperti blogger alias penulis di internet lantaran pengguna jadi mulai meninggalkan mereka (termasuk trafik Google nan sebelumnya dikabarkan turun drastis akibat kehadiran AI ini).

Baca Juga : Gara Gara Chatbot AI, Trafik Google Search Turun!

Nah mengenai perihal tersebut, Cloudflare mulai menguji fitur Pay per Crawl nan mendapatkan respon positif dari pada pengurus web lantaran dengan itu AI kudu bayar sejumlah biaya untuk melakukan perayapan pada websitenya alias mengecualikan website mereka dari perayapan AI.

Namun kawan kawan, mengenai perihal tersebut, Perplexity baru baru ini diduga telah menggunakan perayapan (crawler) siluman dan tidak terdeklarasi untuk menerobos pengarahan no-crawl. Hal ini juga telah dikonfirmasi oleh Cloudflare lantaran mendapatkan laporan dari pengguna mengenai Perplexity nan tetap mengakses konten pengguna meskipun telah di blokir.

Menurut Cloudflare, mereka menyatakan bahwa Perplexity memodifikasi user agent-nya dan mengubah autonomous source networks (ASN) untuk menyembunyikan aktivitas mereka. Cloudflare menyatakan bahwa crawler Perplexity kandas mengambil file robots.txt sehingga tidak mematuhi patokan dalam file tersebut.

Tindakan Cloudflare

Karena dugaan praktik nan jelek ini, Cloudflare telah memutuskan untuk menghapus Perplexity sebagai bot terverifikasi nan bakal memengaruhi interaksinya dengan situs web, terutama nan menggunakan jasa Cloudflare untuk perlindungan.

Menurut perincian nan dibagikan Cloudflare, secara default, Perplexity berperilaku dengan menggunakan user agent PerplexityBot nan telah dideklarasikan. Namun, setiap kali situs web memblokirnya, Perplexity bakal beranjak ke browser agent generik (Chrome/124.0.0.0 Safari/537.36). Nah aktivitas crawling siluman ini menggunakan beberapa IP nan tidak tercantum dalam rentang resmi Perplexity dan beranjak pindah melalui ASN nan berbeda.

Sementara itu, perusahaan nan sama seperti OpenAI, nan juga merayapi web, dengan jelas menguraikan perayap mereka dan mematuhi pengarahan robots.txt serta pemblokiran jaringan. Cloudflare menguji crawler ChatGPT dan menemukan bahwa crawler tersebut berakhir merayapi ketika pengarahan disallow muncul alias ketika laman hitam ditampilkan.

Yang pasti tindakan Cloudflare ini adalah perihal nan bagus sekaligus mempertegas mengenai perlindungan info web dari AI. Nah gimana menurutmu? komen dibawah guys.

Via : Cloudflare, Neowin