Amazon Web Services (AWS), sunucularını kullanan bir şirket olan Perplexity hakkında, yapay zeka modellerini eğitmek için web kazıma teknikleri kullanıp kullanmadıklarını belirlemek için bir soruşturma başlattı. Veri kazıma olarak da bilinen web kazıma, bilgileri otomatik olarak filtrelemek ve depolamak için HTML kodunu çıkaran yazılım kullanılarak web sayfalarından içerik toplamayı içerir.
Geliştirici Robb Knight ve Wired, Perplexity'nin AI modellerini eğitmek için belirli web sitelerinden veri toplayarak Robots Exclusion Protocol'ü ihlal ettiğini keşfetti. Robots Exclusion Protocol, robotların ve tarayıcıların erişmemesi gereken sayfaları belirtmek için bir etki alanına robots.txt dosyası yerleştirmeyi içerir.
AWS, müşterilerin yasa dışı faaliyetlerde bulunmasını yasaklayan katı şartlara sahiptir ve geçerli tüm yasalara uymaktan sorumludur. Perplexity, robots.txt'ye uyduğunu iddia ediyor ve botlarının belirli URL'leri almak için robots.txt'yi görmezden geldiği nadir durumlar haricinde hizmetlerinin AWS hizmet şartlarını ihlal etmediğini belirtiyor.
Perplexity'nin iddialarına rağmen, Wired tarafından yapılan araştırmalar, şirketin sohbet robotunun bazı durumlarda yetkisiz bilgi toplamak için robots.txt'yi görmezden geldiğini gösteriyor. Bu, AWS hizmet şartlarının olası ihlalleri ve Perplexity'nin veri toplama yöntemlerinin yasallığı konusunda endişelere yol açıyor.
