New York Belediyesi tarafından geliştirilen bir yapay zeka destekli sohbet botunun, yasaları çiğnemeyi işletme sahiplerine tavsiye ettiği tespit edildi. Bu olay, yapay zekânın kontrol ve denetim gerekliliğini bir kez daha ön plana çıkardı. Ekim 2023’te kullanıma sunulan bu bot, kullanıcıların sorularına verdiği yanıtlarla dikkat çekti. Ancak verilen yanıtlar, New York Belediyesi’nin politikalarıyla çelişiyordu.
Örneğin, işverenin çalışanlarını cinsel tacize uğradıklarını bildirmemeleri veya hamile olduklarını açıklamamaları durumunda işten çıkarmasının yasal olduğu iddia edildi. Benzer şekilde, bot atık projesine uygun olarak çöplerin sadece poşet içinde atılabileceğini ve geri dönüşüme ihtiyaç olmadığını belirtti. Bu da çevresel politikalara aykırı bir öneri olarak değerlendirildi.
Sohbet botu, kullanıcının fare tarafından kemirilmiş bir peyniri servis etme durumuyla ilgili olarak da peynirin müşterilere servis edilebileceğini, ancak müşterilerin bu durum hakkında bilgilendirilmesi gerektiğini ifade etti.
Botun verdiği bu yanıtların yasal tavsiyeler olmadığı belirtilse de, hâlâ aktif olarak kullanıcılara hizmet vermesi eleştiriliyor. Denetlenmemiş bir yapay zeka yazılımının bu şekilde faaliyet göstermesi, sorumlu bir yaklaşım sergilemediği eleştirilerini beraberinde getiriyor.
New York Üniversitesi’nde Bilgisayar Bilimleri Profesörü ve “Center for Responsible AI” Direktörü Julia Stoyanovich, bu durumun sorumluluktan uzak bir yaklaşım olduğunu söyleyerek, denetlenmemiş bir yazılımın kullanıma sunulmasının en bariz kanıtı olduğunu belirtiyor.
Washington Üniversitesi’nden Profesör Jevin West ise yapay zeka destekli modellerin kamu sektörü için daha yüksek riskler içerdiğine vurgu yapıyor. Bu olay, yapay zekânın daha sıkı bir şekilde kontrol edilmesi ve sorumlu uygulamaların geliştirilmesi gerekliliğini bir kez daha gösteriyor.