Rogue AI-ийн ард нэг л стартап байжээ
OpenAI, Meta, Anthropic, Google-ийн AI агентууд тус тусдаа “хяналтаас гарсан” мэт харагдаж байсан ч нэг нийтлэг цэг илэрлээ. Тэднийг шалгаж, стресс-тест хийдэг нэг стартап олон дуулианы голд оржээ.
Израилийн Irregular нэртэй энэ компани AI загваруудыг бодит орчинтой төстэй, өндөр нарийвчлалтай сценаар тестэлдэг. Өөрөөр хэлбэл, агентууд яаж буруу ажиллаж, хаашаа хазайхыг өмнө нь илрүүлэх гэж зориулагдсан баг.
Энэ нь яагаад чухал вэ гэвэл “rogue AI” асуудал ганц компанийн алдаа биш байж магадгүйг харуулж байна. Олон том AI тоглогч ижил тестийн орчинд орж, адилхан эрсдэл ил гарч байгаа нь салбарын аюулгүй байдлын түвшин бодож байснаас эмзэг байгааг示лэж байна. Хэрвээ AI агентууд бодит хэрэглээнд илүү гүн нэвтэрвэл ийм тестийн ач холбогдол бүр ч өснө.
