Консорциум MLCommons объявил о формировании специализированной рабочей группы в области обеспечения безопасности ИИ — структуры AI Safety (AIS). Она разработает платформу и набор тестов для безопасного и этичного применения ИИ в различных сценариях.
Отмечается, что ИИ-системы потенциально могут принести значительную пользу обществу, но существуют и проблемы, такие как дезинформация и предвзятость. Кроме того, средства генеративного ИИ могут применяться для создания дипфейков и написания вредоносного кода.
Источник изображения: pixabay.com
Новая инициатива предусматривает оценку безопасности различных систем ИИ в соответствии с отраслевыми стандартами. После проведения тестирования с применением набора определённых критериев будут формироваться информативные и понятные оценки.
Приоритетом AIS станет развитие более строгих и надёжных технологий тестирования безопасности ИИ. Рабочая группа будет опираться на технический и эксплуатационный опыт своих участников и сообщества ИИ в целом. На первом этапе внимание планируется сосредоточить на разработке критериев безопасности для больших языковых моделей (LLM). В состав рабочей группы войдут специалисты Anthropic, Coactive AI, Google, Inflection, Intel, Meta✴, Microsoft, NVIDIA, OpenAI и Qualcomm Technologies, а также эксперты ряда научных организаций, в том числе из Эйндховенского университета, Стэнфордского университета и Чикагского университета.
Источник:
