Большие языковые модели (LLM), разработанные OpenAI и Anthropic, создают непреднамеренные барьеры для исследователей в области кибербезопасности. Эти специалисты занимаются поиском неизвестных уязвимостей в программном обеспечении и разработкой инструментов для их эксплуатации. Теперь их работа усложняется из-за встроенных в AI-модели ограничений.
Исследователи, с которыми поговорили журналисты TechCrunch, отмечают, что AI-защита, призванная предотвратить злонамеренное использование, мешает им проводить законные тесты. Например, модели могут отказываться генерировать код, который, по их мнению, может быть использован для атак, даже если этот код является частью исследовательского инструмента для поиска слабых мест.
Эти ограничения могут замедлить процесс обнаружения новых уязвимостей. Быстрое выявление и устранение слабых мест критически важно для защиты цифровых систем. Если исследователи не могут свободно экспериментировать и разрабатывать инструменты, это может привести к тому, что реальные угрозы останутся незамеченными дольше.
Для рынка AI и поисковых систем эта ситуация также имеет значение. Понимание того, как AI может быть использован для поиска уязвимостей, помогает создавать более надежные системы. В то же время, если AI-защита становится слишком строгой, она может помешать развитию тех же самых защитных технологий, которые должны были обеспечить безопасность.
Компании, разрабатывающие LLM, стремятся сделать свои продукты безопасными. Однако чрезмерно строгие ограничения могут иметь обратный эффект. Исследователи кибербезопасности считают, что необходим баланс, позволяющий проводить этичную и легальную работу по поиску уязвимостей, не препятствуя при этом разработке защитных мер.