Можно ли заставить искусственный интеллект играть по своим правилам?

Как это выглядит в жизни? Нейросети обвинили клиента в мошенничестве, хотя он не делал ничего противоправного. Какая у них была логика и почему они решили, что он мошенник — неизвестно, так как нейросети настолько запутаны, что человеку будет непонятна их логика. И такая непрозрачность подвигает организации к принятию неточных, а иногда в корне неверных решений. При этом их очень сложно проверить и понять логику. Именно поэтому нужно подчинять ИИ человеческой логике уже сейчас.

Проблема «черного ящика»

FCA столкнулись с трудностями аудита искусственного интеллекта в финансовой сфере, так как нейронные сети, используемые банками, работают на основе комплексных вероятностей и корреляций, недоступных для понимания кем-либо, кроме исследователя данных.

Из-за этого нейросети создают легальную «серую зону»: если финучреждение предоставило неверный совет, который привел к провальному решению, то будет довольно трудно сказать, как именно нейронная сеть приняла это решение. Следовательно, FCA практически не может привлечь учреждение к ответственности за мошенничество, совершенное ИИ, так как нейронка может содержать неизвестный критический недостаток, влияющий на работу всей организации.

Сложность аудита разработок на базе ИИ возрастает прямо пропорционально сложности принимаемых ими решений. Из-за того, что нейронным сетям приходится все чаще выполнять все задачи — от аудита до прогнозирования мошенничества — их внутренняя работа становится все более непрозрачной.

В то же время FCA будет сложно получить доступ к необходимой информации для регулирования ИИ, так как секрет принятия решений нейросети является частью интеллектуальной собственности компании.

Гигиена данных

Системы глубокого обучения, используемые финучреждениями, непонятны даже для специалистов. Большинству организаций просто не хватает внутреннего опыта или гигиены данных для их максимально эффективного использования ИИ.

Нейронные сети не могут мыслить вне контекста своей «среды обучения», и, следовательно, их эффективность будет равна тому, насколько правильными и точными были данные, на которых они обучались. Это значит, что они склоны наследовать предвзятость к чьим-то плохим данным: если у клиента будет неполная или плохая налоговая отчетность, то ИИ может принять неправильные решения и т. д.

Таким же образом разработки на базе ИИ в страховых фирмах могут решить, например, что блондинки подвергаются более высокому риску мошенничества, из-за того, что их было слишком много в выборке, на которой учился ИИ.

В таких отраслях, как кредитование и страхование, плохая гигиена данных может привести к фатальным ошибкам. Например, вы должны будете платить за страховку вдвое больше, чем должны были бы.

Поскольку машина не объясняет свои решения, а организация не знает, как она их принимает, возникает вопрос: а кто будет отвечать перед FCA? Этого не знает никто.

Аудит с помощью искусственного интеллекта

Фундаментальная проблема аудита заключается в том, что любое расследование, проводимое FCA, будет чрезвычайно дорогим и сложным. Могут понадобиться недели, а то и месяцы, чтобы найти точные пути принятия решений, которые смогут объяснить логику машины. И даже в этом случае оно все равно будет в коде, который смогут понять только ученые. А значит, придется тратить время, чтобы перевести их на понятный для человека язык.

Некоторые финансовые регуляторы используют решения на базе ИИ в процессе аудита. Тем не менее эта проблема становится еще острее, так как теперь нейросеть будет проверять нейросеть. Но кто будет проверять проверяющую нейросеть?

Каким может быть решение этих проблем

Придется частично возвращать людей в рабочий цикл, превращая его из «черного ящика» в прозрачный «стеклянный дом», работающий в соответствии с человеческой логикой. И поскольку разработки на базе ИИ будут все чаще помогать специалистам, есть смысл вовлекать их коллег в настройку и аудит таких систем. ИИ-системы должны отражать логику человеческого мышления: только так они могут быть настроены и проверены экспертами в своей области.

Таким образом финансовые учреждения могут гарантировать, что решения регулируются в соответствии со всеми правилами, что исключит возможность предвзятости данных, дискриминационных или заведомо неточных решений. Также важно, чтобы люди, работающие с ИИ в финансовых учреждениях, действительно понимали принципы работы тех инструментов, которые они используют, чтобы это не выглядело как «хвост, который виляет собакой».

Fintech Times