شرکت‌ها به‌طور فعال در حال توسعه موارد نوآورانه‌ای برای استفاده از سیستم‌های هوش مصنوعی هستند، چه از طریق ایجاد برنامه‌های قدرتمند و چه با ادغام قابلیت‌های هوش مصنوعی در فرآیندهای موجود خود برای حل مشکلات. با وجود رشد سریع این فناوری و کاربرد گسترده آن، سوالاتی نه تنها درباره دقت و انصاف خروجی‌های سیستم‌ها مطرح است، بلکه نگرانی‌های جدی در مورد امنیت داده‌ها، حفظ حریم خصوصی و شفافیت نیز وجود دارد.
در این میان، ما شاهد ظهور مجموعه‌ای از مقررات و استانداردها هستیم که قوانینی را برای توسعه‌دهندگان و پیاده‌سازان سیستم‌های هوش مصنوعی مشخص می‌کند تا به‌منظور ایجاد اعتماد و ترویج استفاده مسئولانه از هوش مصنوعی، نسبت به آنها پایبند باشند. مهم است که شرکت‌ها اقداماتی را برای مدیریت ریسک‌های خاص هوش مصنوعی در نظر گرفته و اجرا کنند تا این سیستم‌ها را قابل اعتمادتر کنند.
نقش هیئت‌مدیره
ایمنی هوش مصنوعی یک چالش تجاری چندرشته‌ای است؛ عملکرد نامناسب سیستم یا مشکلات امنیتی می‌تواند منجر به کاهش درآمد، اخذ جریمه به‌خاطر عدم انطباق و آسیب به شهرت سازمان شود. ضرورت حاکمیت این موضوع با تعهد مدیریت و ایجاد لحن مناسب از بالای هرم آغاز می‌شود. هیئت‌مدیره باید نقش فعالی در تعیین زمینه و محدودیت‌های استفاده از هوش مصنوعی ایفا کند. همچنین باید به‌طور مستمر خطرات مربوط به استفاده یا توسعه سیستم‌های هوش مصنوعی را شناسایی کرده و adequacy و وضعیت حفاظتی مناسب را برای کاهش این خطرات به سطوح قابل قبول مورد بررسی قرار دهد.
نقش هیئت‌مدیره شامل (اما نه محدود به) موارد زیر است:
- تعیین اهداف هوش مصنوعی و اصول استفاده، و تأیید سیاست‌هایی که مرزها و قواعد اصلی عملیات را مشخص می‌کند.
- ایجاد یک برنامه جامع برای ارزیابی ریسک و اطمینان از پیروی مداوم از آن.
- مرور معیارها و نتایج سیستم‌های نظارتی مختلف و برنامه‌های انطباق برای ارزیابی اثربخشی کنترل‌ها و تمهیدات حفاظتی به‌کار رفته برای کاهش ریسک‌های شناسایی‌شده.
ارزیابی ریسک و تأثیر هوش مصنوعی
ارزیابی ریسک‌های هوش مصنوعی باید در دو سطح انجام شود: سطح کلان (ماکروسکوپی) و سطح خرد (میکروسکوپی). ریسک‌های کلان در سطح شرکت ارزیابی شده و شامل مدیران ارشد می‌گردد. آمادگی سازمان برای هوش مصنوعی مورد ارزیابی قرار می‌گیرد و به عواملی نظیر مرتبط بودن و پیچیدگی هوش مصنوعی، در دسترس بودن منابع (افراد، محاسبات و ابزارها)، توانایی پیاده‌سازی حکمرانی داده‌های قوی و ریسک‌های قانونی و انطباق توجه می‌شود.
تأثیر سیستم‌های هوش مصنوعی به شرایطی که در آن پیاده‌سازی می‌شود، بستگی دارد - به محیط عملیاتی و اینکه خروجی‌ها چگونه تعبیر می‌شوند. بنابراین، ریسک‌های سطح خرد باید در سطح جزئی، معمولاً برای هر مدل یا مورد استفاده خاص مورد ارزیابی قرار گیرد. باید قابلیت کاربرد اصول مختلف هوش مصنوعی را برای موارد خاص در نظر گرفت و تأثیر سیستم بر افراد، گروه‌های افراد، جوامع یا سازمان‌ها را بررسی کرد.
به‌منظور سازماندهی این ریسک‌ها به مفاهیم عملی، ریسک‌های حیاتی در هر مرحله از چرخه عمر سیستم هوش مصنوعی می‌تواند به سه دسته تقسیم شود: مدیریت داده، چرخه عمر توسعه مدل، و ریسک‌های عملیاتی و نظارتی.
کنترل‌های کلیدی برای مدیریت داده
یک سیستم هوش مصنوعی تنها به اندازه داده‌های آموزشی خود مؤثر است. باید به ریسک‌های مربوط به دقت و مناسب بودن داده‌های آموزشی (از نظر اهداف و موارد استفاده) و احتمال آسیب‌پذیری‌هایی چون آلودگی داده‌ها و نشت توجه کرد.
کنترل‌های کلیدی برای تضمین اعتبار منابع داده، مرتبط بودن و مناسب بودن انواع و دسته‌های داده‌های مورد استفاده در فرآیند آموزش باید پیاده‌سازی شود. مهم‌ترین کنترل در مدیریت داده، تأیید کیفیت داده‌های آموزشی است. کیفیت به معنی تأیید دقت و یکپارچگی داده‌ها از طریق فرآیندهای یادگیری ماشین و همچنین تنوع داده‌ها است، به‌طوری که نمایانگر گروه کاربری سیستم به‌طور کافی باشد.
کنترل‌های امنیت سایبری سنتی نظیر حداقل دسترسی و رمزگذاری نیز باید به‌کار گرفته شوند. همچنین، ریسک‌های مرتبط با حریم خصوصی و کنترل‌های مربوط به افشای مناسب، رضایت، حذف/نگهداری داده و عدم گنجایش اطلاعات شناسایی شخصی در داده‌ها باید مد نظر قرار گیرد.
چرخه توسعه مدل دقیق برای هوش مصنوعی
مفاهیم کلیدی در این چرخه مشابه فرآیند SDLC هستند، اما برای هوش مصنوعی پیچیده‌تر و دقیق‌ترند. ریسک‌های کلیدی عبارتند از طراحی نادرست که می‌تواند مانع رسیدن سیستم به اهداف خود شود، توسعه ناامن - شامل ریسک‌های زنجیره تأمین مدل و آزمایش ناکافی - و تأیید پیش از پیاده‌سازی. علاوه بر کنترل‌های سنتی SDLC مانند تأیید طراحی سیستم و اسکن‌های خط لوله CI/CD، این سیستم‌ها نیاز به کنترل‌های خاص برای آموزش و تأیید مدل دارند.
بسته به نیازهای مدل یا مورد استفاده خاص، میزان تأیید مدل باید شناسایی و مستند شود. این باید شامل تکنیک‌های خاص هوش مصنوعی نظیر آزمایش هوش مصنوعی خصمانه، تزریق متنی، آزمون عدالت، استحکام مدل و تمرین‌های گروه قرمز باشد. معیارهای مشخصی باید تعیین شود که باید به‌دست آید تا سیستم‌ها برای پیاده‌سازی مورد تأیید قرار گیرند.
فرهنگ حاکمیت هوش مصنوعی که ایمنی و نوآوری را متعادل می‌کند
مهم است که مشاهده‌پذیری یک سیستم هوش مصنوعی را با فعال‌سازی لاگ‌های مناسب در هر لایه تسهیل کرد. سیستم هوش مصنوعی باید به‌طور مداوم برای پارامترهای مختلف در عملکرد الگوریتم نظارت شود تا بتوان هر گونه خطا، مشکل امنیتی یا سیستم را شناسایی کرد. معیارهای کلیدی مانند دقت، صحت، استحکام و انحراف مدل باید زیر نظر قرار گیرد و نتایج باید برای بهینه‌سازی و اصلاح مدل‌ها استفاده شود. این نظارت مداوم برای شناسایی رفتار مدل نسبت به ورودی‌های مختلف، انحراف‌های عملکرد مدل، ادامه انصاف مدل یا مشکلات امنیت سایبری زیرین بسیار حیاتی است.
مهم‌ترین بخش این است که این فعالیت‌های حاکمیتی باید با فرآیندهای روزمره سازمان ادغام و بر ارزیابی ریسک‌های دوره‌ای و اجرایی کنترل‌های کلیدی که به ریسک‌های منحصربه‌فرد هوش مصنوعی پاسخ می‌دهند تمرکز کند. ایجاد فرهنگی برای حاکمیت که ایمنی هوش مصنوعی و نوآوری را متعادل کند، از اهمیت ویژه‌ای برخوردار است.
منبع: مقاله Building AI Governance by Design
استفاده نوآورانه از سیستم‌های هوش مصنوعی در شرکت‌ها