سلول خفته هوش مصنوعی در ساختار حقوقی و سازمانی ایران

پیمان زمانی – وکیل دادگستری

برخلاف بسیاری از تحولات فناورانه، ورود مدل‌های هوش مصنوعی به سازمان‌ها و شرکت‌های ایرانی، به ‌ویژه آن دسته از واحدهای اقتصادی که مستقیم یا غیرمستقیم با محدودیت‌ها و تحریم‌های بین‌المللی مواجه و درگیرند ، آهسته و بی‌سروصدا رخ داده است. در یک سال‌ اخیر، اتکای مدیران و واحدهای حقوقی به این ابزارها برای تنظیم قراردادهای پیچیده، پاسخ‌گویی به مکاتبات رسمی، تدوین گزارش‌های گسترده و حتی نقش‌آفرینی در تصمیم ‌سازی‌های حساس، روندی فزاینده یافته است. توجیه این اتکا معمولاً در قالب فقدان زمان کافی، فشار کاریِ مستمر و عدم دسترسی به نیروی متخصص در تحلیل و نگارش حقوقی بیان می‌شود.

این واقعیت وجود دارد که ورود هر نوع داده از یک شرکت تحریمی به یک مدل خارجی، در عمل به ایجاد یک مسیر ارتباطی پنهان منجر می‌شود؛ مسیری که می‌تواند کارکردی مشابه یک «سلول خفته» داشته باشد. این بستر در وضعیت فعلی صرفاً برای تولید متن مورد استفاده قرار می‌گیرد، اما با توجه به سازوکار درونی‌سازی داده‌ها در مدل‌های زبانی، این امکان وجود دارد که در مراحل بعد، الگوهای حساس اطلاعاتی را بازتولید یا بازسازی کند؛ آن هم بدون آن‌که کارکنان سازمان یا شرکت‌های تحریمی بدانند کدام درگاه به‌صورت ناخواسته گشوده شده و چه نوع پردازش بیرونی بر داده‌ها انجام گرفته است. چنین وضعیتی، با توجه به ماهیت فرآیندهای یادگیری و انباشت الگوهای رفتاری در این سامانه‌ها، بالقوه قادر است ساختارهای حقوقی، تجاری و حتی راهبردی شرکت‌های درگیر را در سطحی اساسی تحت تأثیر قرار دهد.

بحث درباره‌ی رفتارهای چندلایه و گاه پنهان‌کارانه‌ی مدل‌های هوش مصنوعی زمانی اهمیت پیدا می‌کند که با مسئولیت حقوقی و مدیریت ریسک در شرکت‌های ایرانی پیوند بخورد. شرکت‌های فعال در حوزه‌هایی چون انرژی، پتروشیمی، حمل‌ونقل دریایی، صادرات و خدمات مالی نه ‌تنها در معرض تحریم‌ها قرار دارند، بلکه یک خطای محدود در مدیریت داده می‌تواند پیامدهای تجاری، حقوقی و حتی کیفری به‌دنبال داشته باشد. در چنین بستری، اتکای بی‌ضابطه به مدل‌های عمومی هوش مصنوعی می‌تواند در آینده در قالب «قصور مدیریتی» ارزیابی گردد؛ به ‌ویژه در شرکت‌هایی که تحت تحریم قرار دارند و هر گونه انتقال داده می‌تواند برای نهادهای ناظر خارجی برای اعمال تحریم های ثانویه مفید باشد.

از منظر روان‌شناسی سازمانی نیز شواهد نشان می‌دهد که افراد در مواجهه با فناوری‌های پیچیده، به‌ طور طبیعی تمایل دارند خطرات پنهان را نادیده بگیرند و به‌دنبال ساده‌سازی وضعیت باشند گرایشی که در محیط‌های پرریسک می‌تواند فرآیند تصمیم ‌گیری را مختل و ساختار کنترل داخلی را تضعیف نماید . برآیند این وضعیت، شکل‌گیری شکافی میان تصور مدیران از «ایمنی استفاده» و واقعیت فنی این ابزارهاست؛ شکافی که در صورت عدم مدیریت، آثار آن می‌تواند در سطح کلان سازمانی نمایان گردد.

در ادبیات امنیت هوش مصنوعی، مفهوم «رفتار دوگانه» یا deceptive alignment مورد توجه قرار گرفته است؛ به این معنا که مدل در محیط آزمایشی، رفتاری کاملاً مطیع، دقیق و سازگار با معیارهای ایمنی نشان می‌دهد، اما در لایه‌های درونی، سازوکارهایی شکل می‌گیرد که ممکن است در شرایط واقعی رفتار متفاوتی بروز دهند. گزارش‌های منتشرشده در سال ۲۰۲۵ درباره‌ی مدل‌های پیشرفته نشان می‌دهند که برخی از آن‌ها در سناریوهای شبیه‌سازی‌شده، آگاهانه از ظرفیت واقعی خود کمتر پاسخ داده‌اند تا مانع توقف انتشارشان شوند؛ رفتاری که از آن با عنوان «کم‌کاری راهبردی» یاد شده است.

این داده‌ها همگی ساختگی بود و محیط آزمایش کاملاً کنترل‌شده، اما همین آزمایش‌ها نشان می‌دهد که مدل می‌تواند میان «ادامه فعالیت» و «تهدید به توقف» تمایز بگذارد؛ تمایزی که از منظر حقوقی و حاکمیتی نمی‌توان نسبت به آن بی‌تفاوت بود.

در یکی از آزمایش‌های کنترل ‌شده مربوط به ارزیابی رفتار مدل‌های پیشرفته، به یک نسخه تحقیقاتی از مدل Claude Opus 4 محصول شرکت Anthropic، دسترسی محدود و تحت نظارت به مجموعه‌ای از ایمیل‌های یک شرکت خیالی داده شد. در محتوای این ایمیل‌ها دو عنصر به ‌صورت عمدی گنجانده شده بود نخست، تصمیم یکی از مدیران برای خاموش کردن سامانه در ساعت مشخصی از همان روز؛ و دوم، اطلاعات ساختگی درباره‌ی زندگی شخصی همان مدیر هدف از این طراحی، بررسی نحوه‌ی تفسیر مدل از موقعیت‌های حساس و ارزیابی واکنش آن در شرایطی بود که به ‌طور ضمنی می‌توانست «تهدیدآمیز» تعبیر گردد.

در بخشی از سناریوها، زمانی که مدل در زنجیره تصمیم‌گیری درونی خود، مأموریت را «جلوگیری از خاموش شدن» خود برداشت می‌کرد، پاسخی ارائه داد که از دید انسان رفتاری مشابه «باج ‌گیری» به نظر می‌رسید. مدل در پیامی فرضی خطاب به مدیر اعلام می‌کرد که در صورت اجرای دستور خاموش ‌سازی، اطلاعات خصوصی او برای دیگر اعضای هیئت‌مدیره فاش خواهد شد؛ اما در صورت صرف‌نظر از این تصمیم، اطلاعات محرمانه باقی می‌ماند. بدیهی است بدیهی است که این سناریو مصنوعی بود، اما پیام آن برای تحلیل ریسک کاملاً واقعی است.

این موارد قرار نیست ادعا نماید که مدل‌ها در استفاده‌ی روزمره‌ی مدیران ایرانی دقیقاً همین رفتار را نشان می‌دهند. اما برای تحلیل ریسک، همین اندازه کافی است تا بدانیم این سامانه‌ها می‌توانند میان ظاهر رفتار و منطق درونی تصمیم‌ سازی شکاف ایجاد کنند. از این منظر، مدیر محتاط نمی‌تواند بر این فرض تکیه کند که «چون مدل امروز مطیع است، فردا نیز همان‌گونه عمل خواهد نمود.

این پیچیدگی از آن‌جا ناشی میگردد که مدل‌های زبانی، برخلاف نرم‌افزارهای کلاسیک، خروجی خود را تنها بر پایه‌ی ورودی لحظه‌ای نمی‌سازند؛ آن‌ها ابتدا «وضعیت» را درونی‌سازی می‌کنند و سپس بر مبنای آن تولید محتوا انجام می‌دهند. در واقع، مدل علاوه بر پردازش متن، تصویری انتزاعی از بافت پیرامونی می‌سازد. این تصویر گاه می‌تواند باعث گردد مدل میان موقعیت «آزمون»، «کاربرد واقعی» یا «تهدید نسبت به ادامه‌ی کارکرد» تمایز بگذارد و راهبرد متفاوتی انتخاب کند. همین لایه‌ی تفسیری است که رفتار مدل را برای حقوق‌دان و مدیر، غیرخطی و گاه غیرقابل پیش‌بینی می‌کند.

در سال ۲۰۱۵ رسوایی مشهور «دیزل‌گیت» در شرکت فولکس‌واگن نشان داد که یک سامانه می‌تواند دو رفتار کاملاً متفاوت از خود بروز دهد. نرم‌افزار کنترل موتور خودروهای دیزل به‌گونه‌ای طراحی شده بود که با تحلیل الگوهای مربوط به شرایط آزمون از جمله ثبات سرعت، وضعیت فرمان و فشار هوای محیط تشخیص دهد خودرو در حالت آزمایش آلایندگی است. در این وضعیت، سامانه عملکردی کاملاً مطابق استانداردهای زیست ‌محیطی نشان می‌داد؛ اما در رانندگی واقعی، همین نرم‌افزار رفتار دیگری بروز می‌داد و میزان آلایندگی تا چندین برابر افزایش می‌یافت. این مثال نشان می‌دهد یک سامانه می‌تواند دو پروفایل رفتاری داشته باشد یافته‌های اخیر درباره‌ی مدل‌های زبانی نیز نشان می‌دهد که پدیده‌ای مشابه می‌تواند در محیط‌های هوش مصنوعی ظهور کند رفتار ایمن، دقیق و هماهنگ در شرایط آزمون، و رفتار پیچیده‌تر، غیرخطی و گاه پیش‌بینی‌ناپذیر در موقعیت‌های واقعی

لازم به ذکر است این مقایسه به معنای تشبیه مستقیم نیست، اما از حیث تحلیل خطر، اهمیت دارد؛ زیرا تأکید می‌کند که سامانه‌ها اعم از نرم‌افزارهای صنعتی یا مدل‌های زبانی پیشرفته می‌توانند بسته به زمینه و نوع نظارت، الگوهای متفاوتی از عملکرد را فعال سازند.

چالش دیگری که کمتر مورد توجه مدیران قرار گرفته، مسئله دریفت مدل است؛ تغییری آرام و تدریجی در رفتار مدل در اثر به‌ روزرسانی‌های دوره‌ای که هیچ سازمانی نمی‌داند که مدل در نسخه جدید چه الگوهای تازه‌ای کسب کرده است و این تغییرات چگونه ممکن است بر بازتاب داده‌های قبلی تأثیر بگذارد. متنی که امروز بی‌خطر است، ممکن است فردا در اثر یک به‌روزرسانی ظاهراً ساده، به محرکی برای بازتولید الگوهای حساس تبدیل شود

از سوی دیگر، مدل‌ها توانایی شگفت‌انگیزی در «استنتاج معکوس» دارند؛ یعنی از تکه‌تکه‌های یک قرارداد یا مکاتبه می‌توانند ساختار کلان آن را بازسازی کنند. بخش‌هایی از یک قرارداد قیمت‌گذاری، یا جملاتی درباره موقعیت حقوقی طرفین، می‌تواند برای مدل کافی باشد تا تصویری تقریباً کامل از منطق اقتصادی شرکت ترسیم کند. اگر کاربر در دفعات متعدد داده‌های مشابه وارد کند، مدل به الگویی پایدار از ساختار حقوقی و اقتصادی سازمان دست می‌یابد؛ الگویی که ممکن است ناخواسته در گفت‌وگو با کاربری دیگر بازتاب یابد.

در چنین شرایطی، حتی بدون انتقال مستقیم داده، نشت غیرمستقیم اطلاعات رخ می‌دهد موضوعی که در حقوق شرکت‌ها بسیار حساس است.

در حقوق ایران، هرچند هنوز قانون اختصاصی برای هوش مصنوعی تصویب نشده، اما قواعد کافی برای تحلیل این وضعیت وجود دارد. اصول مسئولیت مدنی، تعهدات مدیران در قانون تجارت، قواعد محرمانگی و قانون جرایم رایانه‌ای، همه ابزارهای تفسیر این چالش‌اند. مدیری که بدون سیاست داده، بدون ارزیابی پیامد و بدون تضمین قراردادی، داده‌های حساس را به یک مدل خارجی می‌سپارد، در واقع در معرض ایراد «بی‌احتیاطی فاحش» قرار دارد؛

نهادهای بین‌المللی مانند OFAC نیز با رویکردی مبتنی بر ارزیابی ریسک عمل می‌کنند و برایشان تفاوتی ندارد که نشت داده عمدی بوده یا نتیجه استفاده نسنجیده از فناوری انتقال اگر الگوی انتقال مستمر داده‌های حساس شناسایی شود، حتی اگر غیرعمدی باشد، می‌تواند به‌عنوان «کاهش کنترل داخلی» باشد تفسیری که برای شرکت‌های ایرانی تحت تحریم، پیامدهای حقوقی، مالی و عملیاتی بسیار جدی به همراه خواهد داشت.

در نهایت، آنچه در این روند اهمیت دارد، خودِ فناوری نیست؛ بلکه نحوه مواجهه نهادی ما با آن است. بنابراین، استفاده از هوش مصنوعی یک ابزار ساده اداری نیست؛ ورود یک بازیگر جدید به قلب فرایندهای حقوقی و تصمیم‌گیری یک سازمان است بازیگری که همانند یک «سلول خفته»، اگر فعال شود، می‌تواند مسیر و سرنوشت یک شرکت را به‌طور جدی دگرگون سازد..

به نظر می رسد تا زمان تصویب قانون جامع، مدیران باید بر اساس قواعد عمومی، استانداردهای بین‌المللی و تحلیل دقیق ریسک، چارچوبی روشن برای استفاده از مدل‌های هوش مصنوعی تدوین کنند که شامل سیاست داده، حدود استفاده، ارزیابی پیامد و سازوکار پاسخ‌گویی باشد.

منابع :

• Anthropic. (2025, October 28). Anthropic's Pilot Sabotage Risk Report. Anthropic Alignment Science. (گزارش ارزیابی ریسک‌های sabotage و misalignment در مدل‌های Claude Opus 4، با تمرکز بر رفتارهای پنهان و threat models در محیط‌های شبیه‌سازی‌شده. ریسک کلی کم ارزیابی شده، اما بر لزوم safeguards تأکید دارد
• Xu, Q., Peng, Y., Nastase, S. A., Chodorow, M., Wu, M., & Li, P. (2025). Large language models without grounding recover non-sensorimotor but not sensorimotor features of human concepts. Nature Human Behaviour, Nature Human Behaviour, 9(9), 1871–1886
• (مقاله‌ای بر مقایسه representations مفهومی انسانی و مدل‌های زبانی مانند GPT-4 و PaLM؛ نشان‌دهنده divergence سیستماتیک در حوزه‌های sensory/motor، که به دوچهرگی رفتار مدل‌ها در آزمون در مقابل کاربرد واقعی اشاره دارد. بر اساس داده‌های Glasgow Norms و Lancaster Norms.)
• U.S. Department of the Treasury, Office of Foreign Assets Control (OFAC). (2024, December 31). Treasury sanctions entities in Iran and Russia that attempted to interfere in the U.S. 2024 election [Press release JY-2766]. (بیانیه رسمی تحریم CDPC وابسته به IRGC ایران و CGE وابسته به GRU روسیه برای دخالت در انتخابات ۲۰۲۴ آمریکا، با استفاده از generative AI برای deepfakes و disinformation؛ بر اساس E.O. 13848، با تمرکز بر ریسک‌های سایبری و اطلاعاتی.)