هوش مصنوعی به خودی خود خصمانه نیست. این فقط یک ابزار است. آنچه تغییر کرده این است که چقدر ارزان و سریع اکنون در حملات ایمیلی که قبلاً کار میکردند جای میگیرد.
زنجیرههای حمله تکامل نیافتهاند. آنها صرفهاقتصادیتر شدهاند. فیشینگ، سازش ایمیل تجاری و سرقت اعتبارنامه. مکانیسمهای یکسان، اما متن بهتر و تولید سریعتر. خطاهای زبانی ناپدید میشوند. هدفگیری محکمتر میشود. کمپینهایی که زمانی روزها طول میکشید اکنون در عرض چند دقیقه گرد هم میآیند.

مدافعان نیز از هوش مصنوعی استفاده میکنند. همه استفاده میکنند. اما حجم مهاجم همچنان برنده است. تولید ایمیلهای متقاعدکننده در مقیاس بزرگ آسانتر از تنظیم مدلهای تشخیص بدون اختلال در جریان عادی ایمیل یا تحت فشار قرار دادن تیمها با مثبتهای کاذب است.
بنابراین خطر یک ابرسلاح جدید هوش مصنوعی نیست. این تکنیکهای آشنا، خودکار، صیقل خورده و مستقر شده سریعتر از آنچه اکثر دفاعها میتوانند سازگار شوند است. این شکاف جایی است که صندوقهای ورودی همچنان سوخته میشوند.
این مقاله تجزیه میکند که واقعاً چه چیزی تغییر کرد، چه چیزی تغییر نکرد و چگونه استراتژیهای امنیت ایمیل در پاسخ تنظیم میشوند.
چگونه هوش مصنوعی مولد حملات ایمیلی را تغییر میدهد
آنچه هوش مصنوعی به مهاجمان ارائه میدهد سرعت و قابلیت اطمینان با تلاش کمتر است. فیشینگ و فیشینگ هدفمند هنوز بیشترین آسیب را وارد میکنند، اما کمپینهای تولید شده با هوش مصنوعی بسیاری از نشانههایی را که مدافعان برای سالها به آنها تکیه داشتند، حذف میکنند. پیامها تمیزتر، سازگارتر و هنگامی که فیلترها آنها را میگیرند، بازسازی آسانتر هستند.
هدفگیری نیز بهبود یافته است. دادههای نقض عمومی، پروفایلهای اجتماعی جمعآوری شده، آگهیهای شغلی و اسناد درز شده به مدلهایی که نقشها، فروشندگان و زبان داخلی را درک میکنند، تغذیه میکنند. نتیجه ایمیلی است که به ابزارهای واقعی، پروژههای واقعی و افراد واقعی اشاره میکند.
شناسایی و تکرار اکنون خودکار شده است. عناوین موضوع، زمانبندی و عبارات در مقیاس بزرگ آزمایش میشوند، سپس بر اساس اینکه چه کسی کلیک میکند یا پاسخ میدهد تنظیم میشوند. این حلقه بازخورد قبلاً دستی بود. اکنون به طور مداوم اجرا میشود، به همین دلیل است که تیمهای امنیتی پرچمهای قرمز آشکار کمتری و پیامهای بیشتری را میبینند که در منطقه خاکستری قرار میگیرند.
گزارشهای سازمانهایی مانند مجمع جهانی اقتصاد نشان میدهد خطر مرتبط با هوش مصنوعی سریعتر از اکثر دستههای دیگر در حال افزایش است. نشت دادههای مولد و استفاده خصمانه به طور مکرر مطرح میشوند. هیچ یک از این موارد تعجبآور نیست وقتی که نگاه میکنید چقدر سریع ابزارهای هوش مصنوعی در گردش کارهای روزمره گسترش یافتهاند.
آنچه متفاوت است آگاهی است. تیمهای IT اکنون قرار گرفتن در معرض را میبینند، هم خارج از سازمان و هم داخل آن. ابزارهای سایه، نشت دستورات، مدلهای آموزش دیده بر روی دادههای حساس. مشکلات آشنا، فقط برچسبهای جدید به تن دارند.
چرا دفاعهای سنتی ایمیل مشکل دارند
زبان قبلاً یک سیگنال قابل اعتماد بود. عبارات ناشیانه، اشتباهات دستوری و لحن نامتناسب کمپینهای فیشینگ را فاش میکردند. آن مزیت از بین رفته است.
ایمیل تولید شده با هوش مصنوعی خود را به روشی که قالبهای قدیمیتر انجام میدادند تکرار نمیکند. هر پیام میتواند کمی متفاوت به نظر برسد در حالی که همچنان همان هدف را دارد. تشخیص مبتنی بر الگو وقتی الگوی پایداری برای تکیه وجود ندارد، مشکل دارد.
به همین دلیل است که تیمهای امنیتی پیامهای بیشتری را میبینند که در نگاه اول عادی به نظر میرسند. آنها به مکالمات واقعی اشاره میکنند. زمانبندی با روزهای کاری و ضربالاجلها همسو است. هیچ چیز به اندازه کافی سریع بیرون نمیپرد تا احتیاط را از کاربران یا فیلترها فعال کند.
تشخیص از شناسایی زبان بد به شناسایی رفتاری که منطقی نیست تغییر یافته است. چه کسی به طور معمول این نوع پیام را ارسال میکند؟ چه زمانی آن را ارسال میکنند. گیرندگان معمولاً چگونه پاسخ میدهند. این سوالات بیشتر از نحوه نوشته شدن ایمیل مهم هستند.
سیستمهای هوش مصنوعی مولد و افزایش خطر
حملات خارجی فقط نیمی از مشکل هستند. سیستمهای داخلی هوش مصنوعی زمانی که محافظها ضعیف یا غیرموجود هستند، قرار گرفتن در معرض خود را معرفی میکنند.
دستیاران هوش مصنوعی سطح حمله را گسترش میدهند
همانطور که سازمانها چتباتها و دستیاران با دسترسی به ایمیل و اسناد داخلی را راهاندازی میکنند، کنترلهای عملیاتی اغلب عقب میمانند. با دستورالعمل خصمانه، ابزارهای هوش مصنوعی با امنیت ضعیف میتوانند اطلاعات حساس را بدون فعال کردن هشدارهای آشکار نشت دهند. خطر فرضی نیست. این عواقب اعطای دسترسی گسترده بدون دید به نحوه استفاده از آن دسترسی است.
سیستمهای عامل تأثیر را چند برابر میکنند
سیستمهای عامل لایه دیگری از خطر را اضافه میکنند. وقتی به هوش مصنوعی اجازه داده میشود اقدام کند، نه فقط به سوالات پاسخ دهد، مهاجمان میتوانند از آن گردش کارها برای خودکارسازی وظایفی که زمانی به صورت دستی انجام میدادند سوء استفاده کنند. آمادهسازی فیشینگ، جستجوهای داخلی و جمعآوری دادهها همه میتوانند به هم زنجیر شوند اگر کنترلهای دسترسی شل باشند. آنچه قبلاً نیاز به زمان و هماهنگی داشت اکنون بیسر و صدا در پسزمینه اجرا میشود.
هوش مصنوعی سایه کنترلهای موجود را دور میزند
هوش مصنوعی سایه این را بدتر میکند. وقتی کارمندان دادههای داخلی را به ابزارهای تأیید نشده متصل میکنند، کنترلهای امنیتی موجود را به طور کامل دور میزند. آن زمینه برای مدت طولانی خصوصی نمیماند، و هنگامی که نشت میکند، مستقیماً به موج بعدی حملات شخصیسازی شده تغذیه میکند. از دیدگاه امنیتی، این ابزارها نقاط کور ایجاد میکنند که تا زمانی که آسیب از قبل انجام شده باشد در لاگها ظاهر نمیشوند.
سرعت از حاکمیت پیشی میگیرد
سرعت اغلب از حاکمیت پیشی میگیرد. آن مبادله به سرعت در ایمیل ظاهر میشود، جایی که اعتماد به پیامهای تولید شده توسط سیستم در حال حاضر بالا است. وقتی خروجی هوش مصنوعی معمول و معتبر به نظر میرسد، کاربران سریعتر عمل میکنند و کمتر سوال میکنند. این اعتماد ضمنی دقیقاً چیزی است که مهاجمان به دنبال آن هستند.
چگونه سازمانها در حال سازگاری هستند
مدافعان سعی نمیکنند از مهاجمان بیشتر تولید کنند. این یک بازی بازنده است. آنچه در عوض در حال تغییر است این است که تیمها چگونه تصمیم میگیرند چه چیزی اشتباه به نظر میرسد.
قوانین ثابت و برخوردهای کلمه کلیدی در حال کنار رفتن به نفع سیگنالهای رفتاری هستند که وقتی پیامی با نحوه ارتباط عادی فرستنده یا نحوه پاسخ معمول گیرنده همسو نیست، پرچمگذاری میکنند. نگاه کردن به جریان مکالمه در طول زمان زمینهای را فراهم میکند که یک پیام واحد هرگز نخواهد داد.
کنترلهای هویت نیز وزن بیشتری دارند. احراز هویت قویتر، سیاستهای دسترسی محکمتر و اعتبارسنجی بهتر فرستندگان داخلی تأثیر را کاهش میدهند وقتی جعل هویت از میان میلغزد. متوقف کردن یک پیام داخلی جعلی زودهنگام بیشتر از طبقهبندی کامل هر پیام خارجی اهمیت دارد.
سازمانها همچنین حاکمیت هوش مصنوعی خود را محکمتر میکنند. سیاستها در مورد اینکه چه دادهای میتواند به ابزارها تغذیه شود، چگونه دستورات ثبت میشوند و چه کسی میتواند دستیاران را مستقر کند، در حال شباهت به کنترلهای از دست دادن دادهها از چرخههای پذیرش ابری قبلی هستند.
تشخیص کمکشده با هوش مصنوعی بهترین عملکرد را در جایی دارد که انسانها و منطق ثابت کوتاهی میکنند. ممکن است هر پیام را به طور جداگانه به درستی برچسبگذاری نکند، اما الگوهایی را که در طول زمان منطقی نیستند، آشکار میکند.
گامهای عملی که هنوز اهمیت دارند
اکثر دفاعهایی که در برابر حملات ایمیلی مبتنی بر هوش مصنوعی کار میکنند جدید نیستند. آنچه تغییر میکند این است که چقدر ثابت اجرا میشوند و چقدر خوب با نحوه واقعی رخ دادن حملات نقشهبرداری میشوند.
- احراز هویت همچنان اهمیت دارد.
DMARC، SPF و DKIM همچنان جعل هویت را کاهش میدهند وقتی که به درستی اجرا شوند. وقتی آن کنترلها شل یا به طور ناسازگار اعمال میشوند، مهاجمان نیازی به ابزار پیشرفته برای موفقیت ندارند. هوش مصنوعی فقط به آنها کمک میکند سریعتر از طریق شکافهایی که از قبل وجود دارند حرکت کنند. - قرار گرفتن در معرض دادهها شخصیسازی را تغذیه میکند.
نمودارهای سازمانی عمومی، روابط فروشنده، آگهیهای شغلی و اسناد داخلی ساخت طعمههای متقاعدکننده را آسانتر میکنند. هر چه زمینه بیشتری که مهاجمان میتوانند جمعآوری کنند، پیامهای آنها باورپذیرتر میشوند. کاهش قرار گرفتن در معرض غیرضروری مستقیماً محدود میکند چقدر هدفگیری مبتنی بر هوش مصنوعی میتواند مؤثر باشد. - آموزش باید حملات واقعی را منعکس کند.
نمونههای کلی فیشینگ کاربران را برای پیامهایی که به ابزارهای واقعی، پروژههای واقعی و افراد واقعی اشاره میکنند آماده نمیکند. تمرینها باید آنچه تیمها واقعاً میبینند را منعکس کنند، نه آنچه فیلترها برای گرفتن استفاده میشوند، یا اعتماد همچنان نادرست قرار داده میشود. - سیستمهای داخلی هوش مصنوعی نیاز به بررسی دقیق سطح تولید دارند.
دستیاران و چتباتها باید مانند هر سرویس حیاتی دیگری رفتار شوند. دسترسی باید ثبت شود. مجوزها باید حداقل باشند. الگوهای استفاده باید نظارت شوند. اگر مهاجمان بتوانند زمینه را از یک ابزار هوش مصنوعی داخلی بیرون بکشند، آن را در موج بعدی حملات دوباره استفاده خواهند کرد.
نگاه به آینده
حملات مبتنی بر هوش مصنوعی اصول اساسی را تغییر نمیدهند. مهندسی اجتماعی همچنان کار میکند زیرا مردم به آنچه آشنا به نظر میرسد اعتماد میکنند، و هوش مصنوعی آن آشنایی را ارزانتر و آسانتر برای بازتولید در مقیاس بزرگ میکند.
ایمیل کانال تحویل اصلی باقی میماند زیرا همه چیز را متصل میکند. فروشندگان، فاکتورها، بازنشانی رمز عبور، برنامههای ابری، گردش کارهای داخلی. حتی در محیطهایی با کنترلهای بالغ، همچنان در ابتدای اکثر حوادث قرار دارد.
خطر بزرگتر داخلی است. پذیرش مدیریت نشده هوش مصنوعی زمینهای ایجاد میکند که مهاجمان میتوانند دوباره استفاده کنند، خودکار کنند و اصلاح کنند. تیمهایی که مستقیماً به آن قرار گرفتن در معرض رسیدگی میکنند حوادث ناشی از ایمیل را کاهش میدهند و از دادن مواد به مهاجمان که نیازی به تولید خودشان نداشتند اجتناب میکنند.


