روابط عمومی شرکت ایدکو (توزیع‌کننده‌ی محصولات کسپرسکی در ایران)؛ بسیاری از افراد با شبکه‌های عصبی مولد[1] کار می‌کنند و آنها را کارامد می‌دانند (از میان موارد دیگر، در حوزه کاری‌شان). بعنوان مثال، ChatGPT و آنالوگ‌هایش توسط تقریباً 60 درصد آمریکایی‌ها استفاده می‌شود (و همیشه با اجازه از سمت مدیریت). با این حال، همه داده‌های شامل‌شده در چنین عملیات‌هایی –هم درخواست‌های کاربر و هم پاسخ‌های مدل- روی سرورهای اوپن‌ای‌آی، گوگل و بقیه ذخیره می‌شود. برای تسک‌هایی که در آنها چنین نشت اطلاعاتی غیرقابل‌پذیرش است، نیازی نیست تماماً هوش مصنوعی را کنار بگذارید. فقط کافیست کمی انرژی و شاید کمی پول خرج کنید تا بشود به صورت لوکال روی کامپیوتر شخصی خود –حتی روی لپ‌تاپ- شبکه عصبی اجرا نمایید.
تهدیدهای کلود
محبوب‌ترین دستیارهای هوش مصنوعی روی زیرساخت کلود شرکتهای بزرگ اجرا می‌شوند. این می‌تواند کارامد و سریع باشد اما داده‌های شما که توسط این مدل پردازش می‌شوند ممکن است هم برای ارائه‌دهنده سرویس AI قابل‌دسترسی باشند و هم تماماً طرف‌های بی‌ربط روی آن کنترل داشته باشند (مانند اتفاقی که سال گذشته برای چت‌جی‌پی‌تی افتاد). چنین رخدادهایی سطوح مختلفی از تهدید را بسته به کارایی‌ای که هریک از این دستیارهای هوش مصنوعی ارائه می‌دهند. اگر قصه پریان نوشته‌اید و دارید برایش تصویرهای بامزه‌ای تولید می‌کنید یا از چت‌جی‌پی‌تی خواستید برای برنامه تعطیلات آخر هفته یک برنامه به شما بدهد، بعید است این نشتی خسارت جدی‌ای برایتان به بار بیاورد. اما اگر مکالمه‌تان با چت‌بات حاوی اطلاعات محرمانه باشد (داده‌های شخصی، پسوردها و شماره کارت‌تان) نشت احتمالی کلود زیان‌بار خواهد بود. خوشبختانه می‌شود تقریباً به آسانی با از پیش فیلتر کردن داده جلوی این اتفاق را گرفت. با این وجود، در مواردی که یا کل مکاتبه محرمانه است (برای مثال داده‌ها مالی یا پزشکی هستند) یا قابلیت‌اطمینان فیلتر از پیش لحاظ‌شده مورد بحث است (در این سناریو مجبورید حجم زیادی از داده را که هیچکس پیش‌نمایش و فیلتر نخواهد کرد پردازش کنید) فقط یک راه‌حل وجود دارد: پردازش را از کلود به کامپیوتر لوکال انتقال دهید. البته که اجرای نسخه شخصی‌تان از چت‌جی‌پی‌تی یا Midjourney به طور آفلاین بعید است موفقیت‌آمیز باشد اما سایر شبکه‌های عصبی که لوکال کار می‌کنند کیفیت خوبی را با لود رایانشی پایین‌تر ارائه می‌دهند.
برای اجرای شبکه عصبی به چه سخت‌افزاری نیاز است؟
احتمالاً شنیده‌اید که کار با شبکه‌های عصبی به کارت‌های گرافیکی فوق العاده قدرتمند نیاز دارد، اما در عمل همیشه اینطور نیست. مدل‌های مختلف هوش مصنوعی، بسته به ویژگی‌هایشان، ممکن است برای اجزای رایانه‌ای مانند RAM، حافظه ویدیویی، درایو و CPU نیاز داشته باشند (در اینجا نه تنها سرعت پردازش مهم است، بلکه پشتیبانی پردازنده از دستورالعمل‌های برداری خاص نیز مهم است). توانایی بارگیری مدل به مقدار RAM بستگی دارد و اندازه "پنجره زمینه" - یعنی حافظه مکالمه قبلی - به مقدار حافظه ویدئویی بستگی دارد. به طور معمول، با یک کارت گرافیک ضعیف و CPU، تولید با سرعت پایینی اتفاق می‌افتد (یک تا دو کلمه در ثانیه برای مدل‌های متنی)، بنابراین کامپیوتری با چنین تنظیمات حداقلی فقط برای آشنایی با یک مدل خاص و ارزیابی اولیه آن مناسب است. مناسب بودن برای استفاده روزانه کامل، باید رم را افزایش دهید، کارت گرافیک را ارتقا دهید یا یک مدل هوش مصنوعی سریع‌تر انتخاب کنید.
به عنوان نقطه شروع، می‌توانید کار با کامپیوترهایی را امتحان کنید که در سال 2017 نسبتاً قدرتمند در نظر گرفته می‌شدند: پردازنده هایی کمتر از Core i7 با پشتیبانی از دستورالعمل های AVX2، 16 گیگابایت رم و کارت های گرافیک با حداقل 4 گیگابایت حافظه. برای علاقه‌مندان به مک، مدل هایی که بر روی تراشه Apple M1 و بالاتر اجرا می شوند این کار را انجام می دهند، این درحالیست که الزامات حافظه یکسان است.
هنگام انتخاب مدل هوش مصنوعی، ابتدا باید با سیستم مورد نیاز آن آشنا شوید. عبارت جستجویی مانند «الزامات نام مدل» به شما کمک می‌کند ارزیابی کنید آیا ارزش دانلود این مدل را با توجه به سخت‌افزار موجود شما دارد یا خیر. مطالعات دقیقی در مورد تأثیر اندازه حافظه، CPU و GPU بر عملکرد مدل‌های مختلف وجود دارد. خبر خوب برای کسانی که به سخت افزار قدرتمند دسترسی ندارند – مدل های هوش مصنوعی ساده شده‌ای وجود دارد که می تواند کارهای عملی را حتی روی سخت افزارهای قدیمی انجام دهد. حتی اگر کارت گرافیک شما بسیار ابتدایی و ضعیف باشد، می‌توانید مدل‌ها و محیط‌ها را تنها با استفاده از CPU اجرا کنید. بسته به وظایف شما، اینها حتی می توانند کارکرد خوبی داشته باشد.
انتخاب مدل هوش مصنوعی و جادوی کوانتش[2]
طیف گسترده‌ای از مدل‌های زبان امروزه در دسترس هستند، اما بسیاری از آنها کاربردهای عملی محدودی دارند. با این وجود، ابزارهای هوش مصنوعی با کاربری آسان و در دسترس عموم وجود دارند که برای کارهای خاص مناسبند، خواه آنها متنی را تولید کنند (مثلاً Mistral 7B)، یا ایجاد قطعه کد (مثلاً Code Llama 13B).بنابراین، هنگام انتخاب یک مدل، انتخاب را به چند نامزد مناسب محدود کنید و سپس مطمئن شوید که رایانه شما منابع لازم برای اجرای آنها را دارد.
در هر شبکه عصبی، بیشتر فشار حافظه به دلیل وزنه ها است - ضرایب عددی که عملکرد هر نورون را در شبکه توصیف می‌کند. ابتدا، هنگام آموزش مدل، وزن‌ها به عنوان اعداد کسری با دقت بالا محاسبه و ذخیره می شوند. با این حال، به نظر می رسد که گرد کردن وزنه‌ها در مدل آموزش دیده به ابزار هوش مصنوعی اجازه می‌دهد تا در کامپیوترهای معمولی اجرا شود در حالیکه فقط کمی عملکرد را کاهش می‌دهد. این فرآیند گرد کردن کوانتیزاسیون یا کوانتش نامیده می‌شود و با کمک آن می‌توان اندازه مدل را به میزان قابل توجهی کاهش داد - به جای 16 بیت، هر وزن ممکن است از هشت، چهار یا حتی دو بیت استفاده کند. بر اساس تحقیقات کنونی، مدل بزرگتر با پارامترهای بیشتر و کوانتش گاهی اوقات می‌تواند نتایج بهتری نسبت به مدلی با ذخیره وزن دقیق اما پارامترهای کمتر داشته باشد. با داشتن این دانش، اکنون آماده کاوش در گنجینه مدل‌های زبان متن‌باز، یعنی تابلوی برتر Open LLM هستید. پس از خواندن توضیحات مدل و اطمینان از اینکه به طور بالقوه برای نیازهای شما مناسب است، عملکرد آن را با استفاده از Hugging Face یا Google Colab در فضای ابری آزمایش کنید. به این ترتیب، می‌توانید از دانلود مدل‌هایی که نتایج رضایت‌بخشی ندارند، جلوگیری و در وقت خود صرفه‌جویی کنید. هنگامی که از تست اولیه مدل راضی شدید، وقت آن است که ببینید چگونه به صورت محلی کار می‌کند!
نرم‌افزار لازم
اکثر مدل‌های متن‌باز در Hugging Face منتشر شده‌اند، اما دانلود کردن آنها در کامپیوتر کافی نیست. برای اجرای آنها، باید نرم‌افزار تخصصی، مانند LLaMA.cpp یا - حتی ساده‌تر - "wrapper" آن، LM Studio را نصب کنید. دومی به شما امکان می‌دهد مدل مورد نظر خود را مستقیماً از برنامه انتخاب کنید، آن را دانلود و در یک کادر محاوره‌ای اجرا کنید. یکی دیگر از روش‌های «خارج از جعبه» برای استفاده از ربات چت به صورت محلی GPT4All است. اینجا، انتخاب به حدود 12 مدل زبان محدود می شود، اما بیشتر آنها حتی بر روی رایانه ای با تنها 8 گیگابایت حافظه و یک کارت گرافیک اصلی اجرا می‌گردند. اگر تولید خیلی کند باشد، ممکن است به مدلی با کوانتیزاسیون درشت‌تر (به جای چهار بیت، دو بیت) نیاز داشته باشید. اگر تولید قطع شود یا خطاهای اجرا رخ دهد، مشکل اغلب حافظه ناکافی است - ارزش آن را دارد که به دنبال مدلی با پارامترهای کمتر یا، دوباره، با کوانتیزاسیون درشت‌تر باشید.
بسیاری از مدل‌ها در Hugging Face قبلاً با درجات مختلفی از دقت کوانتیزه شده‌اند، اما اگر هیچکس مدل مورد نظر شما را با دقت مطلوب کوانتیزه نکرده است، می‌توانید خودتان با استفاده از GPTQ این کار را انجام دهید. این هفته، ابزار امیدوارکننده دیگری برای نسخه بتا عمومی منتشر شد: چت با RTX از NVIDIA. سازنده پرطرفدارترین تراشه‌های هوش مصنوعی یک ربات چت محلی منتشر کرده که می‌تواند محتوای ویدیوهای یوتیوب، پردازش مجموعه‌ای از اسناد و بسیاری موارد دیگر را خلاصه کند - به شرطی که کاربر یک رایانه شخصی ویندوزی با حافظه 16 گیگابایتی و یک NVIDIA RTX 30 یا 30th داشته باشد. کارت گرافیک سری 40 با 8 گیگابایت حافظه ویدیویی یا بیشتر. "به داخل که نگاه بیاندازیم" همان گونه‌های Mistral و Llama 2 از Hugging Face کار شدند. البته، کارت‌های گرافیک قدرتمند می‌توانند عملکرد تولید را بهبود بخشند، اما طبق بازخورد آزمایش‌کنندگان اول، نسخه بتا موجود کاملاً دست و پا گیر است (حدود 40 گیگابایت) و نصب آن دشوار. با این حال، Chat With RTX NVIDIA می‌تواند در آینده به یک دستیار هوش مصنوعی محلی بسیار مفید تبدیل شود.
اپ‌های مذکور همه رایانش‌ها را به صورت لوکال اجرا می‌کنند، نیازی به ارسال داده به سرور ندارند و می‌توانند آنلاین اجرا شوند تا بتوانید به طور امنی اطلاعات محرمانه را با آنها به اشتراک بگذارید. با این حال شما برای محافظت تمام در برابر نشتی‌ها می‌بایست نه تنها امنیت مدل زبان را بلکه امنیت کامپیوتر خود را تضمین کنید و این همان جایی است که راهکار جامع امنیتی ما پا به میدان می‌گذارد. طبق تأیید‌های تست‌های مستقل، کسپرسکی پریمیوم عملاً تأثیری روی عملکرد کامپیوتر شما ندارد و اگر با مدل‌های لوکال هوش مصنوعی سر و کار دارید این مزیتی عالی به حساب می‌آید.
[1] generative neural networks
[2]فرایند نگاشت مقدارهای ورودی از یک مجموعهٔ بزرگ (و اغلب یک مجموعهٔ پیوسته) به مقدارهای خروجی در یک مجموعهٔ (شمارا) کوچکتر، اغلب با تعداد اعضای متنهاهی است.
منبع: کسپرسکی آنلاین (ایدکو)
کسپرسکی اسم یکی از بزرگترین شرکتهای امنیتی و سازنده آنتی ویروس است که برخی از کاربران اشتباهاً این شرکت و محصولات آنتی ویروس آن را با عناوینی نظیر کسپرسکای،کاسپرسکی، کسپراسکای، کسپراسکای، و یا کاسپراسکای نیز می‌شناسد. همچنین لازم به ذکر است مدیرعامل این شرکت نیز یوجین کسپرسکی نام دارد.
