زیرساخت یک سامانه است، نه مجموعه‌ای از قطعات
مقیاس‌پذیری هوش مصنوعی فقط با افزودن شتاب‌دهنده به دست نمی‌آید. پردازنده، شبکه پرظرفیت، ذخیره‌سازی کم‌تأخیر، زمان‌بندی بار و نرم‌افزار اجرا باید به‌صورت یک سامانه هماهنگ طراحی شوند تا منابع گران‌قیمت بیکار نمانند.
بار آموزش، استنتاج و عامل‌های چندمرحله‌ای نیازهای متفاوتی دارند. تفکیک این الگوها، انتخاب درست پردازنده و تعریف مسیر داده کمک می‌کند هزینه و زمان پاسخ هم‌زمان کنترل شوند. ارکستراسیون نیز باید جهش‌های تقاضا و بارگذاری مدل را مدیریت کند.
از آزمایش تا ظرفیت پایدار
اولین گام در طراحی زیرساخت هوش مصنوعی، تفکیک چرخه عمر مدل است. آماده‌سازی داده، آموزش، تنظیم، ارزیابی و استنتاج هرکدام نسبت متفاوتی از پردازنده، حافظه، شبکه و ذخیره‌سازی مصرف می‌کنند. اگر همه مراحل روی یک خوشه و با یک سیاست اجرا شوند، رقابت منابع به افت کیفیت خدمت منجر می‌شود.
برای استنتاج سازمانی، میانگین سرعت به‌تنهایی معیار مناسبی نیست. صدک‌های بالای تأخیر، زمان اولین خروجی، رفتار سامانه هنگام افزایش ناگهانی درخواست و مدت بازیابی پس از خطا اهمیت بیشتری دارند. کش مدل، مسیریابی آگاه از ظرفیت و بارگذاری سریع می‌توانند تجربه کاربر را بدون افزایش بی‌رویه منابع بهبود دهند.
هزینه نیز باید به واحد قابل فهم کسب‌وکار تبدیل شود؛ برای نمونه هزینه هر سند پردازش‌شده، هر مکالمه یا هر وظیفه تکمیل‌شده. این روش نشان می‌دهد بهینه‌سازی کدام لایه واقعاً ارزش دارد و چه زمانی استفاده از خدمت مدیریت‌شده بهتر از توسعه زیرساخت اختصاصی است.
برای آموزش و پاسخ‌گویی یک ظرفیت نخرید
آموزش مدل معمولاً به پردازش طولانی و ارتباط سریع میان شتاب‌دهنده‌ها نیاز دارد؛ سرویس پاسخ‌گویی به کاربر به تأخیر پایین و ظرفیت منعطف وابسته است. اگر هر دو را با یک معیار خریداری کنید، ممکن است خوشه آموزش در ساعات بیکاری هزینه بسازد و سرویس استنتاج هنگام شلوغی کند شود. برای هر بار، ظرفیت رزرو، حد افزایش خودکار و هدف دسترس‌پذیری جدا تعریف کنید.
در بنچمارک، مجموعه‌ای از درخواست‌های کوتاه، بلند و هم‌زمان را با داده واقعی آزمایش کنید. صدک ۹۵ زمان پاسخ، نرخ خطا، بهره‌برداری شتاب‌دهنده و هزینه هر خروجی قابل قبول را کنار هم گزارش دهید. نتیجه این آزمایش است که نشان می‌دهد بهینه‌سازی مدل، کش، زمان‌بندی یا سخت‌افزار کدام‌یک اولویت دارد.
با بار واقعی تصمیم بگیرید
پیش از خرید ظرفیت، پروفایل واقعی بار، اندازه مدل، حجم داده و هدف تأخیر را اندازه بگیرید. آزمایش محدود با شاخص‌های بهره‌وری، هزینه هر درخواست و زمان بازیابی، تصمیم توسعه زیرساخت را قابل دفاع می‌کند.
این مطلب بازنویسی تحلیلی دانشنامه لیان بر پایه منبع اصلی است.مشاهده منبع اصلی
