Hierarchical Bayesian Optimization Algorithm: Toward a new Generation of Evolutionary Algorithms

این کتاب چارچوبی برای طراحی تکنیک های بهینه سازی شایسته با ترکیب الگوریتم های تکاملی پیشرفته با تکنیک های پیشرفته یادگیری ماشین فراهم می کند. این کتاب بر دو الگوریتم تمرکز دارد که با یادگیری و نمونه‌برداری از شبکه‌های بیزی جایگزین عملگرهای تغییر سنتی الگوریتم‌های تکاملی می‌شوند: الگوریتم بهینه‌سازی بیزی (BOA) و BOA سلسله مراتبی (hBOA). BOA و hBOA از نظر تئوری و تجربی نشان داده شده‌اند که راه‌حلی قوی و مقیاس‌پذیر برای کلاس‌های گسترده‌ای از مسائل تقریباً تجزیه‌پذیر و سلسله مراتبی ارائه می‌دهند. یک مدل نظری توسعه یافته است که مقیاس پذیری و تنظیمات پارامتر کافی را برای BOA و hBOA تخمین می زند. عملکرد BOA و hBOA بر روی تعدادی از مسائل مصنوعی با دشواری محدود طراحی شده برای آزمایش BOA و hBOA در مرز پاکت طراحی آنها تجزیه و تحلیل شده است. الگوریتم‌ها همچنین به طور گسترده روی دو کلاس جالب از مسائل دنیای واقعی آزمایش می‌شوند: شیشه‌های MAXSAT و Ising spin با شرایط مرزی دوره‌ای در دو و سه بعدی. نتایج تجربی مدل نظری را تأیید می‌کند و تأیید می‌کند که BOA و hBOA راه‌حل قوی و مقیاس‌پذیری را برای مسائل تقریباً تجزیه‌پذیر و سلسله مراتبی با اطلاعات مختصر کمی ارائه می‌دهند.

This book provides a framework for the design of competent optimization techniques by combining advanced evolutionary algorithms with state-of-the-art machine learning techniques. The book focuses on two algorithms that replace traditional variation operators of evolutionary algorithms by learning and sampling Bayesian networks: the Bayesian optimization algorithm (BOA) and the hierarchical BOA (hBOA). BOA and hBOA are theoretically and empirically shown to provide robust and scalable solution for broad classes of nearly decomposable and hierarchical problems. A theoretical model is developed that estimates the scalability and adequate parameter settings for BOA and hBOA. The performance of BOA and hBOA is analyzed on a number of artificial problems of bounded difficulty designed to test BOA and hBOA on the boundary of their design envelope. The algorithms are also extensively tested on two interesting classes of real-world problems: MAXSAT and Ising spin glasses with periodic boundary conditions in two and three dimensions. Experimental results validate the theoretical model and confirm that BOA and hBOA provide robust and scalable solution for nearly decomposable and hierarchical problems with only little problem-specific information.