Выпуклая оптимизация — теорема Вейерштрасса

Пусть S — непустое, замкнутое и ограниченное множество (также называемое компактным множеством) в $\ mathbb {R} ^ n$, и пусть $f: S \ rightarrow \ mathbb {R}$ — непрерывная функция на S, тогда задача min $\ left \ {f \ left (x \ right): x \ in S \ right \}$ достигает своего минимума.

доказательство

Поскольку S непусто и ограничено, существует нижняя граница.

$\ alpha = Inf \ left \ {f \ left (x \ right): x \ in S \ right \}$

Теперь пусть $S_j = \ left \ {x \ in S: \ alpha \ leq f \ left (x \ right) \ leq \ alpha + \ delta ^ j \ right \} \ forall j = 1,2, ...$ и $\ delta \ in \ left (0,1 \ right)$

По определению инфимия $S_j$ непусто для каждого $j$.

Выберите $x_j \ in S_j$, чтобы получить последовательность $\ left \ {x_j \ right \}$ для $j = 1,2, ...$

Поскольку S ограничена, последовательность также ограничена и существует сходящаяся подпоследовательность $\ left \ {y_j \ right \}$, которая сходится к $\ hat {x}$. Следовательно, $\ hat {x}$ является предельной точкой, и S замкнута, поэтому $\ hat {x} \ in S$. Поскольку f непрерывна, $f \ left (y_i \ right) \ rightarrow f \ left (\ hat {x} \ right)$.

Так как $\ alpha \ leq f \ left (y_i \ right) \ leq \ alpha + \ delta ^ k, \ alpha = \ displaystyle \ lim_ {k \ rightarrow \ infty} f \ left (y_i \ right) = f \ left ( \ hat {x} \ right)$

Таким образом, $\ hat {x}$ является минимизирующим решением.

замечания

Для выполнения теоремы Вейерштрасса есть два важных необходимых условия. Это следующие —

Шаг 1 — Множество S должно быть ограниченным множеством.

Рассмотрим функцию f \ left (x \ right) = x $.

Это неограниченное множество, и оно имеет минимумы в любой точке своей области.

Таким образом, для получения минимумов S должен быть ограничен.

Шаг 2 — Набор S должен быть закрыт.

Рассмотрим функцию $f \ left (x \ right) = \ frac {1} {x}$ в области \ left (0,1 \ right).

Эта функция не является замкнутой в данной области и ее минимумов также не существует.

Следовательно, для получения минимумов S следует замкнуть.