Skip to content
Snippets Groups Projects
Commit 8c2209f3 authored by Jonas Schreiner's avatar Jonas Schreiner
Browse files

vorlesung 3 ueberarbeitet

parent 7f3a08f2
No related branches found
No related tags found
No related merge requests found
Hide whitespace changes
Inline Side-by-side
kapitel/partikelschwarmoptimierung.tex
+ 98
− 94
View file @ 8c2209f3
......@@ -36,7 +36,7 @@ Der \emph{Schwarm} besteht aus:
\begin{figure}\centering
\includegraphics[scale=1]{imgs/2_01.PNG}
\caption{Skizze Funktionsweise: $\vec{p}_i$ ist die von Individuum $i$ bislang beste gefundene L"osung. $\vec{p}_g$ ist aktuell
\caption{Skizze Funktionsweise: $\vec{p}_i$ ist die von Individuum $i$ bislang beste gefundene L"osung. $p_{glob}$ ist aktuell
global beste bekannte L"osung. $\vec{u}$ ist Stelle zu der das Individuum als n"achstes hingeht. }
\end{figure}
......@@ -45,99 +45,103 @@ Der \emph{Schwarm} besteht aus:
\subsection{Algorithmus}
\begin{ttfamily}
\noindent rate eine erste Generation an Individuen $\vec x_1^{(0)}, \dots \vec x_s^{(0)} \in \mathbb R^d$ (Position, m"ogliche L"osung, 0te Generation) \\
rate f"ur jedes Individuum einen Geschwindigkeitsvektor: $\vec v_1^{(0)}, \dots, \vec v_s \in \mathbb R^d$ \\
// alle Individuen zusammen: der Schwarm // \\
$\forall i \in \{1, \dots, s\}: \vec p_i := \vec x_i^{(0)};$ \\
$k := 0;$ \\
\underline{repeat:}
\begin{addmargin}{1cm}
bestimme die beste bisher gefundene Position "uberhaupt: $\vec p_g$\footnote{Interaktion der Individuen, gerne Klausurfrage} \\
%$\vec{P}_g$ sei das $\vec{p}_i$, so dass $F(\vec{p}_g) = \min\{F(\vec{p}_1),...,F(\vec{p}_s)\}$ \\
f"ur jedes Partikel $i$: bestimme die von $i$ bislang beste gefundene Position $\vec p_i$ \\
\textbf{Bewegungsgleichungen}:\\
$\vec v_i^{(k+1)} := \vec a \odot\footnote{$\odot$~ bedeutet komponentenweise Multiplikation} \vec v_i^{(k)} + \vec b_{loc} \odot \vec r_{loc} \odot (\vec p_i - \vec x_i^{(k)}) + \vec b_g \odot \vec r_g \odot (\vec p_g - \vec x_i^{(k)})$\\
$\vec x_i^{(k+1)} := \vec c \odot \vec x_i^{(k)} + \vec d \odot \vec v_i^{(k+1)}$\\
$k := k+1$\footnote{Eine Generation entspricht dem Verstreichen einer Zeiteinheit}\\
\end{addmargin}
\underline{until} Abbruchkriterium erreicht (zB. \#Iterationen, "Anderungen kleiner als ein $\varepsilon$, \dots)
\end{ttfamily}
%XXX INSERT IMAGE I1 HERE
\begin{itemize}
\setlength\itemsep{0.1em}
\item $\vec a$: Trägheit (konstanter Vektor, muss gew"ahlt werden)
\item $\vec b_{loc}, \vec b_g$: Parameter/Anziehungskraft
\item $\vec c, \vec d$: Momente (wir zeigen oBdA: beide $\vec 1$)
\item $\vec r_{loc}, \vec r_g \in [0,1]^d$ u.a.r (uniformly at random), Zufallsvektoren, die jedes mal ausgew"urfelt werden
\end{itemize}
\paragraph{Ziel:} Tradeoff zwischen Exploration\footnote{hingehen wo noch niemand war} und Exploitation\footnote{untersuche die Umgebung schon gefundener guter L"osungen}\footnote{wird gerne in der Pr"ufung gefragt}
Die Parameter steuern, wie stark man sich auf sich selbst verl"asst und wie stark auf die anderen.
\subsection{Analyse der Parameterwahl}
Es sind Parameter gesucht, sodass der Schwarm konvergiert, d.h. sich \glqq in unendlicher Zeit\grqq\ auf eine L"osung festlegt. \\
Die Vektorkompontenten sind entkoppelt\footnote{Dimensionen beeinflussen sich gegenseitig nicht}, deswegen reicht die Untersuchung des 1-dimensionalen.
\begin{align*}
v^{(k + 1)} &= a \cdot v^{(k)} + b_{loc} \cdot r_{loc} \cdot (p_{loc}^{(k)} - x^{(k)}) + b_g \cdot r_g \cdot (p_g^{(k)} - x^{(k)}) \\
x^{(k + 1)} &= c \cdot x^{(k)} + d \cdot v^{(k+1)}
\end{align*}
Erwartungswerte: $$r_{loc} = r_g = \frac 12$$
\begin{align*}
\text{Mit Substitution:} & \\
b &= \frac 12 (b_{loc} + b_g) \\
p^{(k)} &= \frac{b_{loc}}{b_{loc} + b_g} \cdot p_{log}^{(k)} + \frac{b_g}{b_{loc} + b_g} \cdot p_g^{(k)} \\
\text{folgt:} & \\
v^{(k+1)} &= a \cdot v^{(k)} + b \cdot (p^{(k)} - x^{(k)}) \\
x^{(k+1)} &= c \cdot x^{(k)} + d \cdot v^{(k+1)} \\
&\to v^{(k+1)} = \frac 1d(x^{(k+1)} - c \cdot x^{(k)}) \\
&\Leftrightarrow v^{(k)} = \frac 1d(x^{(k)} - c \cdot x^{(k-1)}) \text{ (Parameterverschiebung)} \\
\text{Einsetzen:} \\
&x^{(k+1)} + (\underline{bd} - a - c) \cdot x^{(k)} + ac \cdot x^{(k-1)} = \underline{bd} \cdot p^{(k)} \leftarrow \text{diese Position} \\
& \text{soll im Unendlichen erreicht werden und \underline{fest} sein.}
\end{align*}
Setze $d = 1$ und w"ahle b \glqq hinterher\grqq{} richtig.\\
Die $x^{(k)}$ sollen im Unendlichen $p^{(.)}$ erreichen:
\begin{align*}
&X + (b - a - c) X + ac X = b p^{(k)} \\
\Leftrightarrow &(1 + b - a - c + ac) \cdot X = bp^{(k)} \\
&0 \stackrel != 1 - a - c + ac = (a - 1)(c - 1) \to \text{setze }c = 1 \\
%
&\begin{pmatrix} x^{(k+1)} \\ v^{(k+1)} \end{pmatrix} = \begin{pmatrix} 1-b & a \\ -b & a \end{pmatrix} \cdot \begin{pmatrix} x^{(k)} \\ v^{(k)} \end{pmatrix} + \begin{pmatrix} b \\ b \end{pmatrix} \cdot p^{(k)} \to p \\
&Y^{(k+1)} = A \cdot Y^{(k)} + \begin{pmatrix} b \\ b \end{pmatrix} \cdot p \to \begin{pmatrix} p \\ 0 \end{pmatrix} \text{Equilibrium / Fixpunkt \footnotemark}
\end{align*}
\footnotetext{Punkt an dem ein System eingeschwungen ist}
Das System konvergiert, wenn die Betr"age der (auch komplexen!) Eigenwerte von A alle echt kleiner als 1 sind.
\begin{align*}
& \det\begin{pmatrix} 1-b-\lambda & a \\ -b & a-\lambda \end{pmatrix} = (1 - b - \lambda)(a - \lambda) + ab \stackrel != 0\\
& \Rightarrow \lambda_{1/2} = \frac{a-b+1}2 \pm \sqrt{\frac{(a-b+1)^2}4 - a}
\end{align*}
Eigenwerte $< 1$ bei $a < 1$ und $b > 0$, $2a - b + 2 > 0$
\begin{multicols}{2}
\input{imgs/2_1_konvergenzDreieck.tex}
\columnbreak
Innerhalb vom Dreieck konvergiert das System. Innerhalb der schraffierten Fl"ache kommt es zu harmonischen
Schwingungen.
\end{multicols}
Schwingungen:
\begin{multicols}{2}
\begin{center}
\input{imgs/2_1_harmonisch.tex}
\textbf{ Harmonisch}: es gibt komplexe Eigenwerte
\end{center}
\columnbreak
\begin{center}
\input{imgs/2_1_zickzaging.tex}
\textbf{ Zickzaging}: mind. einer der Eigenwerte hat negativen Realteil
rate f"ur jedes Individuum einen Geschwindigkeitsvektor: $\vec v_1^{(0)}, \dots, \vec v_s \in \mathbb R^d$ \\
// alle Individuen zusammen: der Schwarm // \\
$\forall i \in \{1, \dots, s\}: \vec p_i := \vec x_i^{(0)};$ \\
$k := 0;$ \\
\underline{repeat:}
\begin{addmargin}{1cm}
bestimme die beste bisher gefundene Position "uberhaupt: $\vec p_{glob}$\footnote{Interaktion der Individuen, gerne Klausurfrage} \\
%$\vec{P}_g$ sei das $\vec{p}_i$, so dass $F(\vec{p}_g) = \min\{F(\vec{p}_1),...,F(\vec{p}_s)\}$ \\
f"ur jedes Partikel $i$: bestimme die von $i$ bislang beste gefundene Position $\vec p_i$ \\
\textbf{Bewegungsgleichungen}:\\
$\vec v_i^{(k+1)} := a \cdot \vec v_i^{(k)} + b_{loc} \cdot \vec r_{loc} \odot\footnote{$\odot$~ bedeutet komponentenweise Multiplikation} (\vec p_i - \vec x_i^{(k)}) + b_{glob} \cdot \vec r_{glob} \odot (\vec p_{glob} - \vec x_i^{(k)})$\\
$\vec x_i^{(k+1)} := c \cdot \vec x_i^{(k)} + d \cdot \vec v_i^{(k+1)}$\\
$k := k+1$\footnote{Eine Generation entspricht dem Verstreichen einer Zeiteinheit}\\
\end{addmargin}
\underline{until} Abbruchkriterium erreicht (zB. \#Iterationen, "Anderungen kleiner als ein $\varepsilon$, \dots)
\end{ttfamily}
%XXX INSERT IMAGE I1 HERE
\begin{itemize}
\setlength\itemsep{0.1em}
\item $a \in \mathbb{R}$: Trägheit (muss gew"ahlt werden)
\item $b_{loc}, b_{glob}\in \mathbb{R}$: Parameter/Anziehungskraft
\item $c, d\in \mathbb{R}$: Momente (wir zeigen oBdA: beide $1$)
\item $\vec r_{loc}, \vec r_{glob} \in [0,1]^d$ u.a.r (uniformly at random), Zufallsvektoren, die jedes mal ausgew"urfelt werden
\end{itemize}
\noindent
Test mit \textbf{Benchmark}-Funktionen.
\paragraph{Ziel:} Tradeoff zwischen Exploration\footnote{hingehen wo noch niemand war} und Exploitation\footnote{untersuche die Umgebung schon gefundener guter L"osungen, wird gerne in der Pr"ufung gefragt}
Die Parameter steuern, wie stark man sich auf sich selbst verl"asst und wie stark auf die anderen.
\subsection{Analyse der Parameterwahl}
Es sind Parameter gesucht, sodass der Schwarm konvergiert, d.h. sich \glqq in unendlicher Zeit\grqq\ auf eine L"osung $\vec p$ festlegt,
($\vec p$ muss \textbf{nicht} unbedingt ein Optimum sein). Dazu werden die PSO-Parameter \glqq berechnet \grqq. Dann soll auch
$\vec v_i \rightarrow \vec 0$ f"ur alle Partikel gelten.\\
Die Vektorkompontenten sind entkoppelt\footnote{Dimensionen beeinflussen sich gegenseitig nicht}, deswegen reicht die Untersuchung des 1-dimensionalen.
\begin{align*}
v^{(t + 1)} &= a \cdot v^{(t)} + b_{loc} \cdot r_{loc} \cdot (p_{loc}^{(t)} - x^{(t)}) + b_{glob} \cdot r_{glob} \cdot (p_{glob}^{(t)} - x^{(t)}) \\
x^{(t + 1)} &= c \cdot x^{(t)} + d \cdot v^{(t+1)}
\end{align*}
Erwartungswerte im Unendlichen: $$r_{loc} = r_{glob} = \frac 12$$
\begin{align*}
\text{Mit Substitution:} & \\
b &= \frac{1}{2} \cdot (b_{loc} + b_{glob}) \\
p^{(t)} &= \frac{b_{loc}}{b_{loc} + b_{glob}} \cdot p_{log}^{(t)} + \frac{b_{glob}}{b_{loc} + b_{glob}} \cdot p_{glob}^{(t)} \\
\text{folgt:} & \\
v^{(t+1)} &= a \cdot v^{(t)} + b \cdot (p^{(t)} - x^{(t)}) \\
x^{(t+1)} &= c \cdot x^{(t)} + d \cdot v^{(t+1)} \\
&\Rightarrow v^{(t+1)} = \frac 1d(x^{(t+1)} - c \cdot x^{(t)}) \\
&\Rightarrow v^{(t)} = \frac 1d(x^{(t)} - c \cdot x^{(t-1)}) \text{ (Parameterverschiebung)} \\
\text{Einsetzen:} \\
&x^{(t+1)} + (\underline{bd} - c - a) \cdot x^{(t)} + ac \cdot x^{(t-1)} = \underline{bd} \cdot p^{(t)} \leftarrow \text{diese Position} \\
& \text{soll im Unendlichen erreicht werden und \underline{fest} sein.}
\end{align*}
Setze $d = 1$ und w"ahle b \glqq hinterher\grqq{} richtig. $x^{(t)} \rightarrow X,\, X \text{ Fixpunkt}$
\begin{align*}
&X + (b - a - c) \cdot X + ac \cdot X = b p^{(t)} \\
\Leftrightarrow &(1 + b - a - c + ac) \cdot X = bp^{(t)} \\
&0 \stackrel != 1 - a - c + ac \Leftrightarrow 0 \stackrel != (a - 1)(c - 1) \to \text{setze }c = 1 \\
%
&\begin{pmatrix} x^{(t+1)} \\ v^{(t+1)} \end{pmatrix} = \begin{pmatrix} 1-b & a \\ -b & a \end{pmatrix} \cdot \begin{pmatrix} x^{(t)} \\ v^{(t)} \end{pmatrix} + \begin{pmatrix} b \\ b \end{pmatrix} \cdot p^{(t)} \to p \\
\Leftrightarrow\, & Y^{(t+1)} = A \cdot Y^{(t)} + B \cdot p^{(t)} \to \begin{pmatrix} p \\ 0 \end{pmatrix} \text{Equilibrium / Fixpunkt \footnotemark}
\end{align*}
\footnotetext{Punkt an dem ein System eingeschwungen ist}
Das System konvergiert, wenn die Betr"age der (auch komplexen!) Eigenwerte von A alle echt kleiner als 1 sind.
\begin{align*}
& \det\begin{pmatrix} 1-b-\lambda & a \\ -b & a-\lambda \end{pmatrix} = (1 - b - \lambda)(a - \lambda) + ab \stackrel != 0\\
& \Rightarrow \lambda_{1/2} = \frac{a-b+1}2 \pm \sqrt{\frac{(a-b+1)^2}4 - a}
\end{align*}
Eigenwerte $< 1$ bei $a < 1$ und $b > 0$, $2a - b + 2 > 0$
\begin{multicols}{2}
\input{imgs/2_1_konvergenzDreieck.tex}
\columnbreak
Innerhalb vom Dreieck konvergiert das System. Innerhalb der schraffierten Fl"ache kommt es zu harmonischen
Schwingungen.
\end{multicols}
Schwingungen:
\begin{multicols}{2}
\begin{center}
\input{imgs/2_1_harmonisch.tex}
\textbf{ Harmonisch}: es gibt komplexe Eigenwerte
\end{center}
\columnbreak
\begin{center}
\input{imgs/2_1_zickzaging.tex}
\textbf{ Zickzaging}: mind. einer der Eigenwerte hat negativen Realteil
\end{center}
\end{multicols}
......
lecture_notes.pdf
+ 0
− 0
View file @ 8c2209f3
No preview for this file type
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment