수학적 최적화 방법론에 대해 정리합니다.
수학적 최적화 방법론에 대해 정리합니다.
5 items under this folder.
미분은 입력의 작은 변화에 비례해 출력이 얼마나 변하는지를 말해준다. 이런 성질은 미분 함수의 최소화에 유용하다. 도함수는 출력 y를 개선하려면 입력 x를 얼마나 변화해야 하는지에 대한 정보를 주기 때문이다.
Gradient Descent는 “연속”함수의 최적화에만 적용가능하다. Hill Climbing은 “이산”함수의 최적화에 적용가능하다. 매개변수들이 이산적인 목적함수를 증가시켜 최댓값을 찾는 기법을 말한다.
최소화 / 최대화할 함수 동일 이름 목적 함수(Objective Function) 판정 기준(Criterion) 최소화인 경우 비용 함수(Cost Function) 손실 함수(Loss Function) 오차 함수(Error Function) 표기 함수를 최소화 또는 최대화하는 인수의 값에 위 첨자 *를 붙인다.
x의 값을 바꾸어가며 어떤 함수 f(x)의 값을 최대화 또는 최소화 하는 것 일반적으로 f(x)를 최소화하는 것 기준으로 설명한다. 최대화는 -f(x)를 최소화하는 것으로 바꾸어서 풀 수 있다.
설명 최적화 기법 중 하나다. 대부분의 최적화 기법이 그렇듯, 특정 제약조건에서 목적함수를 최적화하는 문제이다. 그런데 이 목적함수의 모양이 선형이다. 주로 자원 배분, 생산 계획, 물류 최적화 등에서 활용된다.