기존의 Reinforcement Learning (RL) 알고리즘은 복잡한 피드백을 'reward'라는 단일 숫자로 압축해버려서, 무엇이 잘못되었는지에 대한 풍부한 정보를 잃어버리는 한계가 있어요. 이를 해결하기 위해 제안된 'Feedback Descent'는 텍스트 기반의 풍부한 피드백을 직접 사용하여 모델을 개선하는 새로운 패러다임을 제시합니다. 이 방식은 상세한 피드백을 제공하는 'Evaluator'와 그 피드백을 바탕으로 수정안을 만드는 'Editor'의 루프를 통해 작동해요. 실험 결과, Molecular Design, SVG 최적화, Prompt Optimization 등 다양한 분야에서 기존 RL 방식보다 뛰어난 성능과 효율성을 보여주었답니다. 이는 텍스트라는 'semantic space'를 활용해 continual learning을 가능하게 하는 아주 유망한 연구 방향이에요.