hushmind3/continual-trading-agent

자율 지속학습형 금융 트레이딩 에이전트

개발 중인 연구 프로젝트입니다. 이 저장소의 체크포인트는 완성되거나 수익성이 검증된 상품이 아닙니다. 투자 조언이나 매매 추천으로 사용하지 마세요.

프로젝트 목표

이 프로젝트의 목표는 특정 트레이더의 매매법이나 고정된 전략을 영구적으로 복사하는 것이 아닙니다. 시장을 계속 관찰하고, 가상 매매의 결과에서 수수료·세금·스프레드·슬리피지를 반영한 순손익을 경험으로 삼아 정책을 발전시키는 자율 트레이딩 에이전트를 만드는 것입니다.

모델은 시장 데이터와 포트폴리오 상태를 함께 보고 종목을 선택하고, 매수·보유·매도 행동과 자금 배분을 정하며, 보유 포지션을 유지·교체·축소·청산하는 방향으로 학습합니다. 현금, 보유수량, 평단, 실현손익, 평가손익, 거래비용, 유동성, 투자 가능 자본은 환경이 계산해 모델에 알려주는 금융 규칙입니다. 어떤 상황에서 어떤 자산을 사고 얼마나 배분할지는 경험으로 찾게 하는 것이 목표입니다.

공개 모델, teacher 신호, 과거 트레이더 기록은 초기 금융 문법을 익히는 자료로 쓸 수 있지만, 최종 정책의 정답으로 고정하지 않습니다. 장기 목표는 시장 경험과 보상을 이용해 독립적인 정책을 발전시키는 것입니다.

현재 모델 설정값

전체 구조

현재 기준 모델은 PyTorch Transformer이며 전체 파라미터는 512,723,465개입니다. 여기서 파라미터는 학습으로 조정될 수 있는 모델 가중치의 숫자입니다. 약 5.13억 개의 파라미터를 가진 하나의 모델이고, champion과 candidate는 이 구조를 사용하는 서로 다른 체크포인트입니다.

설정 항목	현재 값	쉬운 설명
전체 파라미터	512,723,465개	전체 모델에 들어 있는 가중치 수입니다.
모델 본체	Transformer	시간에 따른 변화와 종목 사이 관계를 함께 처리합니다.
Transformer 층 수	21층	입력을 단계적으로 분석하는 본체 블록 수입니다.
hidden size	1,408	각 시점과 종목을 모델 내부에서 표현하는 벡터의 폭입니다.
attention head 수	16개	attention 계산을 16개의 관점으로 나누어 수행합니다.
head dimension	88	head 한 개의 표현 크기입니다. 1,408 ÷ 16 = 88입니다.
FFN 크기	5,632	각 Transformer 블록 안에서 정보를 한 번 더 변환하는 중간층의 폭입니다.
시간축 attention 층	11개	각 종목의 과거 봉과 시간에 따른 흐름을 살핍니다.
종목 간 attention 층	10개	여러 종목과 시장 사이의 움직임 관계를 살핍니다.
입력 sequence	128봉	한 번의 판단에서 참고하는 과거 시간 구간 길이입니다.
종목별 입력 feature	17개	가격·거래 등 종목마다 들어오는 입력 항목 수입니다.
market context	16개	지수와 시장 전반 상황처럼 여러 종목에 공통인 입력 항목 수입니다.
행동 점수	SELL / HOLD / BUY logits	종목별로 세 행동의 점수를 출력합니다.
가치 출력	value	현재 상태의 장기적인 기대 가치를 추정하는 출력입니다.
배분 출력	portfolio allocation	포트폴리오 자금을 종목별로 어떻게 배분할지 나타내는 출력입니다.
기본 정밀도	FP16	모델 연산에 사용하는 기본 수치 정밀도입니다.

입력 길이 128봉의 의미

128봉은 종목 수가 아니라 시간축 길이입니다. 예를 들어 모델은 각 대상 종목에 대해 최근 128개의 시간 단위 봉을 참고합니다. 종목별 feature 17개는 각 종목의 입력이고, market context 16개는 같은 시점의 시장 전체 상황을 설명하는 입력입니다.

따라서 “128봉을 본다”는 말은 “최대 128종목만 처리한다”는 뜻이 아닙니다. 여러 종목의 입력을 함께 놓고 종목 간 관계를 분석하는 층도 별도로 있습니다. 시간축 처리와 종목 간 처리의 설정은 서로 다른 역할입니다.

Transformer 21층의 구성

전체 21층은 두 종류의 분석을 나누어 담당합니다. 약 11개 시간축 attention 층은 한 종목의 과거 움직임을 읽고, 약 10개 종목 간 attention 층은 다른 종목 및 시장 문맥과의 관계를 읽습니다. 이 구분을 통해 한 종목 자체의 패턴과 시장 전체에서의 상대적 움직임을 함께 표현하려는 구조입니다.

hidden size 1,408은 이 분석 과정에서 유지되는 내부 표현의 폭입니다. 16개 attention head가 이 표현을 나누어 보고, 각 head는 88차원을 사용합니다. FFN 크기 5,632는 attention을 통과한 정보를 블록 안에서 확장해 다시 변환하는 부분의 크기입니다.

모델이 내는 행동

모델은 각 종목에 대해 SELL, HOLD, BUY 세 행동의 logits를 출력합니다. logits는 행동별 원점수이며, 그 자체가 체결 가격이나 수익 보장은 아닙니다. value 출력은 상태의 가치를 나타내는 학습 신호이고, portfolio allocation 출력은 종목별 자금 배분 결정을 표현합니다.

실제 가상 주문과 계좌 변화는 이 출력을 현금, 보유수량, 가격, 거래 가능 여부 및 수수료·세금·스프레드·슬리피지 규칙과 함께 처리해 계산해야 합니다. 모델 출력만으로 거래가 체결되는 것은 아닙니다.

실시간 continual 학습 설정

전체 모델 파라미터가 모두 매번 바뀌는 것은 아닙니다. 실시간 continual 학습에서는 모델 본체 대부분을 고정하고 마지막 부분과 출력 head를 학습 가능하게 둡니다. 이 방식으로 시장 판단에 쓰는 큰 모델 구조는 유지하면서 새 경험에 맞춰 정책·가치·배분 부분을 업데이트합니다.

실시간 학습 항목	현재 기준	의미
학습 가능 파라미터	95,243,017개	전체 512,723,465개 중 현재 optimizer가 업데이트할 수 있도록 풀어둔 수입니다.
학습 범위	마지막 Transformer 4개 층 + policy/value/portfolio head	앞부분 본체는 고정하고 마지막 네 층 및 행동·가치·배분 출력을 학습합니다.
batch size	8	optimizer step 하나에서 replay 경험 8개를 묶어 처리합니다.
optimizer step	학습 1회당 8회	한 번의 candidate 업데이트 동안 optimizer가 수행하는 갱신 횟수입니다.
고유 경험 수	학습 1회당 64개	batch 8개를 8 step 처리하는 한 업데이트에서 사용하는 경험 수 기준입니다.
최근 학습 시간	약 246초	최근 한 학습 업데이트에 걸린 시간입니다. 실행 상태와 시스템 부하에 따라 달라집니다.
peak VRAM	약 4.14 GB	최근 학습 중 관측된 GPU 메모리 최고 사용량입니다. GPU와 부하에 따라 달라집니다.
승급 검증 구간	128봉	고정된 candidate snapshot과 champion을 비교하는 미래 paper 구간 길이입니다.
검증 중 candidate 학습	계속 진행	검증 snapshot은 고정하고, 현재 candidate 본체는 새 경험으로 학습을 이어갑니다.
checkpoint 파일	champion.pt 1개 + candidate.pt 1개	일반 운영에서 유지하는 모델 checkpoint는 이 두 개입니다.

전체 파라미터 512,723,465개와 실시간 학습 가능 파라미터 95,243,017개는 서로 다른 수치입니다. 첫 번째는 모델 전체의 크기이고, 두 번째는 continual 학습 때 실제로 업데이트 대상으로 풀어 놓는 부분입니다. 마지막 네 Transformer 층과 출력 head 외의 파라미터는 이 학습 설정에서 고정됩니다.

학습 1회는 replay에서 경험을 batch로 가져와 8회 optimizer update를 수행합니다. 최근 측정값은 약 246초와 peak VRAM 4.14 GB입니다. 이는 특정 실행의 관측값이며, 다른 GPU·시장 입력·시스템 부하에서 같은 결과를 보장하지 않습니다.

Champion, candidate, 검증의 역할

• Champion은 현재 기준 모델입니다. 운영 시장 판단을 담당합니다.
• Candidate는 새 replay 경험을 학습하는 모델입니다. 업데이트된 candidate가 자동으로 champion이 되는 것은 아닙니다.
• 검증 snapshot은 시험을 시작할 때 candidate의 가중치를 고정한 평가본입니다. 평가 중 가중치가 바뀌지 않아야 시험의 처음과 끝이 같은 모델을 평가합니다.
• 검증 중 candidate 본체는 다음 경험을 학습할 수 있습니다. 검증 snapshot과 학습 중인 candidate는 역할이 다릅니다.
• Champion과 고정 candidate snapshot은 같은 미래 시장 구간, 같은 시작 계좌 조건, 같은 거래비용 조건으로 비교해야 합니다.
• 승급 기준은 거래 비용을 차감한 paper-account 순손익 개선입니다. 시험에서 이겼다는 근거가 없으면 champion을 바꾸지 않습니다.

검증 구간의 길이와 현재 설정은 128봉입니다. 검증에 사용한 과거 구간을 다시 새로운 미학습 시험이라고 취급하지 않고, 다음 시험은 이후의 새 구간에서 진행해야 합니다.

경험에서 승급까지의 흐름

시장 관찰 → champion의 행동 → 가상 체결 → paper 계좌 현금·보유량·손익 갱신 → 비용 차감 순손익으로 경험 기록 → replay batch 학습 → candidate snapshot 검증 → 개선 확인 시 champion 승격

학습 보상과 paper 계좌 손익은 구분해 기록해야 합니다. 거래별 비용을 반영하고, 종목별 체결 기여도와 계좌 전체 성과를 함께 살펴 candidate의 변화가 실제 포트폴리오 결과를 개선했는지 평가합니다.

실제 주문은 기본 OFF입니다. 이 저장소의 체크포인트를 내려받는 것만으로 주문이 발생하지 않습니다. 프로젝트 운영에서도 사용자가 실제 주문 기능을 명시적으로 허용하기 전까지 가상 매매만 사용한다는 것이 원칙입니다.

이 저장소의 파일

파일	역할
champion.pt	현재 champion 모델의 가중치 checkpoint입니다.
candidate.pt	현재 candidate 모델의 가중치 checkpoint입니다. 학습 또는 검증 상태에 따라 champion과 다른 가중치를 가질 수 있습니다.
README.md	프로젝트 목표, 모델 설정, 온라인 학습 및 평가 방식을 설명합니다.

두 checkpoint 파일은 각각 약 1.03GB입니다. 저장소에는 champion과 candidate 각 하나를 두며, replay 경험이나 계좌 runtime 데이터는 모델 checkpoint와 별개의 운영 자료입니다.

사용 전 주의사항

• 이 저장소에는 체크포인트와 설명문이 있습니다. 시장 데이터 수집, 가상 계좌, 비용 계산, replay, 학습 및 검증을 실행하려면 프로젝트 소스와 그에 맞는 설정이 필요합니다.
• 체크포인트를 불러오기 전에 코드 버전, 모델 입력 feature 순서와 크기, 모델 구조가 맞는지 확인하세요.
• 이 모델의 성과와 수익성은 보장되지 않습니다. 과거·현재의 paper 결과가 미래 수익을 보장하지 않습니다.
• 실제 자금으로 사용하기 전에 독립 검증과 위험 관리가 필요합니다. 이 저장소는 투자 조언을 제공하지 않습니다.
• 체크포인트는 PyTorch 파일입니다. 신뢰할 수 있는 출처의 파일만 사용하고, 안전하지 않은 환경에서 임의의 checkpoint를 로드하지 마세요.

“Dear teachers, please send your feedback to hushmind@gmail.com