[인공지능] 졸업 작품 #8, QLoRA 파인튜닝 결과

드디어 수백 시간의 파인튜닝 과정이 끝이났다.

정말 오랜 시간 동안 파인튜닝하느라 서버가 참 바쁘게 움직였다.

그리고 그 동안에도 나는 이것저것 살펴볼게 많았다.

(계약서 쓸 게 좀 있어서 바쁘게 움직이고 살았다.)

 

사용한 베이스 모델은 Qwen3-8B, 파인튜닝한 데이터셋은 300MB가 넘어가는 많은 양의 데이터이다.

그리고 여러가지 파라미터를 변경해가며 파라미터 튜닝을 해본다면 더 좋겠지만, 나에게 남은 시간은 별로 되지 않기 때문에 아래 파라미터를 최종적으로 사용하게 되었다

LoRA Rank	LoRA Alpha	LoRA Dropout	Cutoff-length	Learning-Rate	Epochs
8	16	0.05	16,384	0.0001	5

 

위와 같은 기본적 파라미터를 기반으로 DeepSpeed, Shifted Short Attenting 등 다양한 기법을 사용해서 최적화하였다.

 

 

🤔 그래서 어떤 결과가 나왔나?

결론부터 말하자면 좋은 부분도 있지만, 좋지 않은 부분도 있다.

 

이게 각각 학습 Loss 그래프와 Gradient 그래프인데, 예전에 비해 확실하게 안정된 것이 보인다.

예전에는 데이터셋 품질 자체가 좋지 않았어서 조금 불안정했던 감이 있는데 데이터 정제하고 이것저것 해보니 다행히 이젠 안정적으로 학습되는 양상을 볼 수 있었다.

 

일단 좋은 부분은 학습된 법률과 관련된 범죄사실에 대해서는 잘 도출해낸다.

예를 들어 아래의 범죄 사실이 있다고 가정하자.

피고인은 2022. 4. 19. 김해시 ○○아파트에서 피해자 B(여,40대)와 말다툼을 하던 중, 피해자가 피고인에게 욕설을 했다는 이유로 화가 나 피해자에게 전치 12주의 부상을 입혔다.

 

위 범죄 사실은 일단 존재하지 않는 범죄 사실을 지어낸 것이므로 학습된 데이터는 아니다.

 

아무튼 우측 사진과 같이 샘플링을 비활성화해서 결정론적 출력을 주게되면 아래와 같은 결과가 나오게 된다.

형법 제257조|형법 제62조

 

이건 이제 학습한 데이터에 관련된 판결문 데이터가 많이 존재하기 때문에 잘 도출해내는 것이다.

(형법 제257조는 상해, 제62조는 집행유예와 관련된 조항으로 추가적인 처리를 거치면 형법 제257조만 나타나도록 처리할 수 있음)

 

참고로 샘플링을 비활성화하는 이유는 우리가 만드는 것이 법률 모델이므로 일관성 있는 답변을 도출하는 것이 중요하기 때문에 그렇다.

 

자 아무튼 위와 같은 경우처럼 학습 데이터가 충분한 법률쪽에 대한 범죄 사실을 충분히 학습이 되었다는 것을 알 수 있다.

 

❓ 그러면 뭐가 안 좋나?

데이터가 부족해서 나타나는 문제이다.

즉, 학습하지 않은 법령에 대해서는 도출하지 못한다는 점이다.

 

다시 한 번 예를 들어 아래의 범죄 사실이 있다고 가정하자.

이는 실제 존재하는 판결문과 거의 유사하게 작성하였다.

피고인은 2022. 4. 19. 김해시 ○○아파트에서 피해자 B(여,40대)와 말다툼을 하던 중, 피해자가 피고인에게 욕설을 했다는 이유로 화가 나 위험한 물건인 칼(길이 약 15cm)를 꺼내어 들고 피해자의 가슴 부위를 3회 찔렀다.

 

그러면 아래와 같은 결과가 도출된다.

형법 제258조|형법 제257조|형법 제53조|형법 제55조|형법 제62조

 

형법 제258조는 중상해, 존속중상해

형법 제257조는 상해, 존속상해

(나머지는 감경, 집행유예 등에 관련된 조항이므로 무시)

 

언뜻보면 아주 잘 도출된 것 같지만 그렇지 않다.

형법 제258조의 제1항은 "사람의 신체를 상해하여 생명에 대한 위험을 발생하게 한 자는 1년 이상 10년 이하의 징역에 처한다." 라고 명시되어 있으므로 잘 나온 것 같지만 여기에서 끝나선 안된다.

 

위험한 물건인 칼(길이 약 15cm) 라는 말은 형법 제258조의2(특수상해) 에 해당한다.

근데 학습 데이터셋에는 형법 제258조의2(특수상해) 에 해당하는 범죄 사실이 단 한 건도 존재하지 않아서 올바른 결과를 도출하지 못하는 것이다.

 

이러한 문제는 사실 법률 AI 모델에서는 매우 치명적인 문제다. 법률은 구체적이고 정확한 조문 적용이 핵심인데, 학습 데이터에 포함되지 않은 조문들에 대해서는 제대로 된 판단을 내릴 수 없다는 것이기 때문이다.

💡 또 어떤 문제가 있을까?

이후 더 다양한 범죄 사실들로 테스트를 진행해본 결과, 다음과 같은 추가적인 문제점들이 있긴 하다.

• 경합범 처리: 여러 범죄가 동시에 성립하는 경우의 조문 조합 능력 부족
• 양형 관련 조문: 집행유예, 선고유예 등의 적용 기준이 모호함

그래서 현재 상황을 개선하기 위해 좀 더 생각을 해봐야한다.

1. 데이터셋 보완: 부족한 조문들에 대한 판례 데이터를 체계적으로 수집하고 추가해야 한다. 특히 형법 제258조의2, 제258조의3과 같은 특수범죄 조문들의 판례를 우선적으로 확보해야 한다.
2. 접근법 고려: 순수한 딥러닝 접근법 외에도, 법률 지식 그래프나 규칙 기반 시스템을 병행하여 누락된 조문들에 대한 보완책을 마련할 필요가 있다.

생각해보면 위 방법 정도가 전부이긴 하지만 데이터셋을 보완할 수 있는 방법이 마땅치 않아서 고민을 좀 더 해야하긴 하는 상황이다..

🚀 향후 개선 계획

앞으로의 개선 작업은 다음 단계로 진행될 예정이다.

 

1. 보완: 누락된 주요 조문들(특수상해, 특수중상해, 도로교통법 등)의 데이터 확보 및 추가 학습
2. 고도화: 복합 범죄 상황에 대한 처리 능력 향상
3. 검증: 모델 성능 검증 및 실무 적용 가능성 평가

 

결론적으로, 현재까지의 파인튜닝 결과는 기술적으로는 매우 성공적이지만, 실용성 측면에서는 아직 보완이 필요한 상황이다. 하지만 안정적인 학습 곡선과 기본적인 법률 추론 능력을 확인했으므로, 데이터 보완을 통해 충분히 실용적인 수준까지 발전시킬 수 있을 것으로 기대된다.

(근데 논문을 써야하는데 왜 작품을 만드는 것 같은지 모르겠다.)