국민대학교 암호 및 보안 공학 연구실(지도교수 서석충) 김동천·최준혁(박사과정), 말레이시아 Universiti Tunku Abdul Rahman(UTAR)의 Wai Kong Lee 박사, 서석충 교수가 공동 연구한 논문 “Optimizing HQC with Enhanced Parallel Binary Polynomial Multiplication on GPUs”가 암호 구현 분야 최고 권위 학술지인 IACR Transactions on Cryptographic Hardware and Embedded Systems(TCHES) 2027 Issue 1에 게재가 확정됐다. 이번 연구는 교육부 지원 글로컬랩 방산기술보호연구소(소장 한동국 교수)에서 수행한 성과다.

이번 연구는 미국 국립표준기술연구소(NIST)가 2025년 추가 표준으로 선정한 코드 기반 양자내성암호 HQC를 GPU에서 고속으로 구현하기 위해 추진됐다. 서버 환경에서는 대량의 키 교환 요청을 빠르게 처리해야 하지만, HQC는 연산의 대부분을 차지하는 이진 다항식 곱셈이 주요 병목으로 작용해 고속 구현에 한계가 있었다.

연구팀은 이를 해결하기 위해 이진 다항식 곱셈을 위한 두 가지 방식을 GPU 환경에서 처음으로 제안했다. Frobenius Additive FFT를 GPU에서 병렬화하는 방식과, GPU의 INT1 Tensor Core를 활용해 곱셈을 수행하는 방식이다. 아울러 곱셈 최적화 이후 새로운 병목으로 드러난 Reed–Muller/Reed–Solomon 부호화·복호화와 fixed-weight sampling까지 warp 단위로 병렬화해, 전체 KEM 연산을 GPU 내부에서 수행하도록 구현했다. 또한 처리량뿐 아니라 개별 요청의 지연시간까지 고려해 두 성능 간 균형을 서로 다르게 설정한 5가지 구현 방식을 제시함으로써, 활용 환경에 맞춰 선택할 수 있도록 했다. 그 결과 RTX 4090 GPU에서 최신 GPU 구현 대비 다항식 곱셈 처리량은 약 2.9배, 전체 KEM 처리량은 최대 2.03배 향상됐으며, 단일 요청 지연시간은 최소 254µs를 달성했다.

한편, 국민대학교 암호 및 보안공학연구실은 TCHES 2026 Issue 2에 2편, Issue 4에 1편, 2027 Issue 1에 2편 등 총 5편의 논문 게재 및 게재 확정 성과를 거뒀다. 특히 GPU 기반 암호 연산 고속화, 초경량 임베디드 환경에서의 양자내성암호 최적화, FPGA 기반 통합 하드웨어 가속기 설계에 이르기까지 다양한 컴퓨팅 환경에서 세계적 수준의 연구 성과를 달성했다. 이는 소프트웨어와 하드웨어를 아우르는 연구실의 폭넓은 암호 구현 역량을 보여주는 성과로, 향후 국가 양자내성암호 전환과 국내 암호 기술의 국제 경쟁력 강화에 기여할 것으로 기대된다.

(왼쪽부터 서석충 교수, 한동국 교수, 김동천, 최준혁 박사과정, Wai Kong Lee 박사)