블록체인 기반 연합학습 가속화를 위한 파이프라이닝 기법 연구

1. 블록체인과 연합학습의 통합 연구

블록체인 기반 연합학습은 중앙서버에 대한 의존도를 줄이고, 보상 체계를 통해 참여를 유도하며, 모델 업데이트의 무결성과 투명성을 확보하는 방안으로 주목받고 있다. BlockFL [5]은 블록체인 네트워크를 통해 모델 파라미터를 분산 저장하고, 통신 비용이 전체 학습 시간에 미치는 영향을 분석함으로써 본 분야의 기초를 마련하였다.

이후 연구들은 블록체인 기반 연합학습의 한계로 합의 지연, 네트워크 확장성 부족, 기여도 평가의 어려움 등을 지적하였으며, 이를 극복하는 방안으로 경량 합의 알고리즘, 보상 메커니즘 최적화, 프라이버시 보호 기술 등이 제안되었다[6]. 한편, 블록체인 설계 요소의 구조적 관계를 분석한 연구[7]에서는 효율성(efficiency), 프라이버시(privacy), 공정성(fairness)이라는 평가 지표를 기준으로 다양한 시스템 구조를 비교하고, 이들 설계 간의 상호작용을 체계화하였다. 또한 학습 기여도 기반의 보상 체계[8] 및 신원 검증 기반 참여 구조를 제시함으로써, 참여율 향상과 시스템의 신뢰성 제고 방안을 제안한 바 있다.

이처럼 기존 연구들은 블록체인의 구조적 장점을 연합학습에 적용하면서도, 블록체인으로 인한 오버헤드와 지연을 최소화할 수 있는 최적화 기법의 필요성을 공통으로 강조하고 있다.

2. 블록체인 오버헤드 감소 연구

블록체인의 주요 단점 중 하나는 높은 연산 자원 소모 및 통신 비용으로 인해 연합학습의 효율성을 저해할 수 있다는 점이다. 이에 따라, 연산 효율성을 개선하고 시스템 지연을 완화하기 위한 연구들이 활발히 진행되고 있다.

LiteChain [9]은 이러한 문제를 해결하기 위해, 오프체인 연산과 최적화된 합의 알고리즘을 도입하여 블록체인의 부담을 줄이는 방식을 제안한다. 블록 생성 및 합의 과정에서 발생하는 과도한 연산 비용을 줄이기 위해, 일부 모델 업데이트 과정을 블록체인 외부에서 처리함으로써 보안성과 효율성의 균형을 도모하였다.

또한 BlockDFL [10]은 완전한 P2P 기반 연합학습 프레임워크를 제안하여, 중앙서버 없이도 연합학습을 수행할 수 있는 구조를 설계하였다. 특히, PBFT (Practical Byzantine Fault Tolerance) 기반의 투표 메커니즘을 통해 참여자 간 학습 조정을 가능하게 하며, 학습 과정과 합의 과정을 세분화하여 연산 자원 소모를 최소화하였다.

1. 파이프라이닝 기반 처리 구조

그림 2는 본 논문에서 제안하는 파이프라이닝 구조의 시간 흐름을 도식화한 것이다. 기존 블록체인 기반 연합학습 시스템은 모델 학습, 트랜잭션 생성, 블록 생성 및 전파가 순차적으로 이루어지는 구조로, 하나의 단계가 완료되어야 다음 단계가 시작되는 처리 방식이다.

Fig. 2.

Pipelining operation.

이러한 직렬적 구조에서는 블록 생성 및 전파 지연이 발생할 경우, 학습 노드가 글로벌 파라미터를 적시에 수신하지 못하게 되어, GPU자원이 유휴 상태로 대기하는 병목 현상이 발생하게 된다.

본 논문에서는 이러한 구조적 비효율성을 해소하기 위해, 모델 학습, 트랜잭션 전송, 블록 생성 및 전파 과정을 서로 독립된 스레드로 분리하고, 이를 병렬로 처리할 수 있는 파이프라이닝 구조를 설계하였다.

그림 2의 도식화에서 R_n은 N번째 Round를 의미하며, B_h는 블록의 헤더를, t_n은 N번째 트랜잭션, Block_n은 n번째 Block을 의미한다.

상단 Main 영역은 채굴자의 작업 흐름으로, 채굴자는 주기적으로 트랜잭션을 수집·검증하여 블록을 생성한 뒤 블록헤더를 네트워크에 전파한다. 하단 Worker Node는 세 개의 스레드로 구성되며, Thread 1은 새로운 블록 헤더의 존재 여부를 비동기적으로 확인·수신하여 유효성을 검사한 후 큐에 적재한다. Thread 2는 로컬 학습 결과를 트랜잭션으로 직렬화하고 서명하여 전송한다. Thread 3은 최신 글로벌 모델을 바탕으로 로컬 학습을 수행하며, 학습이 종료되면 생성된 업데이트를 Thread 2에 학습완료 및 트랜잭션 요청 메세지를 전달하고, 이후 Thread 1이 수신한 최신 헤더가 있는지 확인하여 글로벌 모델을 갱신한다. 이러한 구성에 의해 세 스테이지는 시간 축에서 중첩되어 병렬적으로 동작한다. 결과적으로 학습–통신–블록 생성이 병렬로 진행되어 라운드의 학습과 그외 블록생성과정이 병렬적으로 처리가 되어서 GPU 유휴 시간이 최소화되어, 전체 처리 효율과 처리량이 함께 향상된다.

특히 제안된 파이프라이닝 구조에서는 하나의 라운드 R 동안 학습 노드는 트랜잭션을 생성 및 전송하고, 채굴자는 이전 라운드 R−1의 트랜잭션을 기반으로 블록을 생성하며, 동시에 학습 노드는 직전 라운드에서 수신한 글로벌 모델을 바탕으로 다음 라운드 R+1의 학습을 준비할 수 있다.

이처럼 학습, 통신, 블록 생성을 시간상으로 분산시켜 병렬화함으로써, GPU 자원의 유휴 시간을 최소화하고 전체 시스템의 처리 효율성과 처리량을 향상시킬 수 있다. 결과적으로 제안된 파이프라이닝 구조는 블록체인 연합학습 시스템에서 발생하는 구조적 병목을 효과적으로 해소하고, 학습의 안정성과 자원 활용 최적화를 동시에 달성할 수 있는 기반을 제공한다.

또한, 모델 수렴의 안정성을 높이기 위해 모멘텀 기반 집계(momentum-based aggregation) 기법을 함께 도입하였다. 이 기법은 단순히 현재 라운드에서 수집된 클라이언트 모델만을 평균하는 방식이 아니라, 이전 라운드의 글로벌 파라미터를 함께 고려하여 집계를 수행함으로써, 업데이트 간의 급격한 변화로 인한 불안정성을 완화한다. 구체적으로, 클라이언트 수가 n일 때, 제출된 n개의 로컬 모델 파라미터와 이전 라운드의 글로벌 파라미터를 포함한 총 n+1개의 파라미터에 평균 연산을 적용함으로써, 더 부드럽고 안정적인 수렴 경로를 유도할 수 있다. 이는 파이프라이닝 구조에서 병렬 학습이 진행되는 동안에도 전체 모델 학습의 일관성과 성능 안정성을 유지하는 데 기여한다.

수식 (1)은 제안하는 시스템의 블록 생성 주기(round cycle time)를 정의한 것으로, 기존 BlockFL 구조에서 사용된 주기 수식을 기반으로 하되, 각 처리 단계가 병렬로 수행되는 파이프라이닝 구조의 특성을 반영하여 구성되었다. 특히, 병렬 실행이 가능한 연산 구간에서는 전체 주기를 결정짓는 병목 구간만을 고려해야 하므로, 해당 항목들에 대해 최댓값(max) 연산을 적용하였다. 이를 통해 파이프라이닝 구조에서의 블록 생성 지연을 이론적으로 분석할 수 있으며, 기존 구조 대비 자원 활용의 효율성을 수식적으로 비교하는 근거를 제공한다.

우선, T_local은 각 클라이언트 노드에서 수행되는 로컬 학습 시간으로 정의된다. 이것은 사용자의 데이터를 기반으로 개별 모델을 학습하는 데 걸리는 시간이다. 로컬 학습이 완료되면, 클라이언트는 모델 업데이트 정보를 블록체인 네트워크에 전송하고, 이때 발생하는 통신 지연은 T_ST로 나타낸다.

이어서, 채굴자는 수신된 트랜잭션을 바탕으로 블록을 생성하며, 이 과정에 걸리는 시간은 T_BGT, 으로 정의된다. 생성된 블록이 전체 네트워크에 전파되는데 걸리는 시간은 T_BP, 그리고 각 노드가 해당 블록을 수신하여 저장하는 데 걸리는 시간은 T_BD로 각각 구현된다. 이들 각 단계는 하나의 연합학습 라운드를 구성하는 핵심 요소이며, 각 지연은 전체 학습 속도에 직접적인 영향을 미친다.

한편, 블록체인의 구조적 특성으로 인해 블록 분기(fork)가 발생할 수 있으며, 이는 일시적으로 잘못된 블록이 채택되었다가 무효가 되는 상황을 의미한다. 이에 따라 일부 라운드는 재수행이 요구될 수 있으며, 해당 빈도는 N_fork로 정의된다. 블록 분기는 전체 학습 지연을 증가시키는 비효율적 요소로 작용하며, 시스템의 안정성과 효율성 측면에서 중요한 고려 대상이 된다.

기존 BlockFL 구조에서는 위의 모든 단계가 순차적으로 수행되며, 특정 단계에서 지연이 발생할 때 전체 라운드 진행이 지체되어 연산 자원, 특히 GPU가 유휴 상태로 남는 병목 현상이 발생한다. 이러한 문제를 해결하기 위해, 본 연구에서는 T_BGT을 병렬적으로 수행할 수 있도록 파이프라이닝 구조를 설계하였다. 이 구조는 이전 라운드에서의 블록 생성 및 전파가 진행되는 동안, 다음 라운드의 로컬 학습이 동시에 시작될 수 있도록 구성되어 전체 라운드 주기를 단축하는 효과를 갖는다.

파이프라이닝 구조는 시스템 내 연산 및 통신 과정을 유기적으로 병렬화함으로써 자원 활용도를 극대화하며, 특히 대규모 데이터셋 또는 복잡한 모델을 사용하는 연합학습 환경에서 더욱 높은 효율성을 발휘할 수 있다. 결과적으로, 제안된 수식은 기존 BlockFL의 순차 처리 구조가 가지는 한계를 극복하고, 병렬 처리 기반 구조의 장점을 이론적으로 입증함으로써 시스템 처리량 향상 및 자원 최적화 가능성을 명확히 보여준다.

2. Proof of Stake 알고리즘

기존의 작업증명 PoW (Proof of Work) 기반 블록체인 구조는 블록 생성을 위해 막대한 연산 자원을 요구하며, 이에 따라 전체 시스템의 처리 속도가 저하되고, 에너지 소비 측면에서도 비효율적인 문제를 일으킨다. 특히, 시스템의 연산량이 증가할 때 연산 자원을 고려하여 블록 생성 난이도를 인위적으로 조정하게 되면, 오히려 블록 분기가 발생할 가능성이 증가하는 문제가 존재한다.

본 연구에서는 이러한 문제점을 해결하고자, 연산 경쟁이 아닌 참여자의 지분 기반으로 블록 생성 권한을 분배하는 PoS (Proof of Stake) 기반의 경량 합의 구조를 설계하였다. 제안하는 구조에서는 각 채굴자에 소속된 학습 노드의 수를 지분으로 정의하며, 이를 기반으로 블록 생성 권한을 분배함으로써 전체 연산 자원을 절감하는 동시에, 블록 분기 발생 가능성을 효과적으로 낮추도록 구성하였다. 다만 PoS는 지분 집중에 따른 해당 중앙화 문제와 지분 가중이 데이터의 품질·공헌도와 불일치할 수 있는 한계를 내포한다. 본 연구는 이러한 이슈의 설계와 평가는 범위 밖으로 두고, 지분을 ‘학습 노드 수’로 고정한 통제된 실험 환경에서 파이프라이닝과 합의 경량화의 시스템적 성능 효과에만 초점을 맞춘다.

PoS 기반 구조에서는 PoW처럼 무한 반복적인 해시 계산 과정을 거치지 않으며, 채굴자는 자신의 클러스터로부터 일정 수의 학습 파라미터가 수집되었을 때만 블록 생성을 위한 해시 계산을 수행한다. 이는 블록 생성의 주체가 사전에 결정되며, 블록 경쟁 없이 전개되는 PoS의 구조적 특성에 기반한 것으로, 전체 연산 부하를 크게 줄이는 동시에, 블록 분기 가능성 또한 현저히 감소시킨다.

또한 채굴자는 각 학습 노드로부터 전달받은 트랜잭션을 취합하여 블록을 생성하게 되며, 이때 트랜잭션은 다음과 같은 필수 요소들로 구성된다:

• • Client ID : 노드에게 무작위로 부여된 고유한 식별자
• • Base index : 해당 트랜잭션이 속한 블록 인덱스 번호
• • Update model : 업데이트하고자 하는 모델 파라미터
• • Data size : 학습하는 이미지의 데이터 크기
• • Computing time : 트랜잭션 생성 시간
• • Miner : 해당 노드가 속한 채굴자의 주소

또한, 본 구조에서는 채굴자의 지분을 해당 채굴자에 소속된 학습 노드의 수로 정의한다. 이는 채굴자의 연합학습 기여도를 반영하여 블록 생성 권한을 분배하는 방식으로, 자원 낭비 없이 공정하고 효율적인 합의를 가능하게 한다.

결국, 제안하는 PoS 기반 합의 구조는 전체 연산량을 절감하고 블록 생성의 안정성을 높임으로써, 블록체인 기반 연합학습의 처리 효율성과 확장성을 향상한다. 특히 기존 PoW 구조에서 발생하던 블록 경쟁 및 분기 문제를 완화하여, 네트워크의 일관성과 안정성을 효과적으로 확보할 수 있다.

1. 실험환경

본 실험은 제안한 파이프라이닝 기반 블록체인 연합학습 구조의 성능을 실증적으로 검증하고, 블록 생성 지연 감소가 전체 학습 과정 및 모델 성능에 미치는 영향을 분석하기 위해 설계되었다. 실험은 실제 분산 환경에서 수행되었으며, 제안 기법의 실용성과 안정성을 평가하는 데 중점을 두었다.

특히, 파이프라이닝 기법이 블록 생성 시간(T_BGT)에 미치는 영향을 중점적으로 분석하고, 이를 통해 전체 학습 주기의 단축 효과 및 최종 모델의 정확도 향상 여부를 정량적으로 측정하였다. 또한, 제안한 PoS 기반 블록 생성 구조가 연합학습 주기 내에서 정상적으로 작동하며, 안정적인 합의 및 모델 공유가 이루어지는지를 함께 검증하였다.

실험에 사용된 데이터셋은 실제 거리 주소 이미지로 구성된 SVHN (Street View House Numbers) [12]와, 10개 클래스 이미지 분류용 벤치마크인 CIFAR-10 [13]이다. 두 데이터셋은 모두 64×64 크기의 RGB 색상 이미지로 리사이징하여 ResNet-18 [14] 모델에 입력되도록 전처리하였으며, 모델 학습은 각 데이터셋을 기반으로 독립적으로 수행되었다.

학습에 사용된 최적화 기법은 Adam [15] Optimizer이며, 학습률(learning rate)은 0.001로 설정하였고, 배치 사이즈는 32로 고정하였다. 모델의 학습 성능은 테스트 데이터셋에 대한 정확도(accuracy)를 기준으로 평가하였으며, 이를 통해 파이프라이닝 기법 적용 전후의 성능 차이를 정량적으로 분석하였다.

데이터는 IID (Independent and Identically Distributed) 형태로 각 노드에 균등하게 분할되어 할당되었으며, 노드 간 데이터 분포의 편차를 제거한 상태에서 실험이 진행되었다. 전체 실험은 총 5대의 서버와 12개의 GPU (RTX 3090, 6대, RTX 3080 Ti 4대, RTX 3080, 2대)를 활용하였으며, 네트워크 환경은 10GbE (10기가비트 이더넷)를 기반으로 구성되었다.

시스템 전체는 총 17개의 노드로 구성되었으며, 이 중 5개는 채굴자 노드, 12개는 학습 노드로 할당되었다. 각 채굴자는 기본적으로 2개의 학습 노드를 관리하며, PoS 기반 지분 구조의 검증을 위해 일부 채굴자에는 4개의 학습 노드를 연결하여 지분 차이가 블록 생성 우선순위에 영향을 미치는지를 확인하였다. 이러한 설정은 PoS 기반 블록 생성 구조가 실제 환경에서도 안정적으로 작동하며, 기여도에 기반한 블록 생성 권한 분배가 유효함을 확인하기 위한 실험적 장치로 활용되었다.

2. GPU 사용량 측정

제안한 파이프라이닝 구조가 실제로 연산 자원(GPU)의 활용도에 미치는 영향을 정량적으로 분석하였다. 이를 위해 ResNet-18 모델과 SVHN 데이터셋을 사용하여 블록체인 기반 연합학습을 실행하고, NVIDIA Nsight 도구를 활용하여 GPU 연산 흐름을 시각화하였다. 파이프라이닝 구조 적용 전후의 GPU 사용 상태를 비교함으로써, 제안 기법의 연산 효율성 개선 효과를 실증적으로 평가하였다.

그림 3은 기존 순차 처리 방식에서의 GPU 사용 현황을 나타낸다. 주황색으로 표시된 구간은 실제 연산이 수행된 시간대이며, 각 연산 구간 사이에 반복적으로 나타나는 공백 구간은 GPU가 연산을 수행하지 않고 대기 중인 유휴 상태(Idle state)를 의미한다. 이러한 유휴 시간은 블록체인의 합의, 생성, 전파 과정에서 발생하는 지연으로 인해 발생하며, 전체 연합 학습 주기에서 자원의 낭비로 작용하게 된다.

Fig. 3.

GPU utilization without pipelining.

반면, 그림 4는 같은 조건에서 파이프라이닝 구조를 적용한 후의 GPU 사용 현황을 나타낸다. 기존 구조와 비교하였을 때, GPU 유휴 구간이 현저히 감소하였으며, 연산 처리율이 일정하고 지속적인 형태로 유지되는 것을 확인할 수 있다. 이는 모델 학습, 트랜잭션 전송, 블록 생성 및 전파 과정이 병렬로 처리됨에 따라, GPU가 다음 작업을 기다리며 대기하는 시간이 제거되고, 전체 연산 자원이 효율적으로 활용되고 있음을 의미한다.

Fig. 4.

GPU utilization with pipelining.

이러한 결과는 제안하는 파이프라이닝 구조가 시스템 자원 활용 최적화를 실현할 수 있음을 보여주는 실증적 근거이며, 블록체인 기반 연합학습 환경에서 실질적인 성능 향상을 유도할 수 있음을 입증한다. 특히 학습 주기의 병목이 제거되면서 동일 시간 내 더 많은 학습 라운드를 수행할 수 있는 기반이 마련되었음을 확인할 수 있다.

3. 시간에 따른 정확도 비교 실험

파이프라이닝 구조가 학습 성능에 미치는 영향을 분석하기 위해, 본 절에서는 기존의 순차형 연합학습 방식과 본 연구에서 제안한 파이프라이닝 방식 간의 정확도 수렴 속도 및 블록 생성 시간 차이를 비교한다. 실험은 앞서 기술한 시스템 구성 및 네트워크 환경과 동일한 조건에서 수행되었으며, 네트워크는 물리 NIC 기준으로 순간 최대 속도가 초당 10메가비트 이하에 불과했으며, 이는 10기가비트 링크 용량의 0.1% 미만이다. 따라서 본 실험 규모에서는 네트워크가 병목으로 작용하지 않았고, 두 방식의 성능 차이는 통신 대기보다는 파이프라이닝에 따른 작업 중첩과 GPU 자원 활용 효율에서 비롯된 것이다.채굴자와 학습 노드의 구성, 학습 노드 수의 분포, PoS 기반 블록 생성 구조 역시 일관되게 유지되었다.

비교 실험은 10회의 로컬 학습 후 1회의 블록 생성을 수행하는 라운드를 기준으로 총 20회를 반복하는 방식으로 설계되었으며, 모델은 ResNet-18을, 데이터셋은 SVHN과 CIFAR-10을 각각 적용하였다. 모든 실험 조건을 동일하게 설정한 상태에서, 파이프라이닝 구조의 적용 여부에 따른 성능 차이를 정량적으로 분석하였다.

그림 5와 그림 6은 각각의 데이터셋에서 파이프라이닝 구조의 적용 전후에 따른 정확도 수렴 속도를 비교한 결과이다. 실험 결과, 두 방식 모두 유사한 수렴 속도를 보였으며, 이는 파이프라이닝 구조가 학습의 안정성이나 정확도에 부정적인 영향을 미치지 않음을 의미한다. 즉, 학습 품질을 유지하면서도 처리 성능을 향상시킬 수 있는 구조임을 실험적으로 확인할 수 있었다.

Fig. 5.

Test Accuracy Comparison on SVHN dataset.

Fig. 6.

Test accuracy comparison on CIFAR-10 dataset.

한편, 표 1은 동일 조건에서 측정된 블록 생성 시간의 평균을 비교한 결과를 나타낸다. 실험 결과, 파이프라이닝 구조를 적용하였을 때 블록 생성 주기가 SVHN 데이터셋에서는 약 26%, CIFAR-10 데이터셋에서는 약 41% 단축된 것으로 나타났다. 이는 병렬 처리 구조를 통해 GPU 유휴 시간을 줄이고, 전체 시스템 자원을 보다 효율적으로 활용한 결과로 해석할 수 있다.

Table 1.

Performance analysis with Pipelining integration

특히 데이터 크기가 크거나 모델의 연산 복잡도가 높은 환경에서는, 이와 같은 구조적 최적화가 전체 학습 처리 시간을 단축하게 하는 데 큰 효과를 발휘할 수 있다. 따라서 파이프라이닝 기법은 향후 대규모 연합학습 시스템에서 성능을 극대화하기 위한 핵심 구성 요소로 활용될 수 있을 것으로 기대된다.