STRAIT(3) _ Self-DiagnosisSTRAIT(2) _ BIST(Built-In Self Test)STRAIT(1) _ AI 가속기의 자가 테스트 및 복구 기술이번 포스팅은『STRAIT: Self-Test and Self-Recovery Architecture for Systolic-Array-Based AI Accelerators』 논문을 바탕으로 제작되었습니semicon-circuit.tistory.comSystolic Array 기반 AI 가속기에서는 수천 개의 PE(Processing Element)가 고속 병렬 연산을 수행합니다. 하지만 그 중 일부가 고장나면 전체 연산에 영향을 줄 수 있기 때문에, 결함 복구(Self-Recovery) 기술이 필수적입니다. STRAIT는 Built..

STRAIT(2) _ BIST(Built-In Self Test)STRAIT(1) _ AI 가속기의 자가 테스트 및 복구 기술이번 포스팅은『STRAIT: Self-Test and Self-Recovery Architecture for Systolic-Array-Based AI Accelerators』 논문을 바탕으로 제작되었습니다. 최근 AI 가속기의 신뢰성semicon-circuit.tistory.com지난 포스팅에서는 자가 테스트 진행 방법을 알아보았습니다. 이번에는 자가 진단 방법에 대해 알아보고, 결함 유형과 진단 논리 구조에 대해서 다룹니다. 결함 위치에 따른 유형 STRAIT에서는 PE 내부의 결함이 위치에 따라 서로 다른 방식으로 영향을 미칩니다. 이 차이를 기반으로 결함을 Local / R..

STRAIT(1) _ AI 가속기의 자가 테스트 및 복구 기술이번 포스팅은『STRAIT: Self-Test and Self-Recovery Architecture for Systolic-Array-Based AI Accelerators』 논문을 바탕으로 제작되었습니다. 최근 AI 가속기의 신뢰성과 안전성이 중요해지면서, Systolic Array 기반 AIsemicon-circuit.tistory.com지난 포스팅에서 STRAIT의 개념, 구조를 살펴보았습니다. 이번 포스팅에서는 세부적으로 자가 테스트 과정을 살펴봅니다. Test Process With Scan Chain 자가 테스트는 Scan Chain을 활용하여 이루어집니다. 여기서 Scan Chain이란, 내부 레지스터를 직렬로 연결하여 결함 테..

이번 포스팅은『STRAIT: Self-Test and Self-Recovery Architecture for Systolic-Array-Based AI Accelerators』 논문을 바탕으로 제작되었습니다. 최근 AI 가속기의 신뢰성과 안전성이 중요해지면서, Systolic Array 기반 AI 가속기 내부 결함을 스스로 테스트하고 복구하는 기술이 주목받고 있습니다. 특히 고장난 PE(Processing Element)를 실시간으로 진단하고, 재구성할 수 있는 STRAIT 구조는 AI 하드웨어의 내구성과 효율성을 크게 향상시킬 수 있는 핵심 기술입니다. 이번 포스팅에서는 STRAIT(Self-Test and Self-Recovery Architecture) 구조의 핵심 개념과 동작 원리, 기존 방식의 ..

AI 가속기(4) _ Systolic Array의 성능 개선: Tiling, On-Chip Buffer, BandwidthAI 가속기(3) _ Systolic Array의 성능 개선: Loop Unrolling, Data FlowAI 가속기(1) _ Systolic Array대규모 딥러닝 모델의 연산 성능을 끌어올리기 위한 하드웨어 설계가 치열하게 전개되고 있습니다. 특히, Googlesemicon-circuit.tistory.comSystolic Array는 병렬성과 데이터 재사용에 최적화된 구조로, DNN 연산을 빠르게 처리할 수 있는 하드웨어 가속기입니다. 하지만 단순한 구조만큼이나 설계의 유연성이 제한되고, 다양한 AI 워크로드를 처리하기 위한 확장성이나 최적화가 쉽지 않다는 단점도 존재합니다. ..

AI 가속기(3) _ Systolic Array의 성능 개선: Loop Unrolling, Data FlowAI 가속기(2) _ WorkloadsAI 가속기(1) _ Systolic Array대규모 딥러닝 모델의 연산 성능을 끌어올리기 위한 하드웨어 설계가 치열하게 전개되고 있습니다. 특히, Google TPU를 시작으로 각광받기 시작한 Systolsemicon-circuit.tistory.comSystolic Array의 성능을 개선하는 방법으로 loop unrolling과 dataflow를 조정하는 것 외에도 Tiling, On-Chip Buffer과 Bandwidth 최적화를 통한 방법이 있습니다. Array Size와 Tiling Array Size는 Systolic Array 내부의 PE의 행 ..

AI 가속기(2) _ WorkloadsAI 가속기(1) _ Systolic Array대규모 딥러닝 모델의 연산 성능을 끌어올리기 위한 하드웨어 설계가 진행되고 있습니다. 특히, Google TPU를 시작으로 각광받기 시작한 Systolic Array 기반 구조는 높은 병렬semicon-circuit.tistory.comAI 가속기 포스팅을 이어서 진행합니다. 이번 포스팅에서는 AI 가속기 구조인 Systolic Array의 성능을 개선하기 위한 방안을 다룹니다. Systolic Array 기반 DNN 가속기에서 성능을 높이기 위한 가장 중요한 설계 포인트 중 하나는 loop unrolling과 data flow 전략입니다. 이 글에서는 이 두 개념을 실제 알고리즘 구조와 연산 타이밍에 맞춰 상세히 살펴..

AI 가속기(1) _ Systolic Array대규모 딥러닝 모델의 연산 성능을 끌어올리기 위한 하드웨어 설계가 진행되고 있습니다. 특히, Google TPU를 시작으로 각광받기 시작한 Systolic Array 기반 구조는 높은 병렬성과 데이터 재사용 효율semicon-circuit.tistory.com지난 포스팅에 이어 이번 글에서는 Systolic Array에서 처리하는 Workload에 대해 소개합니다.먼저, Workload란 시스템이 수행해야 하는 작업의 양 또는 작업의 유형을 의미합니다. 즉, 컴퓨터 시스템, 서버, 하드웨어 또는 AI 가속기 등이 처리하는 연산 작업의 묶음을 뜻합니다.AI 가속기의 관점에서 Workload는 딥러닝 모델이 실제로 수행하는 연산 단위를 의미합니다. 예를 들어, ..

대규모 딥러닝 모델의 연산 성능을 끌어올리기 위한 하드웨어 설계가 진행되고 있습니다. 특히, Google TPU를 시작으로 각광받기 시작한 Systolic Array 기반 구조는 높은 병렬성과 데이터 재사용 효율 덕분에 주목받고 있습니다. 이번 포스팅에서는 『A Survey of Design and Optimization for Systolic Array-based DNN Accelerators』 논문을 바탕으로, 이러한 구조의 핵심 설계 포인트와 최적화 전략을 정리해보려 합니다.또한, 해당 논문을 기반으로 진행하고 있는 Systolic Array 및 내부 오류 검출 구조의 설계 상황을 공유할 예정입니다. AI 연산의 기초: 행렬 곱셈 딥러닝 모델은 수많은 행렬 연산을 통해 구성됩니다. 특히 합성곱 신경..

2025.02.24~2025.02.25 2일간 한양대학교에서 진행된 Smart Semiconductor Academy에 참석하여 인공지능과 인공지능 반도체에 대한 강의를 들었습니다. 이번 포스팅에서는 이 강연에 대해 정리하며, 추가적으로 학습한 내용을 정리합니다. 포스팅 내용 중 오류가 있다면 댓글로 남겨주시길 바랍니다!AI 기술의 현재, 미래이동수 네이버 이사님이동수 네이버 이사님께서 진행해주신 강연의 주요 내용은 AI 기술의 역사적 흐름과 LLM의 확장, AI 아키텍쳐의 변화 등을 담고 있었습니다.  딥러닝 혁명 2012년, AlexNet이 이미지넷 대회에서 압도적인 성능으로 우승을 차지하며 딥러닝 시대를 개막했습니다. 이전까지 AI는 컴퓨터 비전, 자연어 처리 등 각 분야에 특화된 서로 다른 모델을..