본문 바로가기

Dot Computer Science

실전 MSA 설계: 데이터 중심 기업별 전략 분석
Dot Computer Science/Distributed System 2023. 10. 3. 실전 MSA 설계: 데이터 중심 기업별 전략 분석 쿠팡 Core Serving Platform, 높은 처리량 낮은 지연으로 Realtime 데이터 서빙하기 e-Commerce 데이터 비즈니스 로직은 다양하고 복잡하다. 상품을 구입해서 직배송하는 형태로 로켓 배송, 프레시 등 다양한 비즈니스 존재한다. 그리고 이러한 다양한 데이터를 MSA 아키텍처 형태로 관리하고 있어서 각 서비스 별로 데이터 성격이 다르다. Catalog: 이미지, 타이틀 Pricing & Benefit: 가격 Stock & Fullfillment: 도착 보장 Review: 리뷰 Benefit: 적립, 혜택 각각의 데이터는 개인화되어있으며 실시간 변화하고 있다. 만약 상품을 보관하는 특정 HUB에 코로나 확진자가 발생한다면 해당 HUB을 닫고 해당 HUB에 있는 모든 상품의 재고 정보와..
분산 데이터베이스 탐구: 합의 알고리즘 (Paxos, Raft, PBFT, PoW)
Dot Computer Science/Distributed System 2023. 9. 24. 분산 데이터베이스 탐구: 합의 알고리즘 (Paxos, Raft, PBFT, PoW) 분산 데이터베이스 탐구: 합의 알고리즘 이전 글에서 분산 시스템에서 데이터 일관성 문제와 관련된 문제를 어떻게 해결하는 로컬 트랜잭션과 분산 트랜잭션, 충돌 회피 또는 충돌 감지 및 해결 다양한 전략을 공부해보았다. 이번 글은 그 연장선으로 합의 알고리즘에 대해서 다루려고 한다. 단일 노드와 분산 노드의 트랜잭션 단일 데이터베이스의 트랜잭션 단일 데이터베이스에서는 트랜잭션은 흔히 데이터베이스 엔진에서 구현되며, 이를 ACID 트랜잭션이라고 부른다. ACID 속성은 데이터베이스 시스템의 신뢰성과 무결성을 위한 기본 요소이다. 이는 원자성(A)뿐만아니라 WAL 로그를 통해 쓰기 지속성(D) 그리고 사용자 관점에서의 데이터 일관성(C)과 동시성 제어 메커니즘으로 고립성(I)을 구현한다. 이 속성은 트랜잭션이 ..
분산 데이터베이스 탐구: 데이터 복제와 일관성
Dot Computer Science/Distributed System 2023. 8. 25. 분산 데이터베이스 탐구: 데이터 복제와 일관성 분산 데이터베이스 탐구: 데이터 복제와 일관성 일관성에 관한 이야기는 분산 시스템과 데이터베이스 이론을 깊게 공부하면서 늘 블로그에 정리해보고 싶었던 부분이었다. 분산 시스템은 대규모 데이터 처리를 위해 필요한 환경이다. 이러한 분산된 시스템이 마치 하나의 결정론적 머신처럼 동작하기 위한 작업들이 필요하다. 이를 이뤄내는 과정에서 어떻게 데이터 일관성을 지켜나가는지에 대해 알아보고자 한다. 강한 일관성(Strong Consistency): 연산 후에 바로 모든 복제본이 같은 값을 가지고 있음을 보장한다. 최종 일관성(Eventual Consistency): 시간이 지나면 모든 복제본이 같은 값을 가진다는 것을 보장한다. 데이터 복제 데이터를 한 곳에만 보관하면 해당 시스템에 대한 의존도가 높아 운영에 어..
WebAssembly(WASM)와 WASI: 웹 브라우저 및 서버사이드 기술
Dot Computer Science/Concept 2023. 6. 23. WebAssembly(WASM)와 WASI: 웹 브라우저 및 서버사이드 기술 WASM, Web Assembly? WebAssembly(또는 Wasm)는 다양한 소스 언어에서 이식 가능한 바이너리 실행 파일을 생성할 수 있는 바이너리 명령 형식을 정의하는 개방형 표준이다. 이러한 바이너리는 다양한 환경에서 실행될 수 있다. 이는 웹에서 기원했으며 모든 주요 브라우저에서 지원된다. 서버, 엣지 어디에서든 Wasm를 사용하면 이전보다 portable하고 secure하게 프로그램을 실행할 수 있다. 재밌는 사실은 2019년 6월에 발표된 연구에 따르면 Alexa 상위 100만 개 웹 사이트 중 600개 사이트 중 하나가 Wasm 코드를 실행하였고, Wasm를 사용하는 사이트 중 50% 이상이 암호화폐 채굴과 같은 작업에 Wasm를 적용했다는 것이다. 장점 리소스 효율성 및 속도 우수함 ..
컨테이너 Container: Linux Kernel, Docker
Dot Computer Science/Concept 2023. 6. 22. 컨테이너 Container: Linux Kernel, Docker VM을 통한 서버 가상화 이전에 공부한 가상 메모리, Hypervisor를 활용한 가상화 기술 VM은 물리적 하드웨어 한계를 기술적으로 극복하여 최대한 효율적으로 사용할 수 있게 해주었다. VM이 서버의 리소스 효율성을 극대화 시키는 동안 OS 수준 가상화 컨테이너 기술 또한 계속 발전해왔다. 하드웨어를 가상화하는 VM과 달리 컨테이너는 OS를 가상화한다. 이는 컨테이너화된 각 애플리케이션이 호스트 시스템의 OS 커널을 공유하지만 격리된 사용자 공간에서 실행이 가능해진 것이다. OS와 커널의 어떤 기능을 활용해서 컨테이너 기술을 만들었는 지에 대해 공부해보았다. OS의 Dual-Mode Operation OS의 주요 기능 중 하나는 protection, 즉 보호 기능이다. 이를 통해 시스템의 안정성을 위..
가상 머신 VM: 가상 메모리, 메모리 관리 기법, Hypervisor
Dot Computer Science/Concept 2023. 5. 21. 가상 머신 VM: 가상 메모리, 메모리 관리 기법, Hypervisor 가상화 역사 메인프레임 시대(1960~70년대 초) 가상화 기술에 대한 발전은 IBM의 메인프레임에서 시작되었다. CP-67과 VM/370의 전신인 CP-40은 전가상화를 구현한 최초의 OS 중 하나였다. 목표는 값비싼 메인프레임 리소스를 최적화하고 동시에 단일 머신에서 여러 애플리케이션을 지원하고자 했다. CP-40: 전가상화의 초기 실험 중 하나였다. 여러 사용자 프로그램을 각각 자체 시뮬레이션 하드웨어 환경에서 동시에 실행할 수 있어, 기본적으로 단일 물리적 컴퓨터 내에서 여러 개의 System/360 메인프레임을 에뮬레이션할 수 있었다. CP-67: CP-67은 동적 주소 변환 하드웨어와 같은 추가 기능을 갖춘 System/360 하드웨어의 전가상화를 포함한 VM을 지원했으며, 이는 Model 6..
gRPC와 Protocol Buffer: 섀넌 정보이론, Serialization, RPC 동작 방식
Dot Computer Science/Network 2023. 4. 9. gRPC와 Protocol Buffer: 섀넌 정보이론, Serialization, RPC 동작 방식 소프트웨어 시스템이 계속 발전함에 따라 서비스 간의 효율적인 통신에 대한 필요성이 그 어느 때보다 중요해졌다. 이를 달성하기 위한 두 가지 인기 있는 접근 방식은 protocol buffer가 있는 gRPC와 JSON을 사용하는 REST API이다. 해당 글에서는 직렬화 및 마샬링의 기본 사항을 자세히 살펴보고 protocol buffer의 내부 및 외부를 살펴보고 성능, 확장성 및 유지 관리 측면에서 gRPC와 REST API를 비교해보고자 한다. 0. 섀넌 정보이론 프로세스간 통신 기법의 근간에는 섀넌 정보이론이 있다. 기존 전문가들은 통신의 문제를 물리적으로 풀려고만 하였고 잡음 문제 극복 등 문제의 본질을 파악하지 못해 초보적인 수준에 머물러있었다. 섀넌은 통신의 문제를 혁신적으로 바라보게 하였다..
[Architectural pattern] Active Record, Data Mapper 패턴
Dot Computer Science/Concept 2023. 1. 24. [Architectural pattern] Active Record, Data Mapper 패턴 객체는 '데이터'와 '행동'을 운반한다. 대부분의 데이터는 영구적이며 데이터베이스에 저장해야 한다. Active Record 패턴과 Data Mapper 패턴은 Martin Fowler: Patterns of Enterprise Application Architecture(2003)에서 지어진 이름이다. Active Record An object that wraps a row in a database table or view, encapsulates the database access, and adds domain logic on that data. - Patterns of Enterprise Application Architecture(2003) Active Record 패턴은 도메인 객체에 데이터 액..

티스토리툴바

티스토리툴바