아파치 카프카

아파치 카프카(Apache Kafka)는 아파치 소프트웨어 재단이 스칼라로 개발한 오픈 소스 메시지 브로커 프로젝트이다. 이 프로젝트는 실시간 데이터 피드를 관리하기 위해 통일된, 높은 처리량, 낮은 지연시간을 지닌 플랫폼을 제공하는 것이 목표이다. 요컨대 분산 트랜잭션 로그로 구성된^[4], 상당히 확장 가능한 pub/sub 메시지 큐로 정의할 수 있으며, 스트리밍 데이터를 처리하기 위한 기업 인프라를 위한 고부가 가치 기능이다.

아파치 카프카^[1]

개발자	아파치 소프트웨어 재단
발표일	2011년 1월(14년 전)(2011-01)[2]
안정화 버전	3.9.0[3]  / 2024년 11월 6일
저장소	github.com/apache/kafka
프로그래밍 언어	스칼라
운영 체제	크로스 플랫폼
종류	메시지 브로커
라이선스	아파치 라이선스 2.0
상태	지원 중
웹사이트	kafka.apache.org/

디자인은 트랜잭션 로그에 많은 영향을 받았다.^[5]

역사

아파치 카프카는 원래 링크드인이 개발한 것으로, 2011년 초에 최종적으로 오픈 소스화되었다. 2012년 10월 23일에는 아파치 인큐베이터로부터 완전히 빠져나왔다. 2014년 11월 링크드인에서 카프카를 만들던 일부 엔지니어들이 카프카에 집중하기 위해 Confluent라는 새로운 회사를 창립하였다.^[6]

카프카를 사용하는 기업

다음은 카프카를 사용하고 있는 저명한 기업 목록이다:

• 애플^[7]
• Betfair^[8]
• 시스코 시스템즈^[9]
• Cloudflare^[10]
• Conviva^[11]
• 카카오^[12]
• 이베이^[13]
• Hyperledger Fabric^[14]
• HubSpot^[15]
• 넷플릭스^[16]
• 뉴욕 타임스^[17]
• 페이팔^[18]
• 핀터레스트^[19]
• 세일즈포스닷컴^[20]
• Shopify^[21]
• 스포티파이^[22]
• 티켓마스터^[23]
• Uber^[24]
• 월마트^[25]
• Yelp^[26]
• 플립카트^[27]

같이 보기

• 아파치 스파크 스트리밍
• 데이터 분산 서비스
• 메시지 지향 미들웨어
• 서비스 지향 아키텍처

각주

1. Repository Mirror at GitHub
2. “Open-sourcing Kafka, LinkedIn's distributed message queue”. 2016년 10월 27일에 확인함.
3. “Release 3.9.0”. 2024년 11월 6일. 2024년 11월 20일에 확인함.
4. Monitoring Kafka performance metrics, Datadog Engineering Blog, accessed 23 May 2016/
5. The Log: What every software engineer should know about real-time data's unifying abstraction, LinkedIn Engineering Blog, accessed 5 May 2014
6. Primack, Dan. “LinkedIn engineers spin out to launch 'Kafka' startup Confluent”. 《fortune.com》. 2015년 2월 10일에 확인함.
7. “Kafka Summit London”.
8. “Exchange Market Data Streaming with Kafka”. 《betsandbits.com》. 2016년 5월 28일에 원본 문서에서 보존된 문서.
9. “OpenSOC: An Open Commitment to Security”. 《Cisco blog》. 2016년 2월 3일에 확인함.
10. “More data, more data”. 2018년 10월 21일에 원본 문서에서 보존된 문서. 2018년 10월 21일에 확인함.
11. “Conviva home page”. 《Conviva》. 2017년 2월 28일. 2017년 6월 2일에 원본 문서에서 보존된 문서. 2017년 5월 16일에 확인함.
12. Doyung Yoon. “S2Graph : A Large-Scale Graph Database with HBase”.
13. “Kafka Usage in Ebay Communications Delivery Pipeline”.
14. “Cryptography and Protocols in Hyperledger Fabric” (PDF). January 2017. 2017년 7월 2일에 원본 문서 (PDF)에서 보존된 문서. 2017년 5월 5일에 확인함.
15. “Kafka at HubSpot: Critical Consumer Metrics”. 2018년 11월 19일에 원본 문서에서 보존된 문서. 2018년 10월 21일에 확인함.
16. Cheolsoo Park and Ashwin Shankar. “Netflix: Integrating Spark at Petabyte Scale”.
17. Boerge Svingen. “Publishing with Apache Kafka at The New York Times”. 2017년 9월 17일에 원본 문서에서 보존된 문서. 2017년 9월 19일에 확인함.
18. Shibi Sudhakaran of PayPal. “PayPal: Creating a Central Data Backbone: Couchbase Server to Kafka to Hadoop and Back (talk at Couchbase Connect 2015)”. 《Couchbase》. 2016년 9월 17일에 원본 문서에서 보존된 문서. 2016년 2월 3일에 확인함.
19. Boyang Chen of Pinterest. “Pinterest: Using Kafka Streams API for predictive budgeting”. 《medium》. 2018년 2월 21일에 확인함.
20. Alexey Syomichev. “How Apache Kafka Inspired Our Platform Events Architecture”. 《engineering.salesforce.com》. 2018년 2월 1일에 확인함.
21. “Shopify - Sarama is a Go library for Apache Kafka”.
22. Josh Baer. “How Apache Drives Spotify's Music Recommendations”.
23. Patrick Hechinger. “CTOs to Know: Meet Ticketmaster's Jody Mulkey”. 2018년 10월 21일에 원본 문서에서 보존된 문서. 2018년 10월 21일에 확인함.
24. “Stream Processing in Uber”. 《InfoQ》. 2015년 12월 6일에 확인함.
25. “Apache Kafka for Item Setup”. 《medium.com》. 2017년 6월 12일에 확인함.
26. “Streaming Messages from Kafka into Redshift in near Real-Time”. 《Yelp》. 2017년 6월 3일에 원본 문서에서 보존된 문서. 2017년 7월 19일에 확인함.
27. “Near Real Time Search Indexing at Flipkart”.^{[깨진 링크(과거 내용 찾기)]}

외부 링크

• 위키미디어 공용에 아파치 카프카 관련 미디어 분류가 있습니다.
• 아파치 카프카 - 공식 웹사이트