데엔과 데싸의 차이점은 뭘까요?
- 데엔분들은 무조건 입어야되는 팬티느낌이면 데싸분들은 마지막에 차는 명품 시계 느낌인데... 아닌가요?
어떻게 하면 데엔 신입이나 경력으로 갈 수 있을까요?
- 여기에 데엔 관련되어서 신입이나 경력 어떻게 하면 뽑히냐는 질문은 주기적으로 계속 올라오는데요. 결국 일을 할 사람을 뽑는다라는 기준에서 시작되고 IT 전반적인 업무를 해야하는 데엔 직무상 성장 가능성이 높은 사람을 뽑는다 입니다. 제가 농담 삼아 하는 말도 결국은 IT에 대한 흥미 열정 센스를 보는 것입니다. 사실 면접관 입장으로 이것 이외에는 명확한 설명은 어렵습니다. 대신 최소한 제 주변 비슷한 연배들도 대동소이한 기준을 가지고 있는데 질문 방식이 좀 틀릴뿐이죠. CS 기초 이런것도 결국 센스를 보는 연장선상입니다. 이러다 보면 코딩은 0점이더라도 커뮤니케이션 능력 및 문제해결능력을 보고 뽑는 케이스도 있고 코딩이 100점이더라도 시험에만 특화되어진 느낌이 들면 떨어지기도 하죠. 지금 이방의 면접관 위치의 분들도 여러가지 자신만의 방법으로 옥석을 가리는 능력이 있으실겁니다. 당장 2~3년만 일하고 말것이 아니라면 장기전을 대비하는 것이 좋습니다. 결국 데이터 엔지니어라는 것은 서버 부터 시각화 까지 모든 스택을 이해하는 사람을 요구하기 때문입니다. 어떤 주니어도 모든 스택을 경험하고 오긴 불가능하죠. 그러니 데엔 면접관은 가능성을 보고 뽑는겁니다. 테슬라 주식과 비슷하죠 ㅎㅎㅎ
Spark을 공부하기 위한 책 혹은 링크를 추천해주실 수 있을까요?
어떻게 DE로 일을 시작하게 됐나요?
데이터 전처리를 하다가 넘어오는 경우
백앤드 개발에서 넘어오는 경우
답변1
백엔드 개발을 하게되면 필연적으로 RDB를 다루게 되고 그 과정에서 데이터 엔지니어링 기술스택을 확장하는 경우가 많습니다. 예를 들면 RDB에 적재된 데이터를 HDFS상으로 덤프를 한다거나 (지원팀이 있으면 좋겠지만 보통은 담당팀에서 이정도까지는 하죠..), 백엔드로 들어오는 이벤트를 Kafka 클러스터로 쏴주는 등.. 그래서 저는 항상 처음부터 데이터 엔지니어 커리어로 시작하는 것보다는 상대적으로 수요가 더 많은 백엔드 엔지니어로 시작하는 것을 권유하는 편입니다
데이터 엔지니어라고 백엔드 개발 안하는 것도 아니고요 (하둡 관련 지원팀이라면 고객팀이 사용할 Admin 정도는 자체 개발해서 지원하는 경우가 많겠죠) 상대적으로 백엔드로 시작해서 데이터 엔지니어링 확장은 쉽지만, 데이터 엔지니어로 시작한 분들은 백엔드 개발 스택 확장하는 것이 조금 더 어렵다고 생각하고요 (개인 견해입니다)
난 무조건 데이터 엔지니어로 취업하겠어가 아니라 조금 더 유연하게 생각했으면 하는 바람에 좀 길게 적어봤습니다