Product Operations Specialist (AI Evaluation)
Software Engineering, Product, Operations, Data Science
Posted on Aug 3, 2026
토스증권 Affiliation
계약직
합류하게 될 팀에 대해 알려드려요
- AI·자동화 기술로 토스증권의 제품과 업무를 더 똑똑하게 만드는 팀이에요
- 토스증권의 여러 AI 제품이 고객에게 정확하고 신뢰할 수 있는 경험을 제공하도록, 전사 AI 평가(AI Evaluation) 체계를 만들고 운영하고 있어요.
- 각 조직이 자신의 AI 제품을 스스로 평가하고 개선할 수 있도록 평가 플랫폼, 평가 데이터, 가이드를 제공하는 것이 미션이에요.
합류하면 함께 할 업무예요
- AI 평가의 기준이 되는 골든셋(golden set)을 만들어요. 평가 목적에 맞는 질문·정답 데이터를 수집하고 정제하며, 서비스와 시장 상황의 변화에 맞춰 지속적으로 업데이트해요.
- 평가 가이드(evaluation guide)를 관리해요. 각 조직이 AI 평가를 수행할 때 참고하는 평가 기준·프로세스 문서를 만들고, 실제 평가 사례에서 나온 배움을 가이드에 반영해 개선해요.
- 평가에 사용되는 데이터를 꼼꼼하게 검수해요. AI가 생성한 결과물과 평가 데이터의 오류를 찾아 분류하고, 검수 결과를 엔지니어에게 피드백하여 모델과 제품의 고도화를 도와요.
- 각 조직의 AI 평가 실행을 지원해요. 평가 플랫폼을 활용해 평가가 원활하게 진행되도록 돕고, 반복되는 평가·검수 업무를 효율화할 방안을 엔지니어와 함께 고민하고 실행해요.
이런 분과 함께하고 싶어요
- LLM, AI 등에 대한 기초적인 이해가 있고, 새로운 개념을 적극적으로 배우려는 의지가 있는 분이 필요해요.
- '정확함'과 '꼼꼼함'이 무기이신 분이 필요해요. 평가의 신뢰도는 데이터의 품질에서 나오는 만큼, 텍스트와 숫자의 작은 오류도 놓치지 않는 디테일한 업무 수행 능력이 중요해요.
- 새로운 툴을 학습하는 데 거부감이 없고 빠르게 습득하실 수 있는 분이 필요해요. 사내 AI 평가 플랫폼과 다양한 AI 도구를 다루게 돼요.
- AI evaluation에 대한 지식이나 경험(골든셋 구축, LLM 평가, 데이터 라벨링·검수 등)이 있는 분이면 더 좋아요.
- 운영 관점에서 개선방안을 끊임없이 고민하실 수 있는 분이면 더 좋아요. 효율적인 프로세스를 고민하고 실행하는 즐거움을 아시는 분을 선호해요.
이력서는 이렇게 작성하시는 걸 추천해요
- 토스증권과 Product Operations Specialist에 지원한 동기를 알려주세요.
- 담당해오신 프로젝트 별 문제 정의-가설 수립-액션 및 검증-결과를 명확히 기재해 주세요.
- 해오신 업무의 단순 나열이 아닌 임팩트 및 러닝 포인트를 적어주신다면 강점이 돋보일 거예요.
토스증권으로의 합류여정
- 서류접수 > 직무 인터뷰 > 문화적합성 인터뷰 > 최종합격 및 입사
꼭 확인해주세요
- 해당 포지션은 계약직 채용으로 계약기간은 1년이에요.
- 이력서 및 제출 서류에 허위 사실이 발견되거나 근무 이력 중 징계사항이 확인될 경우, 채용이 취소될 수 있어요.
- 토스증권 내규에 따라 채용금지자 또는 결격사유 해당자는 채용이 취소될 수 있어요.
- 장애인 및 국가보훈대상자는 지원 시 관련법에 따라 우대하고 있어요.