AI 음식 인식은 얼마나 정확할까? 기대할 수 있는 수준

2026년 4월 게시

AI 기반 식사 사진 기록은 음식 데이터베이스를 직접 검색하는 것보다 훨씬 빨라요. 하지만 바꾸기 전에 흔히 드는 의문이 있어요. 실제로 얼마나 정확할까요? 솔직한 답은 무엇을 먹는지, 어떻게 찍는지에 따라 달라진다는 거예요. 이 기술이 할 수 있는 것과 할 수 없는 것을 알려 드릴게요.

음식 인식 AI: 기술이 작동하는 방식

음식 인식 AI는 접시에 적용한 컴퓨터 비전이에요. 라벨이 붙은 음식 이미지로 학습한 모델이 사진 속에 무엇이 있는지 식별하고 그 양을 추정해요. 같은 종류의 모델이 소비자용 칼로리 앱과, 레스토랑, 병원, 건강 플랫폼이 기반으로 삼는 상용 음식 인식 API를 움직여요. 모든 구현은 같은 다섯 단계를 거쳐요.

• 감지. 모델이 이미지에서 음식이 있는 영역을 찾아내고, 접시, 테이블, 배경과 구분해요.
• 분할. 각 음식 영역을 개별 항목으로 나눠요. 그래서 볶음 요리는 하나의 덩어리가 아니라 단백질, 채소, 밥, 소스로 나뉘어요.
• 분류. 각 부분을 모델이 학습한 음식 범주와 대조해요. 지금은 믿을 만한 단계예요. 최신 모델은 수천 가지 요리를 인식해요.
• 부피와 양 추정. 모델은 접시, 수저 또는 다른 기준 물체와 비교한 겉보기 크기로 각 음식이 얼마나 있는지 추론해요. 오류의 거의 전부가 분류가 아니라 이 단계에서 나와요.
• 영양 조회. 식별된 각 음식은 추정 분량에 맞게 조정되고 칼로리와 다량 영양소 값과 연결돼요.

식사 사진을 찍으면 AI 비전 모델이 이미지를 분석해서 개별 음식을 식별해요. 모양, 색, 질감, 맥락을 보고 접시에 무엇이 있는지 판단해요. 음식이 식별되면 접시, 식기, 화면 속 다른 기준물에 비해 각 음식이 보이는 크기 같은 시각적 단서로 1회 제공량을 추정해요.

이 추정치를 바탕으로, 인식된 음식의 영양 수치를 이용해 칼로리와 영양소를 계산해요. 전체 과정은 보통 몇 초 걸려요.

얼마나 정확한가요?

흔하고 눈에 잘 보이는 식사라면 AI 음식 인식은 꽤 정확해요. 닭 가슴살, 밥, 찐 채소가 담긴 접시가 AI가 잘하는 식사예요. 각 재료가 보이고, 양을 가늠할 수 있고, 모델이 여러 번 본 음식이니까요. 추정치가 얼마나 가까운지는 누구도 솔직하게 하나의 퍼센트로 줄여 말할 수 없어요. Annals of Medicine의 2023년 체계적 문헌고찰은 14,059건의 논문을 걸러 2010년부터 2023년 사이에 발표된 52건을 골랐고, 그 안에서 칼로리의 평균 상대 오차가 0.1%에서 38.3%까지 다양하다는 것을 확인했어요. 음식 이미지 데이터베이스와 보고된 결과가 메타분석을 하기에는 너무 달라서 저자들은 이 연구들을 하나의 수치로 합칠 수 없었어요. 이 문헌고찰이 확실히 밝힌 것은 방향이에요. 단일 음식이나 단순한 음식의 이미지에서는 오차가 더 낮았어요.

섞인 요리에서는 정확도가 떨어져요. 스튜, 캐서롤, 카레 한 그릇에는 일부 또는 전부 가려진 재료가 들어 있어요. AI는 어떤 요리인지는 알아볼 수 있어도 안에 무엇이 들었는지는 볼 수 없어서, 냄비에 실제로 든 재료보다 일반적인 레시피에 더 많이 기대어 추정해요. 오차 범위가 넓어져요.

소스, 기름, 드레싱은 늘 어려워요. 올리브유를 두른 샐러드와 가벼운 비네그레트를 뿌린 샐러드는 사진에서 거의 똑같아 보여요. 둘 사이의 칼로리 차이는 상당할 수 있어요. 볶기 전에 팬에 넣은 식용유는 완성된 사진에는 전혀 보이지 않아요.

영양 성분표가 있는 포장 식품은 직접 입력이나 바코드 스캔이 더 알맞아요. 특정 브랜드 요거트 200 g에는 정확하게 알려진 영양 정보가 있어요. 정답이 포장지에 인쇄돼 있는데 AI 추정을 쓰면 불필요한 불확실성만 생겨요.

정확도에 영향을 주는 요인

어떤 사진에서든 AI가 얼마나 잘 작동하는지는 몇 가지 실용적인 요인에 영향을 받아요.

• 조명. 밝은 곳에서 찍은 사진은 모델이 활용할 시각 정보가 더 많아요. 조명이 나쁘면 질감이 뭉개지고 색 정확도가 떨어져서 음식을 정확히 알아보기 어려워져요.
• 각도. 위에서 내려다본 사진(접시 바로 위)이 대체로 가장 좋은 결과를 내요. 옆에서 찍으면 다른 음식 뒤의 음식이 가려지고 양 추정의 신뢰도가 떨어질 수 있어요.
• 음식 배치. 접시에 음식이 구분된 상태로 펼쳐져 있으면 쌓여 있거나 섞여 있을 때보다 분석하기 쉬워요. 여러 가지를 먹는다면 촬영하기 전에 펼쳐 놓는 것이 도움이 돼요.
• 기준이 되는 물체. 접시 가장자리, 포크, 그 밖에 익숙한 물체를 화면에 함께 담으면 모델이 양의 크기를 가늠하는 데 도움이 돼요. 닭고기 한 조각은 포크 옆에 있을 때와 아무것도 없을 때 크기가 매우 다르게 보여요.

섞인 식사는 단일 음식보다 어려워요

밥과 브로콜리 옆의 구운 닭 가슴살은 경계가 뚜렷한 별개의 세 형태예요. 카레, 스튜, 캐서롤, 버무린 샐러드는 재료가 겹치고, 서로를 가리고, 밀도도 제각각인 하나의 덩어리예요. AI는 후자를 훨씬 덜 정확하게 추정하고, 이것이 사진 추정치가 가까울지를 예측하는 가장 큰 단일 요인이에요.

Annals of Medicine의 2023년 체계적 문헌고찰은 2010년부터 2023년까지 발표된 연구 52건을 다루며, 칼로리의 평균 상대 오차가 0.10%에서 38.3%까지 걸쳐 있다고 밝혔고, 오차가 “여러 음식이 있는 이미지보다 단일 음식 이미지에서 더 작은 경향이 있었다”고 보고했어요. 어려운 경우도 직접 짚어요. “혼합 요리(카레 등)나 높이가 다양하고 서로 겹치거나 경계가 불분명한 여러 음식이 담긴 접시가 담긴 이미지는 분류나 분할 오류의 위험이 더 높다”고 해요. 검토된 연구 전체에서 부피 추정 오차가 가장 낮은 22건 중 68%는 단일 음식 이미지였어요.

2024년 IEEE Journal of Biomedical and Health Informatics에 실린 GPT-4V 분석은 무게를 잰 기준 식사와 비교해 이 격차를 수치로 보여 주었어요. 음식 하나씩 추정했을 때 32개 항목에서 평균 절대 칼로리 오차는 69.2 kcal이었어요. 식사 전체를 추정했을 때 10회 식사에서 151.2 kcal로 약 두 배였어요. 원인은 오차가 누적되는 데 있어요. 오차의 가장 큰 원인은 분량이고, 여러 재료가 섞인 요리는 구성 요소마다 따로 섭취량을 판단해야 하며 각각 자기 오차를 안고 있어요.

이 부분은 아직 확실하지 않아요. Nutrients에 실린 2025년 연구는 음식 195종을 분석해서 재료 수와 오차 사이에 약한 상관관계(r이 0.37 이하)만 있다는 것을 발견했고, 구성 요소 수가 결정적인 요인은 아니라고 결론지었어요. 솔직하게 정리하면 재료 수보다 눈으로 구분되는지가 더 중요해요. 뚜렷하게 나뉜 음식 여섯 가지가 담긴 접시가 세 가지가 뒤섞인 그릇보다 인식하기 쉬워요.

실제로는 어떤 의미인가요

• 섞기 전에 촬영하세요. 비빈 그릇이 아니라 구성 요소가 아직 구분되어 있을 때 찍으세요.
• 섞인 식사는 가능하면 사진 두 장으로 나누세요. 개별 추정 두 개가 합친 추정 하나보다 나아요.
• 섞이거나, 소스가 얹히거나, 겹겹이 쌓인 음식은 추정치를 직접 고치세요. 지방은 모든 연구에서 가장 일관되게 과소추정되는 영양소이고, 소스에 든 기름은 사진에서 보이지 않아요.
• 집에서 만든 스튜와 카레는 최악의 경우로 보고, 식사가 중요할 때는 사진이 아니라 재료로 기록하세요.

무엇과 비교해서요?

유용한 비교는 AI와 완벽한 수치가 아니라, AI와 그 식사를 달리 기록할 때의 방식이에요. 그것도 부정확하니까요.

Nutrients에 실린 2018년 연구에서는 영양 전문가 38명에게 음식 이미지를 보고 분량을 추정하게 했어요. 접시 추정치 중 실제로 잰 양의 10% 이내였던 것은 23.7%뿐이었고, 평균 절대 백분율 차이는 47.6%였어요. CVPR 2021에서 발표된 Nutrition5k 연구는 약 5,000개 요리 데이터셋과 함께 더 작은 규모의 사람 검증을 진행했어요. 데이터셋 평균보다 단순한 요리 10개를 영양사 4명과 일반인 16명이 평가했는데, 영양사는 평균 41%, 일반인은 53% 오차를 보였어요. 이는 유리한 표본에서 본 대략적인 규모로 받아들이고, 전체 인구에 대한 추정치로 보지는 마세요.

수기 앱 기록에도 나름의 편향이 있지만, 헤드라인 수치가 시사하는 것보다는 작아요. Advances in Nutrition에 실린 2021년 메타분석은 식사 기록 앱을 다룬 11건의 연구를 종합했고, 평균적으로 하루 에너지 섭취량이 202 kcal 낮게 추정된다는 것을 발견했어요(95% CI: 319~85 kcal). 이 차이의 대부분은 기록 방식이 아니라 식품 성분표에서 비롯돼요. 앱과 기준 방법이 같은 성분표를 쓴 경우 합산된 부족분은 하루 57 kcal로 줄었고(95% CI: 116 kcal 부족~2 kcal 초과), 연구 간 이질성은 0으로 떨어졌어요. 2,000 칼로리를 먹는 날 기준으로 3% 미만이므로, 일치하는 데이터베이스를 기준으로 꼼꼼하게 직접 입력하는 방식이 실제로 더 정확해요.

그래서 복합 요리의 사진 추정은 정밀하지 않고, 같은 접시를 보는 영양사도 마찬가지예요. 정확도에서는 신중한 수동 입력이 둘 다 앞서지만, 계속하느냐에서는 둘 다에게 져요. 사진 기록이 바꾸는 것은 정확도가 아니라 그 식사를 아예 기록하느냐이고, 고칠 수 있는 추정치가 있는 기록된 식사가 기록되지 않은 식사보다 나아요.

정확도 주장은 의심해 보세요

여러 사이트가 칼로리 앱의 정확도를 그럴듯한 수치로 게시하고, 일부는 존재하지 않는 연구와 DOI를 인용해요. 실제 출시된 제품에 대해 동료 심사를 거쳐 발표된 검증을 가진 앱은 없어요. 저널 이름, 표본 크기, 방법론이 없는 수치는 마케팅으로 보세요. 우리도 마찬가지예요. 이 페이지의 수치는 자체 테스트가 아니라 독립적인 연구를 인용한 것이에요.

“대충 맞으면” 충분할까요?

대부분의 사람에게는 그래요. 두 자릿수의 오차 범위는 그것만 보면 커 보이지만 맥락이 중요해요.

직접 입력하는 데이터베이스 항목도 완벽하게 정확하지는 않아요. 사용자가 등록한 데이터베이스에는 오류가 있고, 1회 제공량 기준은 출처마다 다르며, 집에서 만든 음식은 데이터베이스 항목이 가정한 조리법과 정확히 맞는 경우가 드물어요. 집밥을 직접 기록할 때의 실제 정확도는 대부분 사람들이 생각하는 것보다 낮아요.

더 중요한 점은, 기록 목적에서는 정밀함보다 꾸준함이 더 중요하다는 거예요. AI 기반 트래커와 기존 데이터베이스 앱을 비교하고 있다면 VitaCal vs MyFitnessPal 비교에서 기록 방식의 실질적인 차이를 볼 수 있어요. 자주 먹는 어떤 식사를 AI가 계속 15% 어긋나게 추정하더라도, 기록한 섭취량은 상대적으로는 실제 섭취량을 그대로 반영해요. 주간 추세, 식단 변화에 대한 반응, 시간에 따른 진행 상황은 여전히 의미가 있어요. 기록의 목적은 인식을 키우고 패턴을 찾는 것이지, 모든 식사를 실험실 수준으로 측정하는 것이 아니에요.

기록을 무너뜨리는 것은 오차 범위가 아니에요. 기록이 너무 느리거나 힘들어서 습관을 포기하는 것이 기록을 무너뜨려요. AI 사진 기록은 바로 그 문제를 해결해요.

더 나은 결과를 얻는 방법

몇 가지 간단한 습관으로 AI 추정치의 품질을 높일 수 있어요.

• 기록을 확정하기 전에 AI가 식별한 내용을 확인하세요. 재료를 빠뜨렸거나 잘못 식별했다면 저장하기 전에 고칠 수 있어요.
• 좋은 조명에서 바로 위에서 사진을 찍으세요. 1초가 더 걸리지만 눈에 띄게 달라져요.
• 정확도가 중요한 식사는 한 접시 전체가 아니라 구성 요소를 따로따로 기록하세요. 그러면 모델이 항목마다 더 깔끔하게 분석할 수 있어요.
• 포장 식품은 수동 입력을 쓰세요. 영양 성분표가 있으면 그것을 쓰세요. AI 기록은 조리한 음식, 외식, 그리고 검색해야 하는 음식처럼 확실한 강점이 있는 식사에 쓰세요.

VitaCal의 접근 방식

사진 기록 기능을 제공하는 앱들을 비교한 내용은 AI 칼로리 트래커 사진 인식 앱 가이드를 참고하세요.

VitaCal은 무엇이든 기록하기 전에 AI가 사진에서 무엇을 인식했는지 정확히 보여줘요. 개별 음식, 추정 섭취량, 그에 따른 칼로리와 매크로를 확인할 수 있어요. 이상한 부분이 있으면 확정하기 전에 섭취량을 조정하거나 항목을 삭제할 수 있어요. 사용자가 검토하기 전에는 아무것도 기록되지 않아요.

AI 기록이 실제로 어떻게 작동하는지 보고 싶다면 VitaCal을 무료로 써 보세요. 무료 플랜에는 광고 없이 매주 AI 분석 5회가 포함돼요.