版權聲明：

本文內容由阿里云實名注冊用戶自發(fā)貢獻，版權歸原作者所有，阿里云開發(fā)者社區(qū)不擁有其著作權，亦不承擔相應法律責任。具體規(guī)則請查看《 阿里云開發(fā)者社區(qū)用戶服務協(xié)議》和 《阿里云開發(fā)者社區(qū)知識產權保護指引》。如果您發(fā)現(xiàn)本社區(qū)中有涉嫌抄襲的內容，填寫 侵權投訴表單進行舉報，一經查實，本社區(qū)將立刻刪除涉嫌侵權內容。

一直以來，橫亙在減肥塑身的志士仁人面前的除了堅定的意志還有一道很難逾越的坎：每天的攝入熱量怎么算？

對于統(tǒng)計每天步數和大致熱量消耗的設備，我們有手環(huán)、watch、手機；但每天的熱量攝入，怎么計算呢？ 每次就餐帶上紙、筆、記算器，不太現(xiàn)實。用熱量計算app，需要手動輸入每樣食品吃了多少克，沒有廚房稱的幫助下，對大多數人來說，要感知50g和75g的區(qū)別比較困難。

當AI作為一個形容詞，幾乎可以應用在任何領域的時候，減肥這個領域，似乎還沒有被充分開墾。

iDST數據實驗室的算法同學，正致力于做一個小小的改變：

幫助用戶，通過拍一張照片，識別照片里包含的食材和對應的營養(yǎng)成份；通過選擇對應的份量，還可以算出大致熱量。

到目前為止，已實現(xiàn)對大部分常見的食物：中餐各式菜肴、面點、水果、飲料的識別，覆蓋了幾千種南北食材。目前，該模型已經上線內測，我們也會努力嘗試成為減肥界的一股清流。

ps，如果正在減肥的同學想搶先上手嘗試，請直接拉到頁面底部試用~

讓手機鏡頭，識別面前的每一種食物，輸出它們的營養(yǎng)、熱量和做法，我們是怎么做的？

一、數據收集和處理：

首先是大量的數據收集和知識庫的建設。
我們通過各類網站：搜索引擎、點評和外賣、淘寶商品和用戶評價、獲取了幾千萬張食物相關的圖片。
根據解析到的實體標簽以及映射到后臺的知識庫，把所有的圖片分成對應為后臺食材的3000個左右的葉子類。從實拍集和訓練效果的角度，保證每一個葉子類有至少2000張以上的訓練數據。

食材識別的難點在哪里？

與通常的圖像分類算法相比，通過拍照識別食材并估算熱量是一個異常艱巨的任務。因為烹調食品是一個復雜且漫長的過程，期間各種食材會經歷多種物理和化學甚至生物變化。

例如，刀工會使得食材發(fā)生物理變化。即使是標準的刀工，也會將原先的食材加工為片、丁、絲、條、茸、段、麥穗型、梳子型、菊花形、米狀、末等完全不同的形狀。即便是同樣的片狀，還會細分為指甲片、柳葉片、月牙片、骨牌片、象眼片、馬牙片、秋葉片等不同的模樣。形狀的多變無疑增加了識別的難度。

烹飪中的化學反應進一步增加了識別的難度。例如，隨著烹飪過程中化學反應的發(fā)生，食材的顏色通常會發(fā)生變化，有些食材的顏色會與烹飪之前有很大的反差。

有些食材例如蛋白質會從液態(tài)變?yōu)楣虘B(tài)，有些水溶性的食材會從固態(tài)變?yōu)橐簯B(tài)。涉及到發(fā)酵等生物反應的烹飪過程時，食材會進一步變的面目全非。

在實際的識別過程中，有些食材只露出小小的一角，而有些菜，如水煮魚，看到的是上面的魚片，用戶會希望模型還有對應的知識，即魚片的下面，其實鋪滿了豆芽。

由此，食材的識別和通常的圖片識別和分類算法相比，有更多的困難。

我們的方法

針對食材識別的問題，我們的方法是：使用深度學習的方法，將黑盒的神經網絡與白盒的烹飪領域知識結合起來，同時確保訓練數據的數量和質量。

我們綜合評估了：GoogleNet, AlexNet, VGG, GoogleNet+BatchNorm 以及Caffe和TensorFlow，從Top5 ACC (輸出的前5個結果的準確率)的角度，上述框架沒有存在顯著的差異性。目前我們采用的是Caffe以及GoogleNet 和 ImageNet，更多的是從工程的可伸縮性，支持并發(fā)部署的角度來考慮的。

?

三、挑戰(zhàn)和業(yè)界評測：

在飲食領域的圖像識別和分類上面，業(yè)內一直有關注和研究，比如下面的paper：

Deep Learning Based Food Recognition 
DeepFood: Deep Learning-based Food Image Recognition for Computer-aided Dietary Assessment 
ChineseFoodNet: A large-scale Image Dataset for Chinese Food Recognition 
NutriNet: A Deep Learning Food and Drink Image Recognition System for Dietary Assessment
ChinFood1000: A Large Benchmark Dataset for Chinese Food Recognition
Learning Cross-modal Embeddings for Cooking Recipes and Food Images

對上述paper中的方法進行比較，基本上是 基于AlexNet，Vgg，Gnet，ResNet，今年CVPR的DenseNet做修改，細節(jié)有差異。

從數據集和分類目標兩個層面，在啟動之初，我們就站在比目前業(yè)界更高的起點上。?

上面是幾個用于做公開測評的通用數據集的數據情況，我們可以看到上述通用測試集的分類較少，每一個分類的樣本數量相對均勻。從千萬級的數據規(guī)模和過千的分類數量上看， 我們的數據規(guī)模是比較龐大的。

從分類目標上，我們首先識別食材(而非菜名)，進而解析出營養(yǎng)成分和熱量，從場景上能夠較完整地反映用戶健康和飲食習慣。從食材的數量和烹飪方式上看，中餐的識別相較于西餐要困難，識別食材又比菜名更困難。

數據集名稱

分類數量

數據集大小

準確率

備注

Food-101

101

101,000

88.28%

基于GoogleNet

UEC FOOD 100

100

9,060

81.45%

日餐為主

UEC FOOD 256

256

31,397

76.17%

基于GoogleNet

UNIMIB 2016

65

3616

86.39%

基于AlexNet

Paper作者自有集

520

220,000

86.72%

Paper作者實拍集

520

200

55%

從目前結果上看，我們的效果遠遠領先于MIT的CSAIL和業(yè)內在食物(中餐)上識別能力。

對大家日常飲食有什么用？ 

當食物的營養(yǎng)和熱量識別，簡化成只需要輕點拍攝這一步之后，我們可以幫助用戶記錄日常的飲食攝入。

有了日常記錄以后，可以從膳食結構角度，幫助用戶分析攝入的營養(yǎng)和食材的均衡情況，基于中國居民膳食指南，同時參考美國、日本等居民膳食指南，給出飲食建議。這就是營養(yǎng)師口中的“營養(yǎng)干預”，幫助減肥、增脂、增肌都是這個范疇。

You are what you eat，人的健康除了先天、環(huán)境因素之外，最大的影響因子就是飲食習慣。

從模型訓練和算法的角度，當學會識別食材以后，后續(xù)將學會識別菜譜名稱，從而告訴你做法，以及，從千萬個淘寶和天貓商品中，根據菜譜為你選出：主料、輔料、佐料。

從此以后，正確的美食打開方式應該是：

輸入菜肴名稱，看完菜譜做法以后，根據算法為你準備好的：主料、輔料、佐料，輕觸點擊，一鍵加入購物車。等著食材送上門以后一顯身手吧。

切換成線下，到菜市場買菜也沒問題，打開手機，拍一拍面前的生鮮食材，它叫什么，營養(yǎng)元素和熱量，有哪些做法，可以搭配哪些食材一起烹飪，即時為你呈現(xiàn)。

作為iDST圖像識別能力的輸出，拍美食是“萬物識別”項目的一部分，目標是致力于讓AI使我們的生活越來越美好。如果希望體驗上述技術，快捷傳送門：

親問app二維碼

相關知識

【拍孕婦照】孕婦寫真
【育兒知識】拍出高質量孕婦照有五個訣竅
給眼睛拍張照就能測全身健康，鷹瞳科技要當“醫(yī)療AI第一股”
【孕婦照】大肚照，孕婦拍照技巧和注意事項
【孕婦能拍照嗎】孕婦可以拍照嗎
孕婦在懷孕期間拍照的禁忌
「健康」如何辨別黑科技熱能芯片減肥腰帶真假？
黑芝麻糊的熱量？多吃黑芝麻糊能減肥嗎？
巧克力寶貝時尚拍攝技巧，孕婦照怎么照才好看！
熱量減肥法

網址: 無痛減肥黑科技：拍照識熱量 http://m.jjxejuv.cn/newsview613455.html