愛伊米

樂高的進階玩法:CV技術讓你的樂高零件煥發新生!

說到樂高,那可是大人小孩沒人不愛的玩具了。

每次看到一大堆的樂高積木,把它們挨個拼成模板圖那樣的時候,成就感簡直爆表了。

完成之後還要把作品端正地擺放在書桌前,好好端詳一番。

樂高的進階玩法:CV技術讓你的樂高零件煥發新生!

但是,不知道有沒有人想過,其實這些積木不止有一種拼法。

按照模板,你可以把這些積木拼成火車,當然,也有人選擇不走尋常路,非要拼個飛機場出來。

或者,更“奇葩”一點的東西?

比如,你就可以把這個企鵝模型改裝成一個企鵝機器人,別說還真有內味兒:

樂高的進階玩法:CV技術讓你的樂高零件煥發新生!

又或者,你可以把一個普通的小狗模型改得更有味道一些:

樂高的進階玩法:CV技術讓你的樂高零件煥發新生!

是不是已經躍躍欲試,準備馬上對家裡的樂高“下手”了?別急,還有更多創意,且聽文摘菌細細道來。

幾秒就能識別一地積木,樂高粉絲“殺瘋了”!

這種時候,肯定也有人像文摘菌一樣,手腳不靈活就算了,腦子也空空蕩蕩的,看到這一地的樂高積木,愣是什麼靈感都出不來。

別急,救星來了。

先看看這個東西到底怎麼個玩法。首先,它會識別滿地的樂高積木:

樂高的進階玩法:CV技術讓你的樂高零件煥發新生!

然後,會提供一些能利用這些積木、但是又和常規模板完全不一樣的創意造型:

樂高的進階玩法:CV技術讓你的樂高零件煥發新生!

怎麼樣,是不是頓時感覺自己還能再搶救一下?

根據TechCrunch報道,其實,樂高一直和蘋果保持著密切合作,嘗試使用一些未釋出的iOS技術,在WWDC上演示,比如對增強現實ARKit平臺進行的修復,使之能夠為實體玩具也新增一絲數字體驗。

當然,這也包括了這個叫做Brickit的軟體,據瞭解,該軟體由一個粉絲團隊建立的,主要

透過使用計算機視覺技術,來快速識別堆積如山的積木,同時給出一些別具一格的創意提醒。

整個過程中,你只需要把你的積木倒在地板上,然後就讓Brickit進行快速識別歸類與分析。最讓開發者自豪的,當然要屬Brickit的速度了,從上圖中也可以看到,Brickit只需短短几秒就能完成識別與分析。

樂高的進階玩法:CV技術讓你的樂高零件煥發新生!

根據部分使用者反饋,使用效果與上述步驟類似,只是在識別和進行下一步操作之間增加了一些載入時間。在瀏覽說明時,使用者也可能會被指向積木堆中某一特定所需作品所在的區域。

目前,Brickit在第一方訪問方面還有很多事情可以做,主要是在訪問與樂高現有指令庫的整合方面。2019年,樂高收購BrickLink,足以看出樂高一直旨在抓住更多圍繞售後創作的社群粉絲。

如果能夠允許建立一個使用者所擁有的實際積木的資料庫,從而獲得一些關於他們所擁有的套裝的見解,這對樂高來說,無疑也是有價值的資料。

樂高分揀機,拯救你的滿地積木

試想,當受到Brickit的啟發,靈感擋不住要溢位來了,這個時候你需要快速找到需要的樂高積木,但是看到滿地的積木瞬間喪了氣。

別急,這個時候你只需要另一個樂高神器,困難就能迎刃而解。

噹噹噹當,樂高通用分揀機閃亮登場。

樂高的進階玩法:CV技術讓你的樂高零件煥發新生!

根據分揀機的製作者Daniel West介紹,這臺機器結合了CNN和3D識別,可以說是

世界上第一臺“樂高通用分揀機”

,同時,這個分揀機還是由AI驅動,

能夠識別出任何已生產的樂高零件,並將它們歸類。

讓我們來仔細看看這個機器到底有什麼花樣。

如下圖,這就是分揀機的核心部分“Capture Unit”,一個擁有傳送帶、照相機和照明燈的小空間。看起來好像沒什麼大不了,實際上要想讓它順利完成工作,有很多需要注意的事情。

樂高的進階玩法:CV技術讓你的樂高零件煥發新生!

相機會拍攝沿著傳送帶輸送的樂高零件,然後將照片上傳到執行著AI演算法的伺服器,從數千個可能的樂高元素中識別零件。

核心問題是需要將傳送帶的實時影片流,轉換成神經網路可以識別的各個部分的獨立影象。

樂高的進階玩法:CV技術讓你的樂高零件煥發新生!

最終目標:從原始影片(左)到大小均勻的影象(右),然後傳送到神經網路。(動圖的速度比實時影片慢了50%左右)

這裡用到了目標檢測,即檢測目標的存在、位置和大小,以便零件在每一幀都能生成邊界框。表面上看起來很簡單,實際上卻困難重重。

要想順利實現零件的識別與分揀,還有許多需要注意的地方,比如相機的位置和角度;光源要保證充足;另外零件還不能與傳送帶的顏色一樣,否則無法扣除背景。

在訓練神經網路上也需要耗費大量時間和精力,什麼是神經網路呢?可以把它看作一個虛擬的大腦,它可以透過接受輸入並轉換成相應的輸出來完成特定任務。

一般來說,輸入給神經網路的資料越多,它完成任務的能力就越強。樂高分揀機的神經網路是透過輸入樂高零件的影象,輸出相應零件的編號。

由於樂高的零部件有成千上百種類型,顏色多樣,並且從不同角度看形狀也不一樣。因此,收集正確的訓練資料集是整個工作中最難的一部分。West在分揀機執行幾天後捕獲了30萬張影象,這是其中的一部分。

怎麼樣,現在可別再完成一個樂高模型就把它束之高閣了,這些小玩意兒還有很多好玩的地方等待你去解鎖呢。

— END —

MORE丨黑科技推薦