Мобильное приложение с интеграцией ML

О проекте

Перед нами стояла цель – создать мобильное приложение, которое подскажет, как собрать новые фигуры из старых деталей конструктора. Все, что нужно – это разложить детали и сфотографировать их, а приложение отсканирует, подсчитает и предложит варианты новых идей.

Задачи

• Интегрировать нейронную сеть в мобильное приложение;
• Разработать приложение на Flutter;
• Добавить ленту и делиться с друзьями фигурами;
• Добавить push-уведомления;
• Интегрировать в профиль для регистрации Google и Facebook.

2. Разработали рекомендации для фигур.

3. Распознаем детали из большого количества и сканируем готовые фигуры.

Как только вы найдете в приложении подходящую фигуру из имеющихся деталей, можно приступать к сборке. При этом необходимые детали подсветятся, чтобы вам не приходилось напрягаться и искать их. А еще при наведении на собранную фигуру можно отсканировать ее детали, чтобы понять, что еще можно собрать.

4. Добавили возможность делиться фигурами в соцсетях.

Можно впечатлить своих друзей и подписчиков уникальными конструкциями. Расширьте свой круг общения и вдохновите других людей своими творческими сборками.

Интеграция ML-модели во Flutter

• Мы создали ML-модель и обучили ее распознавать детали конструктора.

• Подключили API, чтобы Flutter взаимодействовал с обученной моделью. Взаимодействие с ML-моделью было реализовано со стороны нативной части Android-приложения на языке Kotlin с использованием библиотеки машинного обучения Tensor Flow.

• Добавили взаимодействие между Flutter и нативной частью приложения для работы с обученной моделью. Этот шаг реализован через FlutterChannels – инструмент Flutter.