Poznat, zda je potravina v pořádku, nebo se na ní začíná tvořit plíseň, může být pro nevidomé a slabozraké obtížné. Pomoci jim má nová aplikace bMyVision v2.0., která prostřednictvím fotoaparátu chytrého telefonu dokáže rozpoznávat objekty a jejich vlastnosti. Jednou z jejích funkcí je také detekce plísně na potravinách. Na vývoji systému a sestavení datasetu spolupracuje Mendelova univerzita v Brně s Technickou univerzitou v Liberci a TyfloCentrem Liberec.
MENDELU se do vývoje aplikace zapojuje prostřednictvím Ústavu technologie potravin, který pomáhá s odborným posuzováním fotografií potravin a rozšiřováním databáze, na které se systém učí plíseň rozpoznávat. Princip používání aplikace je poté jednoduchý, uživatel položí potravinu na vhodné místo a vyfotografuje ji pomocí ozvučeného chytrého telefonu. Aplikace následně vyhodnotí pořízený snímek a hlasově sdělí, zda potravina vykazuje známky plísně nebo zda je v pořádku. Funkce je navržena pro použití v domácím prostředí a je určena nevidomým a slabozrakým uživatelům.
„Pro člověka se zrakovým handicapem může být velmi obtížné posoudit stav potraviny, zejména v případě počínající plísně. Naším cílem je proto přispět naší odborností k vývoji nástroje, který bude praktickým pomocníkem v běžném životě. Právě v takových projektech vidíme smysl vědy – když výsledky výzkumu nezůstávají pouze v odborných publikacích, ale nacházejí konkrétní uplatnění v praxi a mohou skutečně pomáhat lidem,“ uvedla Andrea Roztočilová z Ústavu technologie potravin na MENDELU.
V současnosti má vývojový tým vedený Josefem Chaloupkou k dispozici přibližně 1400 fotografií. Pro dosažení spolehlivějších výsledků by však bylo potřeba databázi výrazně rozšířit. Vývojáři odhadují, že pro solidní výsledky rozpoznávacího modelu by bylo vhodné získat přibližně 10 000 fotografií. Čím rozmanitější soubor snímků bude k dispozici, tím lépe se systém dokáže vypořádat s různými podobami a stádii kažení potravin.
Do sběru fotografií se může zapojit také veřejnost. Lidé mohou z domu vyfotografovat potraviny, na kterých se objeví plíseň, a snímky zaslat na e-mail poradna.potraviny@mendelu.cz nebo bmyvision@seznam.cz. Podle odborníků je cenná především rozmanitost fotografií. Systém se totiž musí naučit rozpoznávat plíseň na různých potravinách, v různém prostředí a v různých fázích jejího vývoje.
Odborníci z Ústavu technologie potravin MENDELU se chtějí v první fázi spolupráce zaměřit především na pečivo. U něj může být pro systém obtížné rozlišit počínající plíseň od jiných struktur na povrchu, například cukru. Do budoucna je však možné detekci rozšířit i na další druhy potravin.
BMyVision nabízí také další funkce určené lidem se zrakovým handicapem. Dokáže například rozpoznávat datum spotřeby na potravinách, hodnotu mincí a bankovek, lidské tváře nebo předměty v okolí. Pro využití v exteriéru vývojáři pracují také s detekcí překážek, přechodů pro chodce nebo psích exkrementů, což může být užitečné v případě, že nevidomí lidé vlastní asistenčního psa.
Součástí systému bude také speciální ovládací prsten a kamera umístěná na brýlích. Prsten umožní uživateli diskrétně přepínat mezi jednotlivými funkcemi podle toho, jakou informaci právě potřebuje. Cílem je, aby uživatel nebyl zahlcen množstvím informací, které pro něj v daném okamžiku nejsou důležité. Celý program je navíc vyvíjen jako multilinguální, v nastavení systému lze tedy vybrat, zda má systém s nevidomou osobou komunikovat česky nebo anglicky. V budoucnu bude možné přidávat i další jazyky.
Významnou součástí projektu je zapojení samotných budoucích uživatelů. TyfloCentrum Liberec prostřednictvím Ivany Valecké poskytuje vývojářům zpětnou vazbu od nevidomých a slabozrakých lidí a pomáhá posuzovat srozumitelnost a intuitivnost ovládání. Organizace zároveň spolupracuje s lektory, kteří nevidomé a slabozraké učí používat moderní technologie.
„Velmi si vážíme možnosti zapojit odborné znalosti Ústavu technologie potravin do vývoje aplikace, která reaguje na konkrétní potřeby osob se zrakovým handicapem. Za mimořádně cenné považujeme, že český vývojářský tým vytváří aplikaci v úzkém kontaktu s jejími budoucími uživateli a naslouchá jejich zkušenostem a potřebám. Díky tomu nevzniká řešení pouze na základě předpokladů, ale vzniká nástroj, který může mít skutečný přínos v každodenním životě a současně bude dostupný lidem napříč Českou republikou. Pro náš ústav tato spolupráce představuje také příležitost otevřít téma, kterému bychom se rádi prostřednictvím Poradny potraviny MENDELU věnovali dlouhodoběji – zpřístupňování oblasti potravin a výživy lidem se zrakovým handicapem. Do budoucna bychom proto rádi navázali na spolupráci dalšími projekty, které mohou cílové skupině usnadnit orientaci při výběru a nákupu potravin, posuzování jejich kvality a bezpečnosti, správném uchovávání i následném zpracování. Právě zde vidíme prostor, kde může věda a její poznatky přinášet řešení s přímým dopadem na kvalitu každodenního života v praxi,“ doplnila Roztočilová.
V současnosti existuje funkční prototyp aplikace, který bude od letošního září procházet praktickým testováním. Vývojáři plánují nejprve zpřístupnit systém pro zařízení iPhone prostřednictvím App Store, později také pro telefony se systémem Android. Uvedení aplikace na App Store se předpokládá koncem roku 2026. Aplikace zpracovává rozpoznávání přímo v zařízení a při této činnosti neposílá pořízené snímky třetím stranám prostřednictvím internetu. Cílem projektu je vytvořit praktický nástroj, který bude dostupný lidem se zrakovým handicapem napříč Českou republikou a který bude vycházet z jejich skutečných potřeb.
Více informací o projektu BMyVision je k dispozici na webových stránkách projektu.
Celý vývoj aplikace je realizován díky projektu: Výzvy pro 21. století na TUL (CZ.02.02.XX/00/23_022/0008721)
Kontakt pro více informací: doc. Ing. Miroslav Jůzl, Ph.D., vedoucí Ústavu technologie potravin, AF MENDELU, miroslav.juzl@mendelu.cz, 775 285 392