Pogadaj z Jolką

Cześć,
czy jest tutaj ktoś kto używa polecenia aktywującego(“Alexa”, “Avocado”, itp.)?
O ile z wydawania poleceń na żądanie(przyciskiem mikrofonu) jestem zadowolony o tyle wykrywanie polecenia aktywującego czasami działa, czasami nie, czasami ma fake-detekcje. Próbowałem już różnych wartości czułości nasłuchiwania i nie udało mi się znaleźć złotego środka, a krzyczenie czy też wielokrotne powtarzanie polecenia mija się z celem.

Drugie pytanie to czy badał ktoś temat dodania słowa kluczowego np. Jolka" jako słowo aktywujące?

Masz rację, że różnie to działa jeśli chodzi o polecenia aktywujące i z pewnością wymaga jeszcze dopracowania. Także retoryczne pytanie ‘Witaj w domu, powiedz w czym mogę Ci pomóc?’
powinno aktywować mikrofon w oczekiwaniu na polecenie. Chętnie
widziałbym taką formułę, że po wejściu do domu/mieszkania jeżeli
według geolokalizacji nie było mnie dłużej niż x czasu(powiedzmy godzinę) to następuje powitanie i pytanie Jolki czy przekazać raport co się zmieniło od czasu opuszczenia lokalizacji np. naruszenia czujników, zmiana temperatury, wilgotności, dzwonki do drzwi/furtki, czy włączyć muzykę lub światła w/g wcześniej ustalonej sceny lub pory dnia itp. Teoretycznie jest to już możliwe poprzez skrypty i automatyzacje ale ponieważ wiele funkcji i integracji zostało wbudowanych to zrobienie takiej wbudowanej interakcji z odhaczanym listingiem obsługiwanych raportów/poleceń nie przekracza aktualnych możliwości bramki.
Nie chcę aby brzmiało to jak narzekanie więc dopowiem, że od dawna żaden gadżet nie sprawił mi tyle radości co bramka AIS.

3 polubienia

Tak, wiemy - rozpoznawanie słowa aktywującego mikrofon (nasłuchiwanie wyrażenia aktywującego) to jest coś co wymaga gruntownego ulepszenia.

Jesteśmy otwarci na integrację mechanizmu opracowanego przez jakąś firmę, która się tym zagadnieniem profesjonalnie zajmuje. Mieliśmy spotkania i prezentacje ale niestety okazuje się, że taki działający mechanizm który nie jest zamknięty i działa to… nie bardzo istnieje jeszcze na rynku…

To co dostarczamy to rozwiązanie firmy Picovoice która twierdzi, że jest najlepsza… a widzimy jak to działa.

Inne mechanizmy są albo kupione przez korporacje i zamknięte do wewnętrznego użytku* albo nie działają.

*np. Sonos kupil ostatnio startup Snips (żeby uniezależnić się od Google, którego pozwał za kradzież technologii) https://snips.ai/ za 37 millionów $ i zamknął dostęp dla innych firm do technologii Snips

Tu jest namiastka czegoś takiego :wink:

Oczywiście dostarczymy lepsze mechanizm jak to tylko będzie możliwe techniczne, w tym segmencie IT (rozpoznawanie mowy) rewolucja jest co tydzień i to tylko kwestia czasu kiedy normalnie działający mechanizm będzie dostępny :slight_smile:

1 polubienie

Dajemy kilka sekund na dokończenie mówienia przez Jolkę i zastanowienie się nad odpowiedzią przez użytkownika Jolki i włączamy mikrofon:

Pozwolę sobie pociągnąć temat tutaj dalej.
Który mikrofon? Bramka zdaje się nie ma mikrofonu, więc pilot, tablet?
Dobra, przetestowałem. Odpala mikrofon na pilocie. A da się jakoś odpalić mikrofon na tablecie?

do bramki można dołączyć mikrofon po USB, testowane z Sony PS Eye
Android sam powinien przełączyć na najlepszy mikrofon (tak samo jak przełącza audio na HDMI lub SPDIF) ale najlepiej zostawić podłączony jeden mikrofon (żeby mieć pewność który działa).

Coś takeigo można kupić za 20 zł :wink:
image

Na tą chwilę nie ma takiej funkcjonalności, pozwalamy tylko na zdalne sterowanie odtwarzaczem adudio, wbudowanym w aplikację klienta, ale w sumie możemy coś takiego dodać.
To co się dzieje po naciśnięciu przycisków w powiadomieniu AIS (czyli też ikonki mikrofonu na telefonie/tablecie)

jest tu w kodzie:

Czyli wystarczy, że uruchomimy tą samą akcję która jest uruchamiana po naciśnięciu przycisku mikrofonu ale zdalnie z bramki.

fajny pomysł :slight_smile: daje zgłoszenie do Github

Super że pomysł się spodobał.

  1. Jak się ma wpinanie takiego mikrofonu do docelowego rozwiązania jakim jest głośnik? (z tego co pamiętam docelowo bramka ma wylądować w głośniku? BTW może już znacie przybliżony termin? może jakaś dev wersja?)

  2. Włączanie wszystkich mikrofonów na raz nie jest dobrym pomysłem, może jakiś “Pomocnik” z wyborem mikrofonu używanego jako default i dodanie pola w ais_ai_service.publish_command_to_frame umożliwiającego wskazanie mikrofonu?

  3. TTS też jest puszczany na wszystkie możliwe urządzenia co w przypadku tabletu i bramki w jednym pomieszczeniu brzmi często niewyraźnie, bo komunikaty nie są zsynchronizowane(czego nie wymagam), ale fajnie byłoby mieć opcję zaznaczenia gdzie ma lecieć treść TTS, może podobnie jak w pkt 2? :slight_smile:

Ad 2. przetestowałem włączanie przyciskiem Aqara mikrofonu w pilocie. Działa ok, ale trzeba go mieć w ręce, jeśli leży na szafce to nie łapie dźwięku, co w sumie traci ten ‘use case’ .

Mam problem z mikrofonem.
Do bramki podpięta jest po USB karta dźwiękowa z wyjściem na mikrofon, oryginalny pilot oraz kamerka Sony PS Eye.
Czyli w zasadzie są 3 mikrofony w systemie.
Czasami zdarza się, że Android nie widzi ani mikrofonu z kamerki ani z pilota (zakładam, że przełącza się na mikrofon z karty dźwiękowej). No i wtedy nie ma możliwości wydania komendy głosowej.
Czy jest możliwość wybrania na stałe mikrofonu np. z kamerki??
Czyli w zasadzie chodzi o punkt 2 z wypowiedzi Stravi