Problem z notyfikacja - say_it nie dziala lokalnie na bramce

[badzio]

Czesc wszystkim, ostatnio zauwazylem notyfikacja say_it dziala tylko w interfejsie www / aplikacji. Natomiast nie dziala notyfikacja lokalna, tzn na glosnikach podpietych bezposrednio do bramki jest cisza. Tyczy sie to zarowno notyfikacji say_it wykorzystywanych w automatyzacji jak i zwyklych zapytan w interfejscie Jolki typu “jaka jest pogoda”?
Natomiast gdy w interfejsie Jolki pisze “Włącz radio RMF FM” to audio jest odgrywane na glosnikach.
Oznacza to ze gniazdo mini-jack jest sprawne, glosniki tez

Uzywam Jolki w wersji (0.109.6b3).

[Cino111]

Dobrze, że piszesz. Jolka na głośniku od jakiegoś czasu mi nic nie gada. Już myślałem, że się obraziła ale nie było czasu zajrzeć w czym problem. No to na razie nie szukam, tylko czekam na diagnozę błędu.

[Stravi]

Mam podobnie jak @Cino111, z tym że ostatnio znów zaczęła do mnie mówić(mam co godzinę czytanie godziny), więc jakby zapomniałem o temacie.

[badzio]

Fajnie ze nie jestem sam Swego czasu byl fix na brak powiadomien na tablecie (i w przegladarce) gdy uzytkownik nie jest adminem. Moze to regresja?

Ja planuje uzyc Jolki jako swego rodzaju centralki alarmowej, jedna z funkcjonalnosci to powiadomienia gdy ktos otworzy furtke/drzwi. Probowalem uzyc tabletu ale to mega porazka - zarowno apka jak i przegladarka po jakims czasie przestaja otrzymywac notyfikacje. Dlatego tez podpialem glosniki

[jolka]

sprawdziliśmy i “u nas działa”

poprosimy o dokładny opis, co jest podłączone do bramki (czy jakiś inne karty audio, dongle bt, kabel hdmi…) i w jaki sposób wywoływana jest usługa “say_it”

czy dzieje się tak zawsze - od razu po uruchomieniu bramki, czy tylko czasami - kiedy?
czy jest to powtarzalne?
czy coś było instalowane dodatkowo?

oczywiście mile widziane zrzuty z ekranów i logi

[badzio]

Najprostszy mozliwe przyklady (problem wystepuje tez przy automatyzacji)

Na ta chwile podpiete mam dwa urzadzenia USB:

• USB - dongle zigbee (kupiony od Was )
• USB - dongle BT do klawiatury

Do tego oczywiscie glosniki po mini-jacku (najtansze, marketowe). Bramka podpieta jest do netu po kablu.

Ponadto:

• problem pojawia sie zawsze
• brak zainstalowanych custom components
• jedyne co instalowalem to obsluga ZigBee oraz NODE-RED

Jak juz pisalem - gniazdo audio oraz glosniki sa sprawne, bo moge np wlaczyc radio.

W logach dostepnych z poziomu narzedzi developerskich nic ciekawego nie ma. Ostatni wpis na temat media_player jest z nocy (kiedy akurat nie bawilem sie bramka)

Dajcie znac jakie konkretnie logi chcecie dostac.

[jolka]

@badzio

Dajcie znac jakie konkretnie logi chcecie dostac.

zacznijmy od logcat

połącz się z bramką po ssh i wpisz w konsoli logcat, a następnie z przeglądarki wyślij coś do powiedzenia na bramkę:

[badzio]

Wyglada na to jakby TTS przestal dzialac

05-18 12:53:07.111 4782 5342 D pl.sviete.dom.AisPanelService: text_to_speech: POST /text_to_speech HTTP/1.1
05-18 12:53:07.111 4782 5342 D pl.sviete.dom.AisPanelService: Host: 127.0.0.1:8122
05-18 12:53:07.111 4782 5342 D pl.sviete.dom.AisPanelService: User-Agent: python-requests/2.23.0
05-18 12:53:07.111 4782 5342 D pl.sviete.dom.AisPanelService: Accept-Encoding: gzip, deflate
05-18 12:53:07.111 4782 5342 D pl.sviete.dom.AisPanelService: Accept: /
05-18 12:53:07.111 4782 5342 D pl.sviete.dom.AisPanelService: Connection: keep-alive
05-18 12:53:07.111 4782 5342 D pl.sviete.dom.AisPanelService: Content-Length: 69
05-18 12:53:07.111 4782 5342 D pl.sviete.dom.AisPanelService: Content-Type: application/json
05-18 12:53:07.111 4782 5342 D pl.sviete.dom.AisPanelService:
05-18 12:53:07.112 4782 5342 D pl.sviete.dom.AisPanelService: processTTS Called: {“text”:“test”,“pitch”:1,“rate”:1,“voice”:“pl-pl-x-oda-local”}
05-18 12:53:07.113 4782 5342 W TextToSpeech: setVoice failed: not bound to TTS engine
05-18 12:53:07.113 4782 5342 W TextToSpeech: speak failed: not bound to TTS engine
05-18 12:53:07.113 4782 4782 D pl.sviete.dom.AisPanelService: BROADCAST_ON_START_TEXT_TO_SPEECH turnDownVolume
05-18 12:53:07.114 4782 4782 D pl.sviete.dom.AisPanelService: turnDownVolumeForTTS Called
05-18 12:53:07.114 4782 4782 I pl.sviete.dom.BrowserActivity: BROADCAST_ON_START_TEXT_TO_SPEECH onStartTextToSpeech.
05-18 12:53:07.114 4782 4782 D pl.sviete.dom.BrowserActivity: onStartTextToSpeech → transform

[jolka]

@badzio

Wyglada na to jakby TTS przestal dzialac

acha…

z zrób coś takiego w konsoli:

su -c "screencap -p /sdcard/screen.png"

potem pobierz screen (np. po ftp) i pokaż co tam jest:

[badzio]

To jest po prostu screenshot z mojego dashboarda - menu, lista karta etc… na pewno tego potrzebujecie??

[jolka]

@badzio

na pewno tego potrzebujecie??

Tak - chcemy wiedzieć na jakiej aktywności jesteś w aplikacji.

Jeszcze jedna rzecz:

wywołaj taką usługę:

ais_ai_service.publish_command_to_frame
   key: goToActivity
   val: SplashScreenActivity

I zobacz czy po tym jak zmieni się aktywność na bramce zacznie działać TTS?

Jeżeli nie to uruchom ponownie bramkę i daj znać czy działa?

[badzio]

Postapilem wg intstrukcji, nie pomoglo. Zresetowalem bramke, takze bez rezultatow. Logcat pokazuje to, co poprzednio.

[jolka]

a jesteś w stanie odtworzyć przykład syntezy mowy?

1. przejdź do sterowania na monitorze - pilot albo esc albo usługa:

ais_ai_service.publish_command_to_frame
   key: goToActivity
   val: ActivityMenu

2. przejdz ustawienia android
   

   

3. wybierz “Ułatwienia dostępu”
   

   

4. Przetwarzanie tekstu na mowe
   

   

5. Posłuchaj przykładu
   

   

Czy przykład działa?

Jest jedna rzecz która łączy 2 osoby zgłaszające ten problem -> Node-RED. Innego związku nie widzimy… i nie jesteśmy w stanie wywołać tego problemu na naszych bramkach.
Kod odpowiedzialny za wysyłanie tekstu do przeczytania nie zmienił się od 2 lat…

Jeżeli przykład w Android działa a nie działa z Asystenta domowego to:

1. zatrzymaj serwis node-red

pm2 stop node-red
pm2 save

2. uruchom ponownie bramkę i sprawdzamy czy Jolka zacznie mówić ?

Jeżeli to nie pomoże to proponuje: http://ai-speaker.com/docs/ais_bramka_reset_ais_step_by_step
i nie instalujemy Node-RED.

[Stravi]

@jolka u mnie ten problem też występował, a NodeRed nie miałem nigdy na bramce zainstalowanego - nie zamiatałbym tak tego problemu pod przysłowiowy dywan.
Oczywiście jak problem się pojawi ponownie to dam znać.

[jolka]

@Stravi

nie zamiatałbym tak tego problemu pod przysłowiowy dywan

Nikt tu nic nie zamiata, zależy nam na zrozumieniu i poprawieniu tego błędu. Dlatego drążymy i szukamy przyczyny.

@Stravi

Oczywiście jak problem się pojawi ponownie to dam znać

Możesz wykonać wszystko to co napisaliśmy w tym wątku i sprawdzić jak to jest u Ciebie na bramce? Oczywiście daj znać będziesz miał taki sam problem, a jak znajdziesz jakiś schemat jak to wywołać to już całkiem

[Stravi]

Mam to zrobić teraz? Mimo iż “mówienie” działa? Czy dopiero jak zaobserwuję że nie będzie działać?

[badzio]

Dobra - po pierwsze primo - podczas startu bramki “Aplikacja zamiana tekstu na mowe przestala dzialac”. Zatem TTS sie wywala juz przy starcie. Po drugie primo - wywolanie ActivityMenu nie spodowowalo zadnej reakcji.
Udalo mi sie wejsc w menu w inny sposob, wybralem opcje “zamiana tekstu na mowe” i… najpierw zwiecha a pozniej wrocilo do ustawien serwera AIS

W logach widac ze TTS startuje, pozniej nie widze zadnych wyjatkow i nagle TTS przetaje dzialac

05-18 18:50:25.233 4785 4785 I pl.sviete.dom.AisPanelService: Acquiring Partial Wake Lock and WiFi Lock
05-18 18:50:25.291 4785 4785 I ExoPlayerImpl: Init 23b7d58 [ExoPlayerLib/2.5.0] [p281, AI-Speaker.com, Amlogic, 25]
05-18 18:50:25.300 4785 4785 I pl.sviete.dom.AisPanelService: starting TTS initialization
05-18 18:50:25.412 4785 4801 I art : Background sticky concurrent mark sweep GC freed 10948(647KB) AllocSpace objects, 2(56KB) LOS objects, 15% free, 3MB/4MB, paused 4.927ms total 106.710ms
05-18 18:50:25.443 4785 4785 I TextToSpeech: Sucessfully bound to com.google.android.tts
05-18 18:50:25.474 4785 4785 W AudioTrack: AUDIO_OUTPUT_FLAG_FAST denied by server; frameCount 4104
05-18 18:50:25.474 4785 4785 D AudioTrack: Client defaulted notificationFrames to 2052 for frameCount 4104
05-18 18:50:25.486 4785 4785 D pl.sviete.dom.AisPanelService: startForeground Called
05-18 18:50:25.487 4785 5042 I CONN : connected
(…)
05-18 18:50:33.109 4785 4785 I Choreographer: Skipped 67 frames! The application may be doing too much work on its main thread.
05-18 18:50:34.296 4785 4785 D pl.sviete.dom.AisPanelService: processTTS Called: Uruchamianie systemu Asystent domowy, poczekaj.
05-18 18:50:34.303 4785 4785 W TextToSpeech: setVoice failed: not bound to TTS engine
05-18 18:50:34.304 4785 4785 W TextToSpeech: speak failed: not bound to TTS engine
05-18 18:50:34.316 4785 4785 D pl.sviete.dom.AisPanelService: BROADCAST_ON_START_TEXT_TO_SPEECH turnDownVolume

Taka ciekawostka - gdy przejde do Androida to serwis ais-dom wyswietla sie podwojnie. Wczesniej chyba tak nie bylo

[badzio]

@jolka, jakies pomysly, co jeszcze moge zrobic / sprawdzic?

[badzio]

Chcialem tylko poinformowac ze wykonalem tez druga czesc zaleconego testu, tzn zatrzymanie node-red i restart bramki. Nie pomoglo.
Taka ciekawostka - podczas startu glosniki milcza prawie przez caly czas. Jedynie na moment wydaja ‘chrzakniecie’ (z tego co kojarze, jest to tuz przed ‘proba glosu’ Jolki).
Jakies inne pomysly czy tez mam zrobic pelny reset bramki?

[jolka]

Hej,

@badzio

wywolanie ActivityMenu nie spodowowalo zadnej reakcji

rozumiemy dlaczego tak się dzieje - to doszło w aplikacji serwer po migracji, więc u Ciebie nie działa.

@badzio

Zatem TTS sie wywala juz przy starcie

tego niestety nie rozumiemy, jak to możliwe… przez chwile myśleliśmy, że to się nie dzieje na naszej bramce tylko na jakimś Twoim Android 6.0 bo absolutnie nikt nie miał takiego problemu. A funkcjonalność TTS jest kluczowa szczególnie u osób którzy mają problemy ze wzrokiem i korzystają z bramki bez monitora.

Tą aplikację TTS używa miliony ludzi na całym świecie (jest to produkcja Google wbudowana w Andoid), ciężko ją wyalić… ale jak widać da się

---

Myślę, że czas u Ciebie na migracje serwera na bramce do wersji 2.0, zrób wszytko to co zostało opisane tu:

Migracja serwera AIS dom na bramce do wersji 2.0

Wprowadzenie Po 1.5 roku testów zdecydowaliśmy się na większą zmianę w architekturze naszego systemu oraz zmianę w sposobie instalowania aktualizacji. Głównym powodem zmiany jest potrzeba uzyskania pełnej kontroli nad aktualizacjami oprogramowania na bramce. Nasze pierwotne założenie było takie, że wszystkie aplikację podpisywaliśmy w Google Play i dystrybuowaliśmy przez Google Play. Niestety nie da się w żaden sposób zapewnić czasu instalacji przez Google Play — nikt nie zna algorytmu, kiedy in…

Potem zobaczymy czy TTS będzie działał czy nie. Jak nie to będziemy myśleli dalej. Może przeinstalujesz go z OTA i będzie OK

Zrób migrację na spokojnie, krok po kroku, jak będziesz miał na to czas.
Daj znać jak poszło z migracją i czy to rozwiązało problemy z TTS?