Wersja systemu 0.104 Słucham Cię · Asystent domowy

[jolka]

Wersja systemu 0.104.x z dnia 5 lutego 2020 (do potwierdzenia)

Na kanale beta prowadzimy pracę nad nową wersję Asystenta domowego, oznaczoną numerem 0.104.x. Wersja ta na kanale stabilnym pojawi się prawdopodobnie 5 lutego 2020 (data do potwierdzenia). Jeśli chcesz szybciej uzyskać dostęp do nowych funkcji, ale nie przejmujesz się ryzykiem wystąpienia okazjonalnego błędu, możesz w każdej chwili przełączyć się na kanał beta - opcja dostępna jest w portalu integratora

Słucham Cię :)

Słucham Cię to motto naszego projektu, staramy się, żeby było to nie tylko slogan i staramy się słuchać potrzeb i opinii naszych Klientów.

W tej wersji rozpoczynamy obsługę "słowa klucza" (słowa aktywującego mikrofon) oraz wprowadzamy bardziej zaawansowaną obsługę odtwarzaczy dodanych do Asystenta domowego.

Wykrywanie słowa kluczowego

Wprowadzamy (na początek do naszej aplikacji na system Android a docelowo do wszystkich naszych aplikacji, możliwość włączenia wykrywania słowa kluczowego - mechanizm wyzwalający rejestrowanie polecenia głosowego.

Po testach zdecydowaliśmy się zastosować bardzo dokładny i lekki silnik aktywujący Porcupine. O wyborze tego rozwiązania zadecydowały jego cechy:

• Użycie do trenowania głębokich sieci neuronowych przeszkolonych w rzeczywistych sytuacjach.
• Kompaktowy i wydajny. Może pracować z tak małą jak 20 KB RAM.
• Międzyplatformowy. Jest zaimplementowany w ANSI C. Producent wspiera wiele platform: Raspberry Pi, Beagle Bone, Android, iOS, watchOS, Linux (x86_64), Mac, Windows, WebAssembly).
• Skalowalny. Może wykrywać wiele poleceń głosowych jednocześnie bez dodatkowego obciążenia procesora / pamięci.
• Częściowo otwarty - mamy do dyspozycji zestaw predefiniowanych wyrażeń "aktywujących" na różne platformach za darmo.

To jest nasza aplikacja testowa do wykrywania słów aktywujących komendę, która działa na urządzeniach z Androidem.

https://github.com/sviete/AIS-hotword

Rozwiązanie to na początku będzie wbudowane w naszą aplikację dostępną w Google Play. Aktywacja mikrofonu będzie wymagała świadomego włączenia przez użytkownika, o tym, że mikrofon jest włączony, informujemy stosownym powiadomieniem. Rozwiązanie jest 100% offline - działa bez połączenia z Internetem - słuchamy Cię, nie podsłuchujemy!

Na początek dostarczymy kilka słów aktywujących do wyboru, są to wytrenowane zwroty dostępne na licencji Apache License 2.0, dzięki czemu możemy je użyć w naszym projekcie.

Umożliwymi też dostosowanie czułości nasłuchiwania do własnych potrzeb.

Ta funkcjonalność w połączeniu z odtwarzaczem i planem podłogi pozwoli na łatwe zbudowanie panelu do sterowania naszym domem - wystarczy na tablecie zainstalować naszą darmową aplikację :)

Docelowo mamy ambicję, by zastosować własne słowo aktywujące, które będzie kojarzone z naszą marką. Z tego, co się orientujemy, będzie to pierwszy tego typu projekt w Polsce, który zajmie trochę czasu i zasobów. Na tą chwilę nie podajemy terminów.

Odtwarzacze

TODO

Generowanie styli dla kart (floor plan)

TODO

Zigbee2MQTT

Łatwiejsza zmiana nazwy urządzenia, wystarczy kliknąć węzeł urządzenia na mapie, aktualna nazwa zostanie automatycznie wpisana do forumlarza zmiany nazwy.

Home Assistant

Najnowszy (stabilny) Home Assistant 0.104.3

Bardzo podoba nam się ulepszona obsługa encji i możliwość usuwania niedostępnych pozycji bezpośrednio z interfejsu użytkownika.

Zapraszamy do aktualizacji i komentowania na forum :) AI-Speaker 02/2020

---

Ten temat jest powiązany ze źródłową dyskusją: https://sviete.github.io/AIS-docs/blog/2020/02/05/release-notes.html

[Tomasz]

Dla mnie bomba
Zainstalowałem aplikacje beta 1.0.07, na jakiej zasadzie to działa ?
Telefon musi być odblokowany ? Aplikacja AISdom uruchomiona ? Bo na razie mi nie reaguje na Avocado

[jolka]

Przytrzymaj mikrofon

Ta apk-a jest podpisana tym samym kluczem co ta publikowana w Google Play, ale to nie jest jeszcze nawet wersja beta… tylko taka którą testujemy na swoich telefonach/tabletach/chromebookach i poprawiamy przed wydaniem w Google Play. Więc nie wszytko jeszcze działa tak jak powinno.

[Tomasz]

Faktycznie, przytrzymanie mikrofonu włącza nasłuchiwanie.
Zapowiada się bardzo ciekawie.

[jolka]

docelowo chcemy żeby było tak:

i tak:

prace trwają, damy znać jak będzie nowa wersja apki

[Iron]

Na razie jak dla mnie rewelacja W wersji 1.0.7 działa ok jednak nie zawsze przesyła dźwięk do telefonu.

[jolka]

@Iron

jednak nie zawsze przesyła dźwięk do telefonu

jeżeli chodzi o mówienie przez asystenta to wiemy, że w tej wersji nie działa tak jak powinno… i chyba już to mamy poprawione,

zmieniamy interfejs do wysyłania komunikatów z bramki do apki mobilnej, będziemy wysyłać powiadomienia głosowe na WearOS - będzie lepiej

Opiszemy to wszystko w dokumentacji.

[jolka]

Hej!
Na kanale beta publikujemy kolejną wersję 0.104.3b3

jest też nowa apk na OTA

Dla tych co chcieli by się w weekend pobawić
Pamiętajcie, że to beta + alfa, jeszcze kilka rzeczy nie jest skończonych.

Bon Weekend

[Iron]

Już testuję Pierwsze co rzuciło się w oczy to skalowanie apki Przydatna funkcjonalność

[jolka]

Wersja 0.104.3b4 wydana (na kanale beta oczywiście).
Ze zmian - odblokowaliśmy cały interfejs do edycji i usunęliśmy powiadomienie o dokumentacji.

• doszło kilka poprawek na zgłoszone / zauważone błędy

[Tomasz]

Wersja 0.104.3b4 zainstalowana i na razie wszystko OK

[jolka]

To już oficjalne dostarczyliśmy, nową wersję z pierwszą implementacją słowa aktywującego

Jeżeli ktoś aktualizował aplikację na tel/zegarek/tabllet/tvbox… z naszego OTA, to nie ma problemu z Google Play powinno się też zaktualizować - podpisujemy tym samym kluczem.

Uwaga: Parametr czułości nasłuchiwania. Wyższa wartość czułości obniża wskaźnik pominięć ale kosztem wzrostu częstości fałszywych alarmów . Aby uzyskać więcej informacji dotyczących tego jak to działa warto odwiedzić stronę firmy tkóra dostarcza to rozwiązanie: https://picovoice.ai/

Zmodyfikowaliśmy zasadę działania Asystenta domowego, w przypadku gdy komenda pochodzi z urządzenia z włączonym nasłuchiwaniem słowa aktywującego to staramy się być bardziej dosłownym “mniej się domyślać” o co chodziło użytkownikowi. Ma to na celu zminimalizowanie wykonywania niepotrzebnych komend w przypadku omyłkowego włączenia nasłuchiwania komendy. Jednak rozwiązanie jest jeszcze na bardzo wczesnym etapie, dlatego zalecamy stosować tę usługę pod kontrolą (wyłączać tę usługę na noc), żeby uniknąć niepotrzebnych wykonań komend i niespodziewanego uruchomienia odtwarzacza audio czy innych domowych urządzeń.

Tu jest większy opis jak to działa:
https://sviete.github.io/AIS-docs/docs/en/ais_app_android_dom_tablet.html#konfiguracja-ustawień-apliacji-związanych-z-panelem

[Iron]

Zaktualizowało się bez problemu z Google Play do wersji 1.1.3.Player. No to testujemy

[Tomasz]

No zegarek po aktualizacji zdecydowanie na plus, fajnie że jest teraz informacja zwrotna typu
“OK, wyłączono…” super to działa.
Nasłuchiwanie też OK ale trzeba więcej po testować. Jedyne co zauważyłem to jak jest włączone nasłuchiwanie na telefonie to nie mogę nagrywać filmów telefonem.
Dobra robota

Edit:
nasłuchiwanie ustawiłem na komendę aktywującą Christina i reaguje również na słowo Krystyna, a to imię moje teściowej, więc podwójna radocha jak mówię “Krystyna wyłącz światło”

[Iron]

@Tomasz

na telefonie to nie mogę nagrywać filmów telefonem.

Zgadza się, u mnie to samo ale to pewnie tak działa w androidzie jeśli jedna apka wykorzystuje mikrofon to inna już nie.

Ja tam czekam na hotWord “Jolka”

[Tomasz]

@Iron

Zgadza się, u mnie to samo ale to pewnie tak działa w androidzie jeśli jedna apka wykorzystuje mikrofon to inna już nie.

pewnie tak

Ja tam czekam na hotWord “Jolka”

no fajnie by było bo u mnie w domu już wszyscy wołają Jolka i zdziwieni jak gadam avocado albo Krystyna

[Iron]

Heh mi przypadło do gustu Flamingo

[Tomasz]

Po którejś z ostatnich aktualizacjach aplikacji mobilnej nie mogę wybierać efektu dla LED dla apk mobilnej jak na screenie niżej. Przez przeglądarkę na komputerze jest Ok, czyli:

Na aplikacji mobilnej AISpeaker wersja 1.1.3 i oficjalnej HA 1.6.0 nie mogę w ogóle zjechać na dół.

Możecie sprawdzić czy też tak macie?

[Celina]

@Tomasz
A czy w przeglądarce na telefonie masz taki sam efekt? Jeśli w przeglądarce na telefonie jest lepiej niż w apce to daj znać jakiej przeglądarki używasz.

[Tomasz]

sprawdziłem na telefonie na Edge i na Samsungowej i jest tak samo czyli nie można przewinąć.
To co pisałem wczesniej

Przez przeglądarkę jest Ok, czyli:

to oczywiście chodziło mi o przeglądarkę na komputerze