🗣 AIS - profesjonalny offline TTS

jolka · 25 Czerwiec 2021 07:33

AIS - profesjonalny offline TTS

Żeby wytłumaczyć dlaczego TTS na bramce AIS jest taki super
wyjaśnimy na początek jak działa TTS w Home Assistant.

Jak działa TTS w Home Assistant

W dokumentacji HA można przeczytać, żę platforma zamiany tekstu na mowę google_translate używa nieoficjalnego mechanizmu zamiany tekstu na mowę Tłumacza Google do odczytywania tekstu.

Czyli działa to tak:

Jak działa TTS w AIS

Używamy offline TTS w systemie Android NIE używamy usługi w chmurze do zamiany tekstu na audio.
To dlatego nasz asystent mówi błyskawicznie i bez przerywania muzyki (tylko ją przyciszając).

Nasze nadaje się do budowania profejonalnych komercyjnych systemów do powiadomień i wielostrefowego audio.

TTS w AIS nowość w nadchodządzej wersji Hugo

W nadchodzącej wersji systemu Hugo idziemy o krok dalej - dodaliśmy nową integrację ais_tts_local

która będzie włączona domyślnie na wszystkich bramkach.

Ta integracja zamienia tekst na audio w nazym offline TTS działającym na bramce i wysyła to audio do każdego odtwarzacza audio w systemie.

To kolejny krok rozwijający funkcjonalność wielostrefowego audio w AIS.

Akszyn · 25 Czerwiec 2021 15:59

@jolka Czy ta integracja będzie działać z

🗣 Status mowy - ulepszenia w Ofline TTS

Oraz czy będzie można wybrać rodzaj głosu
asystenta wysyłanego do głośników np.: przez google cast ?

Edit:
Oraz jak będzie wyglądać sytuacja z zapisywanie plików na bramce które trzeba wysłać do głośnika czy będzie tworzył się nowy folder z plikiem audio i będzie przechowywany x czasu jak w przypadku integracji tts google w ha ?

jolka · 30 Czerwiec 2021 10:57

ta integracja pod spodem korzysta z ais_ai_service

github.com

sviete/AIS-home-assistant/blob/beta/homeassistant/components/ais_tts_local/tts.py#L49


      
          
          @property
          def supported_languages(self):
              """Return list of supported languages."""
              return SUPPORT_LANGUAGES
          
          async def async_get_tts_audio(self, message, language, options=None):
              """Load AIS TTS Local using."""
              temp_file_name = "/data/data/com.termux/files/home/AIS/www/temp.wav"
          
              await self.hass.services.async_call(
                  "ais_ai_service",
                  "say_it",
                  {"text": message, "language": language, "path": temp_file_name},
              )
              # wait for the file
              data = None
              check = 0
              while check < 3:
                  await asyncio.sleep(1)
                  if os.path.isfile(temp_file_name):

tak, globalnie w systemie, jak tu wybierzesz parametry głosu:

to wg tych parametrów zostanie zamieniony tekst na audio i wysłany do dowolnego odtwarzacza:

Nie, bo nie ma takiej potrzeby, ha robi to po to, żeby Google ich nie odcięło za zbyt częste pytanie serwisu tts o audio (robią taki cache dla komunikatów).
My nie mamy takich ograniczeń (nie ma limitów ais tts) i nie musimy tak “kombinować”. Usuwamy te pliki po wysłaniu do głośnika:

github.com

sviete/AIS-home-assistant/blob/8a2af2bbbc539ccc2e0554298843b0a9c94337e6/homeassistant/components/ais_tts_local/tts.py#L67


      
          while check < 3:
              await asyncio.sleep(1)
              if os.path.isfile(temp_file_name):
                  try:
                      with open(temp_file_name, "rb") as voice:
                          data = voice.read()
                  except OSError:
                      _LOGGER.error("Error trying to read %s", temp_file_name)
                      return None, None
                  finally:
                      os.remove(temp_file_name)
                  check = 3
              check = check + 1
          
          if data:
              return "wav", data
          return None, None

Akszyn · 30 Czerwiec 2021 16:03

Czy będzie możliwość zmiany nazwy tej usługi jak w przypadku tts google oraz jaki może być powód nie działa wysyłania wiadomości głosowej przez tunel? W logach mam takie coś przy każdej próbie

Logger: homeassistant.components.cast.media_player
Source: components/cast/media_player.py:316
Integration: Google Cast (documentation, issues)
First occurred: 19:05:35 (1 occurrences)
Last logged: 19:05:35

Failed to cast media http://192.168.1.11:8180/api/tts_proxy/fb6ac27d4da01b5aa03b6a78a654ed30b553559c_pl-pl_-_ais_tts_local.wav from internal_url (http://192.168.1.11:8180). Please make sure the URL is: Reachable from the cast device and either a publicly resolvable hostname or an IP address

Logger: homeassistant.components.tts
Source: components/tts/init.py:515
Integration: Text-to-Speech (TTS) (documentation, issues)
First occurred: 19:05:35 (1 occurrences)
Last logged: 19:05:35

ID3 tag error: Invalid chunk ID ‘\x00\x00\x00\x00’

sdsi · 4 Lipiec 2021 15:00

Dzięki za wyjaśnienie.

A czy np.

“Włącz RMF”, “Graj radio Zet” to działa off-line czy on-line?

Pozdrowienia

CichY · 9 Lipiec 2021 14:45

Posiadam głośnik Yamaha MusicCast WX-010 na którym chciałem przetestować ais_tts_local ale niestety w jego właściwościach nie mam opcji “Zamień tekst na mowę”.

Pomimo tego, że w usłudze ais_tts_local mogę wybrać z encji ten głośnik, niestety nie jest na nim odtwarzany wpisany przeze mnie tekst.

Dodałem głośnik do Google Home (“Podłączono przez: MusicCast Smart Home”) ale niczego to nie zmieniło. Natomiast TV Sony, który mam w integracji Google Cast (nie ma w niej głośnika Yamaha) działa prawidłowo z ais_tts_local.

Czy i w jaki sposób mogę skonfigurować głośnik WX-010 aby działał z ais_tts_local ? Czy konieczne jest dodanie go do Google Home przez MusicCast Smart Home ?
Jeżeli udało Wam się podłączyć głośnik Sonos to może Yamaha też da radę ?

Temat		Odpowiedzi	Odsłony
Hugo na BETA - ostatnie wydanie przed wydaniem na PROD Ogłoszenia	0	439	25 Czerwiec 2021
Tts.ais_tts_local_say problem z autoplay	8	245	3 Sierpień 2021
Powiadomienia audio przez Google Cast audio	26	2535	16 Maj 2021
Projekt płatny - AIS jako odtwarzacz audio wzbudzany przez czujkę	8	287	26 Styczeń 2021
:writing_hand: Wersja systemu Hugo wydana na kanale stabilnym Ogłoszenia	47	2118	5 Sierpień 2021

🗣 AIS - profesjonalny offline TTS

AIS - profesjonalny offline TTS

Jak działa TTS w Home Assistant

Jak działa TTS w AIS

TTS w AIS nowość w nadchodządzej wersji Hugo

Related topics