# Asystent głosowy jako Addon

**URL:** <https://ai-speaker.discourse.group/t/asystent-glosowy-jako-addon/3666>\
**Category:** Pomysły\
**Created:** [27 Listopad 2023 09:37 UTC](https://ai-speaker.discourse.group/t/asystent-glosowy-jako-addon/3666 "2023-11-27T09:37:45Z")\
**Posts on this page:** 9\
**Page:** 1

<div class="post-metadata">

**Autor:** ![boskikak](https://avatars.discourse-cdn.com/v4/letter/b/74df32/32.png) [@boskikak](https://ai-speaker.discourse.group/u/boskikak)\
**Data wpisu:** [27 Listopad 2023 09:37 UTC](https://ai-speaker.discourse.group/t/asystent-glosowy-jako-addon/3666/1 "2023-11-27T09:37:45Z")

</div>

Mam taką propozycję dla załogi AIS. @araczkowski zrobił już mały krok w tą stronę bo udostępnił swój szyfrowany tunnel do zdalnego dostępu jako dodatek do instalacji HA. Jako że jestem już po migracji z AIS do czystej instalacji HA korzystam z tego dodatku i jestem zadowolony (nie potrafię odciąć pępowiny z waszym forum 😆).  
A co by tak jakby zrobić kolejny krok w tą stronę i dodać Jolke (asystenta głosowego) jako też dodatek do HA? Myślę że jedynie w was jest szansa na działającego polskiego asystenta. Addon jakim jest Pipper nie dorasta do pięt waszej Jolce więc praktycznie mało kto w Polsce chce z niego korzystać. Nie wiem jak jest zbudowana struktura Jolki ale wiem że jesteście w stanie to zrobić 😉

A żeby to nie było takie bezinteresowne to proponuję zrobić to na zasadzie jakiejś miesięcznej subskrybcji. Tunnel + Asystent za jakąś tam symboliczną kwotę miesięczna. Aktualnie korzystam z subskrypcji Nabu Casy ale wolałbym wspierać polski projekt z którego Polacy mają swoją indywidualną korzyść.  
Mam nadzieję że przemyślcie ta propozycję @araczkowski @Celina @jolka

---

<div class="post-metadata">

**Autor:** ![araczkowski](https://yyz2.discourse-cdn.com/free1/user_avatar/ai-speaker.discourse.group/araczkowski/32/6_2.png) [@araczkowski](https://ai-speaker.discourse.group/u/araczkowski)\
**Data wpisu:** [27 Listopad 2023 11:18 UTC](https://ai-speaker.discourse.group/t/asystent-glosowy-jako-addon/3666/2 "2023-11-27T11:18:50Z")

</div>

Hej, bardzo ciekawy pomysł - myślę, że coś takiego kiedyś zrobimy 🙂

Oczywiście jedyna słuszna koncepcja asystenta w 2024 roku, to generatywna sztuczna inteligencja, czyli ChatGPT OpenAI albo Google Bard. To są rozwiązania które naprawdę rozumieją co się do nich mówi, pamiętają kontekst, potrafią rozwiązać proste zadania i wykonać złożone polecenie i sensownie odpowiedzieć.

Dodanie takiego asystenta na bazie ChatGPT do Home Assistanta jest możliwe, ale niestety nie będzie za darmo - trzeba płacić za tokeny (za wywołania API):

 ![image](https://global.discourse-cdn.com/free1/uploads/ai_speaker/original/3X/a/9/a98fa1ff27f9cc34f2e01ae279e7133c78895c1d.png)

ChatGPT potrafi zamieniać tekst na mowe i mowe na tekst

 ![image](https://global.discourse-cdn.com/free1/uploads/ai_speaker/original/3X/5/3/534fb1fa78cac88d5a1475643ff85b961bdab219.png)

To co potrafi ChatGPT można zobaczyć na tym filmie:

[![](https://global.discourse-cdn.com/free1/uploads/ai_speaker/original/3X/6/b/6bc883ace0364b66b06141682ba000d3946e6030.jpeg "New Products: A Deep Dive") ](https://www.youtube.com/watch?v=pq34V_V5j18&t=2029s)

Możliwości ChatGPT i Barda są naprawdę ogromne, śledzimy temat i może za jakiś czas faktycznie wydamy dodatek do HA z asystentem opartym o prawdziwe AI 🙂

---

<div class="post-metadata">

**Autor:** ![boskikak](https://avatars.discourse-cdn.com/v4/letter/b/74df32/32.png) [@boskikak](https://ai-speaker.discourse.group/u/boskikak)\
**Data wpisu:** [27 Listopad 2023 11:32 UTC](https://ai-speaker.discourse.group/t/asystent-glosowy-jako-addon/3666/3 "2023-11-27T11:32:17Z")

</div>

Czekam z niecierpliwością! Już nie mogę się doczekać jak ożenię Jolke ze swoim głośnikiem 😁

---

<div class="post-metadata">

**Autor:** ![Kraszewsky](https://avatars.discourse-cdn.com/v4/letter/k/9fc29f/32.png) [@Kraszewsky](https://ai-speaker.discourse.group/u/Kraszewsky)\
**Data wpisu:** [27 Listopad 2023 14:31 UTC](https://ai-speaker.discourse.group/t/asystent-glosowy-jako-addon/3666/4 "2023-11-27T14:31:31Z")

</div>

Dodanie jako addon rozwiązło by też kwestie powiązania tego z tym projektem  
A wtedy już jest super 😀  
@araczkowski a może uda się bez addon 🙂  
Jeżeli jest możliwość to daj znać i odrazu zamawiam komponenty i drukuje obudowę 😀

> [@Asystent głosowy esp32 loliln](https://ai-speaker.discourse.group/t/asystent-glosowy-esp32-loliln/3662):
>
> Witam. Coraz więcej projektów mini głośnika z asystentem pojawia się na plytce esp32 loliln. Pytanie czy taki głośnik i wybudzanie da radę spiąć z Ai-Speaker? Jeżeli tak to to chętnie bym sobie wykonał takie cudo do sypialni. slightly_smiling_facegrinninggrinning Link do forum ArturHome z opisem budowy i yaml.

---

<div class="post-metadata">

**Autor:** ![araczkowski](https://yyz2.discourse-cdn.com/free1/user_avatar/ai-speaker.discourse.group/araczkowski/32/6_2.png) [@araczkowski](https://ai-speaker.discourse.group/u/araczkowski)\
**Data wpisu:** [27 Listopad 2023 16:16 UTC](https://ai-speaker.discourse.group/t/asystent-glosowy-jako-addon/3666/5 "2023-11-27T16:16:36Z")

</div>

tego typu urządzenie (mikrofon i głośnik) oczywiście też będzie potrzebne 🙂

jest gotowiec już do tego → ESP32-S3-BOX:

 ![image](https://global.discourse-cdn.com/free1/uploads/ai_speaker/original/3X/4/1/4105d6cd7e87b1af5e42cc41e71749d41819f2f7.jpeg)

to działa z HA przez ESPhome, i są plany na dalszy rozwój i wspieranie tego urządzenia:

> <https://github.com/esphome/feature-requests/issues/2239>
>
> \<!-- READ THIS FIRST:
> - This is for feature requests only, for issues please g…o to the issues repository.
> - Please be as descriptive as possible, especially use-cases that can otherwise not be solved boost the problem's priority.
> 
> DO NOT DELETE ANY TEXT from this template! Otherwise the issue may be closed without a comment.
> \--\>
> 
> \*\*Describe the problem you have/What new integration you would like\*\*
> 
> Main features: support for peripherals on the \[ESP32-S3-BOX\](https://github.com/espressif/esp-box/blob/master/docs/hardware\_overview/esp32\_s3\_box/hardware\_overview\_for\_box.md) dev kit:
> \- \[x\] ILI9342C LCD driver \[\[already done\]\](https://esphome.io/components/display/ili9xxx.html)
> - \[x\] Allow X mirroring, \[\[PR merged\](https://github.com/esphome/esphome/pull/4942)\]
> - \[x\] support for BOX-Lite LCD driver \[\[PR merged\](https://github.com/esphome/esphome/pull/4941)\]
> \- \[x\] TT21100 touch screen \[\[PR merged\]\](https://github.com/esphome/esphome/pull/4793)
> - \[x\] Report state at poweron \[\[added to PR\]\](https://github.com/kroimon/esphome/pull/88)
> \- \[\] ES7210 ADC I2C \[\[working(?) work in progress\]\](https://github.com/rpatel3001/esphome/tree/es7210)
> - \[\] \[get user guide\](https://github.com/espressif/esp-dev-kits/issues/74)
> - \[\] Get it to be more stable
> \- \[\] ES8311 Codec I2C \[\[mostly working work in progress\]\](https://github.com/esphome/esphome/pull/4861)
> \- \[x\] add MCLK pin to i2s\_audio \[\[PR merged\]\](https://github.com/esphome/esphome/pull/4885)
> \- \[\] ~ICM-42607-P IMU~ (I'm going to ignore this, I don't think most people have any use for it)
> 
> To get voice\_assistant working:
> \- \[x\] voice\_assistant is not compatible with docker bridge networking, must use macvlan/ipvlan/host mode
> \- \[\] get media\_player to work with .raw streams (speaker component works fine)
> 
> Architectural changes to support wakeword and esp-idf framework (probably out of scope here and will be transferred to a new issue or 3 once the S3-BOX works for on-demand voice commands):
> \- \[\] Debug bootloops when using esp-idf framework
> \- \[\] Add esp-adf, skainet, etc
> \- \[\] Update i2s\_audio\_media\_player
> - \[\] Refactor \[current library\](https://github.com/esphome/ESP32-audioI2S) to only handle audio streams; move i2s setup into esphome proper
> - \[\] Possibly switch to an audio library that doesn't require arduino framework?
> 
> \*\*Please describe your use case for this integration and alternatives you've tried:\*\*
> 
> Use the peripherals on the board. Working on-demand voice\_assistant.
> 
> \*\*Additional context\*\*
> 
> This device has recently had a bit of attention due to posts about \[Willow\](https://github.com/toverainc/willow) on hackernews and elsewhere. Willow is fantastic but I'd like to be able to use the full extent of existing esphome components, and I bet others would also. Adding hardware peripherals is the smallest part of this, wake word detection is the major missing feature missing to make esphome a viable alternative (out of scope for this feature request though).
> 
> Reference links:
> https://github.com/espressif/esp-box
> https://github.com/toverainc/willow
> https://github.com/hugobloem/esp-ha-speech
> https://github.com/espressif/esp-dev-kits/issues/24#issuecomment-781314125
> https://components.espressif.com/components/espressif/es8311
> https://components.espressif.com/components/espressif/es7210
> https://github.com/espressif/esp-bsp/
> https://github.com/espressif/esp-adf/

---

<div class="post-metadata">

**Autor:** ![Tomasz](https://yyz2.discourse-cdn.com/free1/user_avatar/ai-speaker.discourse.group/tomasz/32/286_2.png) [@Tomasz](https://ai-speaker.discourse.group/u/Tomasz)\
**Data wpisu:** [27 Listopad 2023 20:00 UTC](https://ai-speaker.discourse.group/t/asystent-glosowy-jako-addon/3666/6 "2023-11-27T20:00:29Z")

</div>

> **[$13 voice assistant for Home Assistant](https://www.home-assistant.io/voice_control/thirteen-usd-voice-remote/)**
>
> Open source home automation that puts local control and privacy first. Powered by a worldwide community of tinkerers and DIY enthusiasts. Perfect to run on a Raspberry Pi or a local server.

---

<div class="post-metadata">

**Autor:** ![boskikak](https://avatars.discourse-cdn.com/v4/letter/b/74df32/32.png) [@boskikak](https://ai-speaker.discourse.group/u/boskikak)\
**Data wpisu:** [27 Listopad 2023 20:15 UTC](https://ai-speaker.discourse.group/t/asystent-glosowy-jako-addon/3666/7 "2023-11-27T20:15:46Z")

</div>

Nie chodzi tutaj o urządzenie do asystenta bo z tym nie ma problemu. Chodzi o silnik asystenta który ma być inteligentny a nie spełniać tylko zaprogramowane komendy tak jak dotychczas.

---

<div class="post-metadata">

**Autor:** ![araczkowski](https://yyz2.discourse-cdn.com/free1/user_avatar/ai-speaker.discourse.group/araczkowski/32/6_2.png) [@araczkowski](https://ai-speaker.discourse.group/u/araczkowski)\
**Data wpisu:** [28 Listopad 2023 15:27 UTC](https://ai-speaker.discourse.group/t/asystent-glosowy-jako-addon/3666/8 "2023-11-28T15:27:43Z")

</div>

Spoko, wiadomo o co chodzi 🙂  
Asystenci obecni są ogólnie słabi… ale naszczęście ChatGPT zmienił wszystko! Teraz nareszcie można swobodnie mówić do komputera a on rozumie o co nam chodzi. Do czegoś takiego będziemy dążyć (do integracji asystenta bazującego na GatGPT na bramce).

To złożony temat który ma wiele składowych (zamiana mowy na tekst, teksu na mowę, dopasowanie intencji do sentencji, aktywacja nasłuchiwania komendy).  
Pozytywne jest to, że jeden kroczek już działa - własne wyrażenie aktywujące mikrofon/komendę:

> [@speaking\_head Hey Yolca - “Wake Word”, własne wyrażenie włączające mikrofon](https://ai-speaker.discourse.group/t/hey-yolca/3668):
>
> speaking_head Własne wyrażenie włączające mikrofon “Wake Word” [image] Home Assistant udostępnił bardzo fajną funkcjonalność - można stworzyć własne słowo aktywujące nagrywanie komendy mikrofonem. W tym wpisie pokażę jak to zrobić. Wymagania Home Assstant Supervised. Trzeba uruchomić bramkę z systemem Linux (z USB lub SD karty) tak jak to opisaliśmy tu: [https://ai-speaker.discourse.group/t/home-assistant-supervised-na-dev1-dev2-i-dev-bt/3562](https://ai-speaker.discourse.group/t/home-assistant-supervised-na-dev1-dev2-i-dev-bt/3562) Potrzebny będzie mikrofon USB, my zastosowal…

---

<div class="post-metadata">

**Autor:** ![boskikak](https://avatars.discourse-cdn.com/v4/letter/b/74df32/32.png) [@boskikak](https://ai-speaker.discourse.group/u/boskikak)\
**Data wpisu:** [28 Listopad 2023 16:26 UTC](https://ai-speaker.discourse.group/t/asystent-glosowy-jako-addon/3666/9 "2023-11-28T16:26:39Z")

</div>

Ale Cię zmotywowałem 😄  
Ja osobiście inteligencję asystenta wykorzystał bym do konwersacji, nie zależy mi zbytnio żeby sam rozpoznawał co mam na myśli mówiąc komendę, przypisywanie aliasów do switchow czy automatyzacji jest wg mnie bardzo fajnie przemyślane i raczej z tego nie zrezygnuje. Oczywiście jest też grono zwolenników co chcą żeby wszystko działo się w automacie (czyli inteligentnie) ale ciężko wszystkich zadowolić 😁  
Nieważne co Ci się uda stworzyć to i tak będę zadowolony że będę mógł przetestować “inteligentną” Jolke!