Ce Forum passera en lecture seule en janvier 2020
Image
Merci de vous rendre sur https://community.jeedom.com maintenant pour vos prochains postes ;)

[Sujet officiel] l'assistant vocal Snips 100% privé (Plugin développé pour jeedom)

Pour parler de tout, et surtout de rien !
Avatar de l’utilisateur
maxredphenix
Actif
Messages : 539
Inscription : 18 sept. 2015, 21:36
Localisation : Bourgogne

Re: [Sujet officiel] l'assistant vocal Snips

Message par maxredphenix » 18 août 2018, 11:48

valentinf a écrit :
16 août 2018, 23:27
La traduction de la doc du plugin Snips-jeedom en Français est en cours :)

Pour le site c'est juste trop compliqué de maintenir une langue dans tous les pays où on fonctionne (US, Allemagne, Français, japonais ...) On a des articles de blogs, tutos ect ... Pas évident. :)
Je comprends tout à fait :)
Merci
DIY Intel NUC i5 7Gen(via Proxmox) - Jeedom 3.2.

IPX800 v4 + 2 modules X-4FP
Détecteur fuite d'eau + fumée fibaro
Divers modules Zwave

valentinf
Timide
Messages : 250
Inscription : 13 avr. 2017, 14:16

Re: [Sujet officiel] l'assistant vocal Snips

Message par valentinf » 18 août 2018, 12:19

Seki a écrit :
18 août 2018, 11:35
Bonjour,

Fort intéressant ce projet.
J'ai une question, snips pourrait tourner sur ce genre carte ?

https://m.fr.aliexpress.com/item/327615 ... 473duXzWYH

Le gpio est compatible pib+.

Pour la sortie son, vous utilisez quoi sur vos pi0 ?

Envoyé de mon ONEPLUS A6003 en utilisant Tapatalk
Hello

Non on n'a pas de build pour cette carte tu ne pourras pas l'installer dessus

scalz
Timide
Messages : 136
Inscription : 01 mars 2015, 15:31
Localisation : Pays-de-la-Loire

Re: [Sujet officiel] l'assistant vocal Snips

Message par scalz » 18 août 2018, 12:26

Seki a écrit :
18 août 2018, 11:35
Bonjour,

Fort intéressant ce projet.
J'ai une question, snips pourrait tourner sur ce genre carte ?

https://m.fr.aliexpress.com/item/327615 ... 473duXzWYH

Le gpio est compatible pib+.

Pour la sortie son, vous utilisez quoi sur vos pi0 ?

Envoyé de mon ONEPLUS A6003 en utilisant Tapatalk
Salut,

Perso je n'ai pas test d'installer snips dessus.. peut-être avec un respeaker usb.
Car si tu veux utiliser de l'audio en i2s (digital et non analogique) sur le orange0, tu vas avoir besoin de le hacker. C'est le souci, le gpio peut paraître compatible avec le rpi, mais en pratique le mapping hardware et software est différent (donc hack hardw et sans doute softw aussi).

d'où le respeaker en version usb (qui est mieux d'ailleurs mais plus cher que le respeaker 2mic pour rpi0), mais aucune idée si le software suit. faudrait que je test éventuellement..mais suis pas très intéressé, ou pourquoi pas avec un orangepi plus puissant..
car par exemple je trouve que le orangepi0 chauffe quand même pas mal, et est quasi au même prix qu'un rpi0, si tu veux monter une snips satellite, je trouve le rpi0 du coup plus adapté pour un getting started.

Ici hack orangepi0 pour i2s : https://forum.armbian.com/topic/6021-or ... -zero-i2s/

pour la sortie son, ça dépend de la carte respeaker, ou micro que tu vas utiliser. par exemple le respeaker 2mic rpi0, ne va pas te sortir plus de 1W. donc un petit haut parleur, ou bien tu peux aussi trouver des cartes ampli pour pas cher sur aliexpress (ou même en fr sur la bay jsuis sûr), que tu connectes sur la sortie/signal casque du respeaker. En fonction de l'ampli que tu choisi, faudra gérer l'alim qui va avec.


Edit: @valentinf tu m'as devancé :) tiens juste pour le fun (c'est un peu HS..) j'ai commencé un peu gratter pour rendre ma passerelle MySensors compatible snips dans le futur.. cf le screenshot Settings https://forum.mysensors.org/post/92624

@+
Mysensors
Jeedom en stable/RPI3
https://github.com/scalz

Avatar de l’utilisateur
Jeandhom
Actif
Messages : 1373
Inscription : 20 oct. 2015, 17:32

Re: [Sujet officiel] l'assistant vocal Snips

Message par Jeandhom » 18 août 2018, 18:05

La doc du plugin ne semble pas à jour.

Sur la doc, il faut indiquer l'ip de snips et le port 1883 de MQTT.

Sur le plugin, toujours l'ip de snips mais dans l'autre champ "Default feedback" (Use / / to separate different sentences).

Qu'avez-vous mis dans ce champ ?

valentinf
Timide
Messages : 250
Inscription : 13 avr. 2017, 14:16

Re: [Sujet officiel] l'assistant vocal Snips

Message par valentinf » 18 août 2018, 18:49

Jeandhom a écrit :
18 août 2018, 18:05
La doc du plugin ne semble pas à jour.

Sur la doc, il faut indiquer l'ip de snips et le port 1883 de MQTT.

Sur le plugin, toujours l'ip de snips mais dans l'autre champ "Default feedback" (Use / / to separate different sentences).

Qu'avez-vous mis dans ce champ ?
Oui je suis en vacances donc la documentation sera mis à jour à mon retour ;)

Ici tu dois simplement indiquer la(lel phrase(s) que tu veux entendre quand tu demandes quelques chose et que Snips n'a pas compris (=n'a pas trouvé d'action donc de binding)

Par exemple si tu dis allume la tondeuse et que tu n'as pas fais ce binding dans le plugin et bien Snips TTS te jouera cette phrase. Sépare par // si tu veux plusieurs réponses au hasard du genre: je n'ai pas compris // désolé je ne trouve pas d'action // pouvez vous répéter?

:)

Avatar de l’utilisateur
Jeandhom
Actif
Messages : 1373
Inscription : 20 oct. 2015, 17:32

Re: [Sujet officiel] l'assistant vocal Snips

Message par Jeandhom » 18 août 2018, 18:56

Merci et bonnes vacances.

Avatar de l’utilisateur
Jeandhom
Actif
Messages : 1373
Inscription : 20 oct. 2015, 17:32

Re: [Sujet officiel] l'assistant vocal Snips

Message par Jeandhom » 18 août 2018, 20:30

Finalement, la bonne version de la configuration du plugin est plus bas dans la doc.
Désolé, la prochaine fois, j'irai jusqu'au bout avant d'intervenir.

Avatar de l’utilisateur
fwehrle
Actif
Messages : 2828
Inscription : 01 juil. 2015, 11:03
Localisation : Strasbourg

Re: [Sujet officiel] l'assistant vocal Snips

Message par fwehrle » 18 août 2018, 22:27

Je ne comprends pas quel peut être l’intérêt d’essayer d’installer snips sur un orange pizero plutôt que sur un vrai pizero?
Gpio pas compatible pour respeaker, sd pas mieux que le pi, sûrement plus complexe à paramétrer, et pas de rasbian lite...
Et même prix!
A pars le port rj45 (inutile pour un satellite), je vois pas.


Envoyé de mon iPad en utilisant Tapatalk
Jeedom 3 sur Debian 9 en VM Proxmox 5 sur NUC Intel.
(Anciennement sur Docker sur Syno DS-415+ / MariaDB / DSM 6)
Teleinfo / RFXCom / Stick ZWave / IPX / Serveur Traccar / Blea

Avatar de l’utilisateur
Phil56
Actif
Messages : 770
Inscription : 11 août 2015, 11:36

Re: [Sujet officiel] l'assistant vocal Snips

Message par Phil56 » 19 août 2018, 10:10

Bonjour,

@fwehrle petit HS, perso moi j'aimerais bien un pi zero avec ethernet, même pour un satellite, j'ai des prises un peu partout si en plus il y avait du POE, top !!

ken@vo
Phil
Box : Jeedom Maitre dans VM Esxi NUC intel i5, Jeedom Esclave RPI2 avec Zwave, Rfxcom, Blink1, EDISIO et TTS + VM Zoneminder
Protocoles : Zwave, X10, DI-O, HUE, EDISIO
Teleinfo (Dauguet rs232 mise en réseau avec une arduino mega)

Avatar de l’utilisateur
Seki
Actif
Messages : 746
Inscription : 06 sept. 2017, 21:50

Re: [Sujet officiel] l'assistant vocal Snips

Message par Seki » 19 août 2018, 11:16

C'est aussi pour ça que je posais la question @phil56, j'ai une bonne vingtaine de prise réseau répartis dans la maison, et ça aurait pu être intéressant de pouvoir alimenter le tout en poe.


Envoyé de mon ONEPLUS A6003 en utilisant Tapatalk


scalz
Timide
Messages : 136
Inscription : 01 mars 2015, 15:31
Localisation : Pays-de-la-Loire

Re: [Sujet officiel] l'assistant vocal Snips

Message par scalz » 19 août 2018, 13:25

@Seki
J'avais capté :) mais pas de bol orange0 est pas le meilleur candidat.
je plussoie aussi pour le rj45. Le rpi0 c'est juste en test de mon coté, ça ne sera pas en prod pour moi, sauf si le truc est mobile.
le filaire est bien plus fiable quand c'est accessible. trop de wifi suis pas fan non plus (et pour ceux qui ont d'autres matériels en 2.4ghz, sous différent protocoles, là vaut mieux bien choisir son channel wifi..)
Mysensors
Jeedom en stable/RPI3
https://github.com/scalz

arnog23
Timide
Messages : 419
Inscription : 02 mars 2016, 21:50

Re: [Sujet officiel] l'assistant vocal Snips

Message par arnog23 » 19 août 2018, 20:52

Cecece a écrit :
15 août 2018, 16:30
arnog23 a écrit :
13 août 2018, 20:06
Salut,

J'ai enfin eu le temps de faire quelques tests (avec un RPI3 et un Jabra Speaker 410 qui fait office de micro et HP) avec Jeedom et Snips installé sur le même RPI et je dois dire c'est déjà top avec ce type de micro/HP. J'ai juste un petit soucis avec le TTS. J'ai bien un retour audio une fois l'action effectué (ou bien en l’exécutant manuellement depuis le player du plugin) mais c'est joué en accéléré, du coup, on ne comprend rien.

J'ai testé le micro et le HP avec les commandes :

Code : Tout sélectionner

sam test microphone / speaker
et pas de souci de ce côté là, ça fonctionne bien.
J'avais également le même soucis avec le même matériel et de mémoire j'ai suivi ce tuto https://github.com/alexylem/jarvis/issues/65 et ça marche parfaitement, le Jabra Speaker 410 est une bonne solution micro+HP ! Je vérifierai si c'était bien ce tuto, je me le suis noté quelque part...
Salut,

Merci Cecece, j'ai effectivement réussi à le faire fonctionner en suivant ton lien.

J'ai donc créé le fichier "/etc/modprobe.d/alsa-base.conf" avec :

Code : Tout sélectionner

# This sets the index value of the cards but doesn't reorder.
options snd_usb_audio index=0
options snd_bcm2835 index=1

# Does the reordering.
options snd slots=snd_usb_audio,snd_bcm2835
Et j'ai modifié le fichier "/etc/asound.conf" comme suit :

Code : Tout sélectionner

pcm.!systemdefault {
  type asym
  playback.pcm {
    type plug
    slave.pcm "hw:0,0"
  }
  capture.pcm {
    type plug
    slave.pcm "hw:0,0"
  }
}
en remplacent "pcm.!default" par "pcm.!systemdefault".

Cela fonctionne donc lorsque je fais une demande vocale, en revanche, toujours pas de TTS lorsque que je clique sur le bouton "Test Play" dans la partie TTS d'un binding.

arnog23
Timide
Messages : 419
Inscription : 02 mars 2016, 21:50

Re: [Sujet officiel] l'assistant vocal Snips

Message par arnog23 » 19 août 2018, 23:09

@fwehrle

Merci pour tes exemples de Binding et de scenario. C'est top. Il faut maintenant que je tente de forker l'app et les intents pour créer certaines pièces qui n'existent pas dans la liste par défaut des house_room et adapter certaines pièces qui ont plusieurs lumières, volets, ... Je pourrais ensuite bouger ma plate forme de test du bureau vers le Salon/Salle à Manger/Cuisine pour voir ce que cela donne avec le Jabra 410 dans une grande pièce.

@valentinf

Pour le moment, je teste cela sur un RPI3 de test avec la version Beta du plugin. sais-tu quand une version dite "stable" (pour moi la beta semble déjà l'être :-) ) sera dispo ?

valentinf
Timide
Messages : 250
Inscription : 13 avr. 2017, 14:16

Re: [Sujet officiel] l'assistant vocal Snips

Message par valentinf » 20 août 2018, 10:21

arnog23 a écrit :
19 août 2018, 23:09
@fwehrle

Merci pour tes exemples de Binding et de scenario. C'est top. Il faut maintenant que je tente de forker l'app et les intents pour créer certaines pièces qui n'existent pas dans la liste par défaut des house_room et adapter certaines pièces qui ont plusieurs lumières, volets, ... Je pourrais ensuite bouger ma plate forme de test du bureau vers le Salon/Salle à Manger/Cuisine pour voir ce que cela donne avec le Jabra 410 dans une grande pièce.

@valentinf

Pour le moment, je teste cela sur un RPI3 de test avec la version Beta du plugin. sais-tu quand une version dite "stable" (pour moi la beta semble déjà l'être :-) ) sera dispo ?
Hello

On planifie ça pour fin Août/début septembre. On a encore quelques petites features + petits bugs et on release le plugin en mode stable. Côté App sur la console je n'ai pas prévu de modifier quoique ce soir elle me semble relativement performante comme ça.

On comptera sur vous pour partager ça aux autres jeedomiens qui seraient réticent a l'idée d'utiliser un assistant vocal cloud (Google / Amazon). ;)

Avatar de l’utilisateur
Bonson
Timide
Messages : 385
Inscription : 23 janv. 2016, 22:40

Re: [Sujet officiel] l'assistant vocal Snips

Message par Bonson » 20 août 2018, 10:54

Hello,

Pour le partage, je suis pour à 100%. Cela dit, il faudra rendre le truc un peu plus accessible. Je suis le fil depuis le début car ça m'intéresse beaucoup, mais vos conversations me passent bien au-dessus de la tête d'un point de vue technique (je suis très loin de me sentir capable de "forker l'app, les intents et les bindings" :lol: )

Merci et bon courage en tout cas pour la suite, ça prend une direction très sympatique !

valentinf
Timide
Messages : 250
Inscription : 13 avr. 2017, 14:16

Re: [Sujet officiel] l'assistant vocal Snips

Message par valentinf » 20 août 2018, 12:55

Bonson a écrit :
20 août 2018, 10:54
Hello,

Pour le partage, je suis pour à 100%. Cela dit, il faudra rendre le truc un peu plus accessible. Je suis le fil depuis le début car ça m'intéresse beaucoup, mais vos conversations me passent bien au-dessus de la tête d'un point de vue technique (je suis très loin de me sentir capable de "forker l'app, les intents et les bindings" :lol: )

Merci et bon courage en tout cas pour la suite, ça prend une direction très sympatique !
Merci Bonson :)

Rassure toi quand la documentation sera traduite en français ce sera très facile à suivre. Faudra juste suivre les étapes qui expliqueront tous les termes techniques ect ça te paraîtra beaucoup plus clair.

Je dois t'avouer que quand j'ai commencé Jeedom je ne savais pas par où commencer et au final petit à petit ...

Avatar de l’utilisateur
Bonson
Timide
Messages : 385
Inscription : 23 janv. 2016, 22:40

Re: [Sujet officiel] l'assistant vocal Snips

Message par Bonson » 20 août 2018, 13:02

Super, j'ai hâte de voir ça.
Je serai heureux d'être "noob testeur" :D

Avatar de l’utilisateur
alientouch
Timide
Messages : 314
Inscription : 07 août 2014, 23:07

Re: [Sujet officiel] l'assistant vocal Snips

Message par alientouch » 20 août 2018, 21:53

Bonjour, la sortie son est elle possible sur un hp wifi type Sonos par exemple ?
Raspberry Pi 3 + SSD : Jeedom 3.3.19
Dongle Z-Wave : Aeotec Z-Stick Gen 5
Passerrelle 433 Mhz : RFXcom RFXtrx433
Mon matériel

arnog23
Timide
Messages : 419
Inscription : 02 mars 2016, 21:50

Re: [Sujet officiel] l'assistant vocal Snips

Message par arnog23 » 20 août 2018, 22:06

Cecece a écrit :
28 juil. 2018, 23:23
Bonjour tout le monde,

Petite partage d'expérience, l'app Snips JeedomOfficiel permet déjà de se bâtir un assistant capable de comprendre pas mal de chose à partir d'un vocabulaire varié mais générique! De fait si comme moi vous avez donné des noms assez spécifiques à vos pièces e.g "Chambre de Toto" (pauvre enfant ;) ), vous allez vite vous apercevoir que l'assistant ne va garder et comprendre que "Chambre" pour le slot "house_room" et de fait l'action demandée ne sera pas exécutée. Rassurez-vous, nos amis de chez Snips ont pensé à tout, pas besoin de Forker l'app et les intents et donc perdre tout le potentiel que nos amis dev nous préparent, vous pouvez utiliser l' "Entity Injection", dans mon coin on dirait mais qu’es aquò ?
Ben justement c'est ce qui va permettre à votre assistant d'apprendre des mots plus spécifiques à votre environnement, comme par exemple le nom de vos pièces qui ne portent pas un nom générique.

Le plus simple c'est de se rendre ici https://snips.gitbook.io/documentation/ ... vocabulary et de suivre la doc.
Quelques points à noter :
  • Pour créer/éditer le fichier JSON, un simple "sudo nano injonctions.json" fait l'affaire
  • J'ai eu également besoin d'installer Mosquitto_Pub "sudo apt-get install mosquitto-clients"
En espérant que tout ça vous aide à tirer profit de ce bel assistant Snips associé à notre cher Jeedom, les GAFAs peuvent trembler ;) !
Salut,

Merci pour ce retour d’expérience. Cela semble effectivement plus intéressant que de forker l'appli. J'ai donc essayé d'injecter des mots mais ils ne sont toujours pas reconnus.

Lors de l'injection, j'ai le message suivant :

Code : Tout sélectionner

[21:50:14] [Asr] an injection of 3 words for 1 entities has been requested
[21:50:16] [Asr] was asked to reload its model
qui me laisse pensé que l'injection s'est bien passée mais le mot "chambre d'amis" n'est toujours pas reconnu. Il comprend seulement "chambre".

Code : Tout sélectionner

[22:03:26] [Hotword] detected on site default, for model default
[22:03:26] [Asr] was asked to stop listening on site default
[22:03:26] [Hotword] was asked to toggle itself 'off' on site default
[22:03:26] [Dialogue] session with id '6c7177cc-91e7-4d72-b836-0992b31909fb' was started on site default
[22:03:26] [AudioServer] was asked to play a wav of 41.1 kB with id '4f6b3ad0-5761-4914-a3ab-33d6ac5c524e' on site default
[22:03:26] [AudioServer] finished playing wav with id '4f6b3ad0-5761-4914-a3ab-33d6ac5c524e'
[22:03:26] [Asr] was asked to listen on site default
[22:03:30] [Asr] captured text "allume la lumière dans la chambre d'amis" in 3.0s
[22:03:30] [Asr] was asked to stop listening on site default
[22:03:30] [AudioServer] was asked to play a wav of 93.1 kB with id '0f23fffe-3fd6-4be0-9f99-0a26dc6c1147' on site default
[22:03:32] [AudioServer] finished playing wav with id '0f23fffe-3fd6-4be0-9f99-0a26dc6c1147'
[22:03:32] [Nlu] was asked to parse input allume la lumière dans la chambre d'amis
[22:03:32] [Nlu] detected intent valf:lightsSetJeedom with probability 0.861 for input "allume la lumière dans la chambre d'amis"
              Slots ->
                 house_room -> chambre
[22:03:32] [Dialogue] New intent detected valf:lightsSetJeedom with probability 0.861
              Slots ->
                 house_room -> chambre
[22:03:32] [Dialogue] was ask to end session with id 6c7177cc-91e7-4d72-b836-0992b31909fb by saying 'Désolé, je n’ai pas compris'
[22:03:32] [Tts] was asked to say "Désolé, je n’ai pas compris"
[22:03:32] [AudioServer] was asked to play a wav of 70.4 kB with id '2b9816cd-7824-4cc4-8bbd-49464fdff474' on site default
[22:03:35] [AudioServer] finished playing wav with id '2b9816cd-7824-4cc4-8bbd-49464fdff474'
[22:03:35] [Tts] finished speaking with id '6cacb5d0-e88d-4362-a442-b881a3ac13f3'
[22:03:35] [Dialogue] session with id '6c7177cc-91e7-4d72-b836-0992b31909fb' was ended on site default. The session ended as expected
[22:03:35] [Asr] was asked to stop listening on site default
[22:03:35] [Hotword] was asked to toggle itself 'on' on site default
Aurais-je loupé qqch ?

PS : de mon côté, pas eu besoin d'installer mosquitto_pub, il etait déjà présent sur mon rapberry.

Avatar de l’utilisateur
Jeandhom
Actif
Messages : 1373
Inscription : 20 oct. 2015, 17:32

Re: [Sujet officiel] l'assistant vocal Snips

Message par Jeandhom » 20 août 2018, 22:27

As-tu essayé ?
sudo systemctl stop snips-asr
sudo systemctl start snips-asr

Répondre

Revenir vers « Discussions Générales »

Qui est en ligne ?

Utilisateurs parcourant ce forum : Aucun utilisateur inscrit et 12 invités