Коли домашній помічник працює в моїй домашній лабораторії, я повільно намагаюся зберегти більшість своїх даних місцевими. Далі, я почав використовувати місцеві LLM з домашнім помічником, щоб вивчити ступінь досягнення багато чого без будь -якої хмарної залежності. Звичайно, продуктивність локального LLM безпосередньо залежить від сили процесора та GPU, яку він використовує. Маючи це на увазі, я намагався інтегрувати розумну автоматизацію будинку в домашній помічник з місцевими LLMS.
Якщо у вас є старий комп'ютер або хочете спробувати SBC, він може в основному запустити домашній помічник і певною мірою автоматизувати свій розумний будинок. Це те, що я мав на меті в своїх спробах, де я використовував Raspberry Pi 4 та робочий стіл Windows 11 з відеокартом RTX 3080 для живлення локальних LLM. Ось кілька способів використання домашнього помічника з місцевим LLM. Озираючись назад, я б хотів, щоб я це зробив раніше.
Пов'язаний
Я замінив Google Home на домашній помічник та місцевий LLM, і я не дивлюся назад
Я майже повністю вийшов у відставку Google у своєму будинку.
5
Залучення до голосового контролю з домашнім помічником
Використання трубопроводу розмови
Після початку невеликого, я хотів використовувати голосові команди для управління розумними пристроями. Хоча вбудований трубопровід асистентів був хорошим, я хотів трохи більш інтуїтивно зрозумілий досвід. Потім я інтегрував автоматизацію домашнього помічника з місцевими LLM, такими як Ollama. Щоб все це відбулося, я використовував інтеграцію Ollama, щоб діяти як агент розмови та двигун мови до тексту, щоб працювати з новою мовою до фрази. Додатковий соус з генеративного AI, що працює на місцевому рівні, допомагав у контекстній обізнаності щодо контролю вогнів, вентиляторів та інших пристроїв на основі часу, погоди, попередніх команд та присутності інших. Я влаштувався з смарт -динаміком Atom Atom Atom Atom Atom Echo, оскільки у мене немає домашнього асистента з попереднім переглядом голосового перегляду. Я використовую голосовий контроль для запуску автоматизації та ланцюга декількох команд з деякою природною мовою в домашньому помічнику, все завдяки місцевому LLM.
4
Отримайте короткі підсумки для завдань та заходів
Суть речей, щоб пройти
Я завжди боровся з повідомленнями про погоду, які показують кілька номерів з іконами. Інформаційна панель домашнього помічника відображає всі прогнози погоди бездоганно, незалежно від того, яку інтеграцію погоди ви використовуєте. Щоб зробити кращий вибір одягу, я автоматизував домашній помічник, щоб зібрати дані прогнозування погоди як лаконічний запит та поділитися ними з місцевим LLM, щоб реагувати на щоденні поради щодо відповідного одягу та аксесуарів. Також я запускаю щоденну автоматизацію, яка рекомендує завдання в приміщенні та на відкритому повітрі на основі погодних умов. Виходячи з цього, я іноді змушую місцевий LLM допомагати встановити нагадування про конкретні завдання. Ми з моєю родиною легко дотримуватися цих підсумків природних мов, а не інформацією, розкиданою у табличному форматі.
3
Спілкування з помічником, який має власну голосову особистість
Жування жиру з LLM
Через кілька тижнів слова пробудження та голосові відповіді почали відчувати сухість і повторювані, коли я просив підсумки погоди чи завдань від домашнього помічника. Я вирішив змінити підказку, щоб вимагати дотепних та зухвалих відповідей з місцевої генеративної моделі AI. Мої експерименти здебільшого відбувалися з моделями Mistral та Llama3 для Ollama, хоча і з вишуканим підказкою, який підкреслив прохання кмітливості та гумору у відповідях. Після мого колеги, експериментів Адама Конвей, я налаштував спеціальний голос Glados з портальної гри для голосового помічника. Використовуючи спеціальну голосову відповідь спеціально для мене, я вчуся кращого та чіткіше підказки для локальної генеративної моделі AI для обробки та легкого реагування.
2
Отримання ключових сповіщень та сповіщень про події
Автоматизація на основі власної події
Налаштування автоматизації для мене стало легко. З часом я оптимізував автоматизацію, додавши кілька умов, щоб перевірити, перш ніж передати остаточну дію або тригер. Наприклад, я часто забуваю вимкнути лампу в своїй кімнаті, тому я встановив розширену автоматизацію. Відповідь локального LLM у звичайному тексті надходить як сповіщення за допомогою кнопок, що можна вказати, чи хочу я залишити його, або вимкнути його. Були випадки, коли простіші автоматизації вимкнуть його або залишають. Для певних розумних пристроїв стало необхідним перевірити їхні стани – чи вони були вмикання чи вимикання. У таких випадках було простіше використовувати місцевий LLM для оцінки сценарію і, залежно від цього, надсилає дійсне повідомлення. Такі дії, що підлягають дію, також певною мірою допомагають керувати ними та споживанням енергії.
1
Аудіо описи зображень із подачі камери
Зробіть локальний LLM описати зображення
Я деякий час розглядав відео -дзвінок або камеру безпеки, і не міг повністю виправдати його використання. Однак я натрапив на відео, яке надихнуло мене на користь використання зображень, знятих з каналу камери.
Замість відео я вважав за краще, щоб локальний LLM міг проаналізувати зображення камери. Це було дуже корисно відстежувати людину, яка взяла мою пляшку з водою для “зберігання”. Мені потрібно було встановити інтеграцію Vision LLM з HAC, а потім використовувати її з локальним LLM для аналізу відеозображення та фрегатних подій. Хоча це незавершена робота, я оцінюю довгострокові переваги його використання.
Пов'язаний
Я використовую цей крихітний LLM для управління своїм розумним домом
Інтеграція Ollama з домашнім помічником була найкращим рішенням, яке я коли -небудь приймав для свого розумного дому
Більш природний та гнучкий спосіб поводження з розумними домашніми пристроями
Після інтеграції місцевої роботи з LLM з домашнім помічником я оцінив чуйність цієї системи. Він спрацював навіть без підключення до Інтернету, не надсилало жодних даних поза моєю домашньою мережею та усунув хмарну залежність. Хоча мої результати були для мене прийнятними та задовільними, я настійно рекомендую використовувати кращі обладнання (процесор та графічний процесор) для запуску більших моделей AI для локальних LLMS за допомогою LM Studio на Windows. Однак ви завжди можете перевірити місцевий LLM з домашнім помічником на Raspberry Pi, якщо у вас є один, що лежить. Це допоможе вам краще зрозуміти свої вимоги, перш ніж купувати будь -яке дороге обладнання для вашої домашньої лабораторії.