[3.3] Преобразование голосового сообщения в текстовое

[Leo Angel]

Название расширения: Speech to Text Converter
Автор: Leo Angel (Расширение создано при помощи ИИ)
Использованный ИИ: Cursor при помощи Claude-3.5-sonnet
Описание расширения: Преобразует голосовые сообщения в текст в сообщениях форума
Язык: en, ru
Настройка (ACP): Нет
Скачать:

speech2text.zip

Установка: Скачать архив и расположить в leoangel\speech2text

Расширение "для лентяев".
Позволяет тем, кто не хочет писать, а хочет наговорить голосом своё сообщение.
Расширение преобразует голосовое сообщение в текст и вставляет его в поле для написания сообщений. Работает и в полном и в быстром ответах, показывает на странице темы в быстром и в полном ответах кнопку для записи голосового сообщения. При нажатии кнопки начинается запись голосового сообщения, при отпускании кнопки запись прекращается и после преобразования в текст показывается в поле сообщения.
Расширение использует Web Speech API для преобразования голоса в текст. Это накладывает определённые ограничения. Распознавание речи работает в таких мобильных браузерах - Google Chrome, Microsoft Edge или Opera. В настольных версиях браузера работает в Google Chrome, Microsoft Edge. В принципе, должно работать и в Safari (при условии включённой Siri), но я этого не проверял в связи с отсутствием "яблок". Ограничения компенсируются полной бесплатностью использования, нет никаких ограничений по времени использования, не нужно никаких дополнительных установок программного обеспечения, всё происходит на стороне клиента и ни на какие внешние серверы голосовые сообщения не отправляются.

При запуске распознавания речи браузер запросит у пользователя разрешение на доступ к микрофону. Если браузер не поддерживает Web Speech API, кнопка записи голоса не отображается.

Нужно упомянуть, что существует небольшая задержка по распознаванию. После нажатия на кнопку лучше подождать 1-2 секунды и потом начать говорить. Для приверженцев грамотной речи все знаки препинания можно произносить голосом, расширение это понимает. То есть, если сказать, например, "привет восклицательный знак как дела вопросительный знак", то в поле сообщения появится такой текст "Привет! Как дела?"

Расширение протестировано в Google Chrome, Opera, Microsoft Edge на телефоне и на PC в Google Chrome, Microsoft Edge на форумах (phpBB 3.3.15, php 8.0 и 8.3) со стандартным prosilver и на стиле Flat Style. Но в принципе, должно корректно работать на всех стилях на основе prosilver. Как будет работать на других версиях phpBB, php и в других браузерах, кроме указанных, не скажу - не тестировал.

Демо 

Быстрый ответ:

1.jpg

Полный ответ:

2.jpg

Смартфон - Предпросмотр

3.jpg

[rxu]

создано при помощи ИИ

Какого?

[Leo Angel]

Создано в Cursor при помощи Claude-3.5-sonnet
А это важно? Ну чтобы я знал на будущее.

[rxu]

Для полноты информации.

[romaamor]

Прикольно. Даже в голову такое не приходило.

[er107]

Был такой мод еще на phpbb 3.0.хх, работал и на десктопных браузерах. Вроде как автор была Татьяна5.

[Leo Angel]

Не видел. Ждём Татьяну. Интересно, как у неё было. Послушаем, что скажут гуру.

[Leo Angel]

Обновление. Версия 1.0.1.
Сделал расширение кроссбраузерным.
Теперь кнопка записи отображается одинаково во всех браузерах, которые поддерживают распознавание речи Web Speech API.
Протестировано на смартфонах в следующих браузерах:

• Google Chrome,
• Microsoft Edge,
• Opera,
• Яндекс

На десктопных версиях в следующих браузерах:

• Google Chrome,
• Microsoft Edge,
• Яндекс

Ссылка в первом посту обновлена

[Siava]

Код: Выделить всё

	static public function getSubscribedEvents()
	{
		return array(
			'core.posting_modify_template_vars' => 'add_voice_recognition',
			'core.page_header_after' => 'add_voice_recognition_assets',
			'core.viewtopic_modify_page_title' => 'add_voice_recognition',
			'core.viewtopic_modify_post_row_buttons' => 'add_voice_recognition',
			'core.viewtopic_quickreply_before' => 'add_voice_recognition',
			'core.viewtopic_quickreply_after' => 'add_voice_recognition',
			'core.viewtopic_quickreply_template' => 'add_voice_recognition',
			'core.viewtopic_quickreply_form_before' => 'add_voice_recognition',
			'core.viewtopic_quickreply_form_after' => 'add_voice_recognition',
			'core.viewtopic_quickreply_modify_template_vars' => 'add_voice_recognition',
			'core.viewtopic_quickreply_display_template' => 'add_voice_recognition',
		);
	}

	/**
	 * Add voice recognition to posting page
	 *
	 * @param \phpbb\event\data $event The event object
	 * @return void
	 */
	public function add_voice_recognition($event)
	{
		$this->template->assign_vars(array(
			'S_VOICE_RECOGNITION' => true,
			'L_VOICE_RECORD' => 'Записать голосовое сообщение',
			'L_VOICE_STOP' => 'Остановить запись',
			'L_VOICE_UPLOADING' => 'Загрузка голосового сообщения...',
			'L_VOICE_ERROR' => 'Ошибка при обработке голосового сообщения',
			'L_VOICE_SUCCESS' => 'Голосовое сообщение успешно преобразовано в текст',
			'L_VOICE_BROWSER_NOT_SUPPORTED' => 'Ваш браузер не поддерживает функцию распознавания речи. Пожалуйста, используйте Google Chrome, Microsoft Edge или Opera для работы с голосовыми сообщениями.',
			'L_VOICE_MICROPHONE_PERMISSION' => 'Для работы с голосовыми сообщениями необходимо разрешить доступ к микрофону.',
			'L_VOICE_MICROPHONE_ERROR' => 'Ошибка доступа к микрофону. Пожалуйста, проверьте настройки браузера.',
		));
	}

тут ИИ перестарался

[Татьяна5]

И заодно недостарался по части строк прям в коде

Отправлено спустя 2 минуты 23 секунды:
Мод вот он Voice typing for phpBB - голосовой набор текста

Отправлено спустя 7 минут 11 секунд:
А что тут-то происходит? Создана отдельная таблица под голосовые, в которые должна идти запись, но по коду - не идёт

[Michel]

У меня браузер на мобиле в штатном режиме имеет данную функцию. А на ПК мне кажется мало кто сидит с микрофоном на форуме. А так расширение конечно интересное. Имело бы больше смысла имея горячие клавиши для запуска, и желательно в обратно порядке тоже. Т.е. кликнув на иконку или нажав опять же горячие клавиши, чтоб голос читал сообщение. Удобно для людей с ограниченными возможностями.

[KEMnEP]

Т.е. кликнув на иконку или нажав опять же горячие клавиши, чтоб голос читал сообщение. Удобно для людей с ограниченными возможностями.

которым кнопку ещё саму найти надо, для этого и существует скринридеры.

А что тут-то происходит?

код ии это не про сделать качествеено и по уму, а что бы хоть как то работало, если ии ведёт проект, а не человек.

На данном этапе ии это помощник прогрммиста, а не замена его. Если конечно интересует оптимизация и красота кода. Но если важен только результат, то и так работает

[er107]

код ии это не про сделать качествеено и по уму, а что бы хоть как то работало

А что еще делать, если к нашим исполнителям не достучаться? Например я ответа годами жду (реально по несколько лет и не только я один) и приходится для мелких работ привлекать чатгпт.

[KEMnEP]

приходится для мелких работ привлекать чатгпт

я не говорил, что это плохо, просто у каждого инструмента есть свои недостатки, и хорошо бы их знать, прежде чем делать выбор. Как и в прочем и удивляться им не стоит, на безрыбье... В любом случае это поправимо, и помогает людям изучать основы программирования, что есть хорошо .

[Leo Angel]

Ну, раз мы немного отошли от темы самого расширения и говорим про разработку расширений с помощью ИИ, то позволю себе обозначить свой взгляд на это.
На данном этапе то, что предлагает ИИ процентов на 50 неверно в принципе. Я очень много раз останавливал потуги ИИ сделать то, о чём я его не просил и подсказывал в каком направлении идти. Да, многие вещи ИИ делает лучше человека. Ну по крайней мере, меня. Рутинную работу он выполняет на таком уровне, что мне ещё "копать и копать", но если разработчик не понимает что делает ИИ и в каком направлении ему двигаться и какие глобальные инструменты применять, то расширение однозначно не состоится. Вчёрную это моё расширение было готово за день, я определил модель распознавания речи, функционал и инструменты. Потом ещё неделю я приводил в порядок стили, порядок работы, что-где-как должно быть, что убрать, что добавить. ИИ ходил по кругу, лез в дебри (что меня бесило неподецки), вставлял сообщения в консоль и т.д. и т.п., но если бы я не разбирался бы со всем этими тонкостями, то то, что написал в конце концов ИИ было бы неработоспособно в принципе. Да, как выяснилось, в коде остались хвосты и комментарии от старых проверок и экспериментов, которые ИИ говорил, что убрал, а по факту нет.
Я по основной профессии электронщик, не программист. Естественно, я знаю несколько языков и сред для разработки по моей специальности, но они достаточно далеки и от php и от SQL и JS и всего того,что должен знать программист-разработчик форумных движков и расширений. Но для меня написание расширений даже не хобби, а, скорее, время препровождение, изучение новых языков и возможностей, включая возможности ИИ.
Ну и в моём возрасте написание расширений (даже с помощью ИИ) это, кроме всего прочего, отличная зарядка для ума, типа, чтобы мозг не расслаблялся! Если моё расширение кому-то поможет, то уже хорошо! Значит, я не зря разбирался и гонял ИИ "в хвост и в гриву"!

Я очень надеюсь, что наши ГУРУ подскажут мне что я (или ИИ) сделал не не так и как сделать лучше. Можно здесь, можно в личку. И кстати, всем спасибо за комментарии. Уже практически готова новая версия со всеми теми изменениями, что написали тут Siava и Татьяна5. Сейчас проверю на реальном сервере и выложу новую версию в первом сообщении.