Учебное пособие по iOS Speech API

Теперь давайте напишем функцию для выполнения реальной работы. Мы будем заполнять тело этой функции шаг за шагом.

 speechRecognizer = SFSpeechRecognizer(locale: Locale.init(identifier: "sq-AL"))
speechRecognizer?.delegate = self

Проверьте, выполняется ли задача распознавания, и отмените ее, чтобы начать новую.

 private func startListening() {

}

Попробуйте активировать аудио сеанс .

 if recognitionTask != nil {
    recognitionTask?.cancel()
    recognitionTask = nil
}

Создайте запрос распознавания, который будет принимать в качестве входного аудиобуфера . Затем проверьте узел ввода аудио движка . Если нет входного узла , это означает, что устройство не имеет микрофона, откуда можно получить звук.

 let audioSession = AVAudioSession.sharedInstance()
do {
    try audioSession.setCategory(AVAudioSessionCategoryRecord)
    try audioSession.setMode(AVAudioSessionModeMeasurement)
    try audioSession.setActive(true, with: .notifyOthersOnDeactivation)
} catch let error {
    noteLabel.text = "An error occurred when starting audio session. \(error.localizedDescription)"
    return
}

Затем запустите задачу распознавания . По результатам мы можем получить список возможных транскрипций. В противном случае, придерживайтесь recognitionRequest = SFSpeechAudioBufferRecognitionRequest()

guard let recognitionRequest = recognitionRequest else {
fatalError("Unable to create an SFSpeechAudioBufferRecognitionRequest object")
}
bestTranscription Обработчик завершения может вызываться много раз. Мы проверяем, закончил ли пользователь запись по значению noteLabel Если это так или произошла ошибка в процессе распознавания, звуковой движок останавливается. Задача затем устанавливается на result.isFinal

 nil

При получении звука с микрофона он добавляется в буфер в памяти. Это передается в recognitionTask = speechRecognizer?.recognitionTask(with: recognitionRequest, resultHandler: { (result, error) in

self.noteLabel.text = "Tap to listen"
}
})
recognitionRequest

 let recordingFormat = inputNode.outputFormat(forBus: 0)
inputNode.installTap(onBus: 0, bufferSize: 1024, format: recordingFormat) { (buffer, when) in
    self.recognitionRequest?.append(buffer)
}

Наконец, подготовьте и запустите AVAudioEngine

 audioEngine.prepare()

do {
    try audioEngine.start()
} catch let error {
    noteLabel.text = "An error occurred starting audio engine. \(error.localizedDescription)"
}

Следующая функция — «кнопка паники», чтобы остановить все. Это полезно, когда пользователь снова нажимает на вид, приложение переходит в фоновый режим или в подобные сценарии.

 private func stopListening() {
    self.audioEngine.stop()
    self.recognitionRequest?.endAudio()
}

Давайте обновим функцию tappedButton Код выполняется в основном потоке. В зависимости от значения listening Затем, если пользователь предоставил разрешение, приложение запускает или останавливает прослушивание аудиовхода .

 DispatchQueue.main.async {
    if self.listening {
        self.listening = false
        self.microphoneImageView.image = UIImage(named: "Microphone")

        if granted {
            self.stopListening()
        }
    } else {
        self.listening = true
        self.microphoneImageView.image = UIImage(named: "Microphone Filled")
        self.noteLabel.text = message

        if granted {
            self.startListening()
        }
    }
}

Существуют разные причины, по которым распознаватель становится недоступным. Потеря подключения к Интернету или изменение разрешений в настройках — это два из них. Добавьте слушателя для обработки этого случая. Когда распознаватель становится недоступным, button Когда он снова становится доступным, button

 func speechRecognizer(_ speechRecognizer: SFSpeechRecognizer, availabilityDidChange available: Bool) {
    button.isEnabled = available
    if available {
        listening = true
        noteLabel.text = "Tap to listen"
        tappedButton()
    } else {
        noteLabel.text = "Recognition is not available."
    }
}

Время для речи

Мы наконец готовы увидеть наше приложение в действии. Симулятор не помогает в этом случае, нам нужно реальное устройство под управлением iOS 10. После запуска проекта коснитесь экрана телефона, и появится сообщение «Listening…». Немного креативности в выборе того, что сказать — это весело. Я застрял с простым приветствием.

Я не использую речевые текстовые или голосовые команды ежедневно. Добавив тот факт, что я не являюсь носителем английского языка, приложение сначала немного затруднилось, чтобы дать правильный вывод. Тем не менее, чем больше вы используете его, тем лучше, и точность является приемлемой.

ограничения

Помимо преимуществ Speech API , есть и некоторые ограничения. Эти ограничения относятся к продолжительности аудио и доступности API. Для iOS 10 ограничение продолжительности звука составляет одну минуту.

Доступность устройств ограничена тем, сколько распознаваний они могут выполнять ежедневно. Это также действительно для признаний в приложении. Apple посоветовала обратиться за поддержкой, если этот предел часто достигается.

Еще одна вещь, которую стоит отметить, — это сильное влияние на разрядку аккумулятора и сетевой трафик. Так что лучше следить за длительными сессиями и использованием мобильных данных .

Лучшие практики

Чтобы обеспечить наилучшее взаимодействие с пользователем, необходимо принять во внимание некоторые моменты.

• Первое, что я хотел бы упомянуть, это убедиться, что пользователь знает, что происходит. Взаимодействуйте с пользователем, сообщите ему, что происходит распознавание или что он записывается.
• Использование распознавания речи для ввода пароля, номера кредитной карты или других конфиденциальных данных — плохой выбор.
• Готовьтесь к любому сценарию. Процесс может потерпеть неудачу по многим причинам. Начиная с превышения лимита, до потери интернет-соединения, до пользователя, прерывающего операцию. Обработайте эти случаи с надлежащим сообщением.

Вывод

Речевой фреймворк — отличное дополнение к iOS 10, использующее ту же технологию, что и Siri и Dictation . Он обеспечивает результаты без необходимости сбора пользовательских данных, и его легко реализовать. Он предлагает больше контекста по результатам: информация о времени, уровень достоверности и альтернативные интерпретации.

Получайте удовольствие, используя этот API в своих приложениях!

Пусть кодекс будет с вами!

Ссылки

• Документация
• WWDC 2016, сессия 509: API распознавания речи