文字起こしの仕組み

Pulseは、会議の音声を文字起こしし、そのテキストをもとにAIで整形されたノートを作ります。文字起こしは自動的に始まるものではなく、利用者がノートを開くという操作を起点に動きます。この記事では、どのタイミングで文字起こしが始まり、どのタイミングで止まるのか、どの音声が取得されるのか、精度を上げるために何ができるのか、そして出来上がったテキストをどう取り出すのかを説明します。

#文字起こしが始まる4つの条件

Pulseが音声の取得と文字起こしを開始するのは、次のいずれかの操作をしたときだけです。自動では始まりません。

1. 通知をクリックする。会議開始前に表示される通知をクリックすると、ビデオ会議のURLが開き、あわせてその会議のノートが開いて文字起こしが始まります。
2. 開始時刻を過ぎた予定をホーム画面から開く。予定の開始時刻をすでに過ぎている会議をホーム画面から開くと、その時点で始まります。
3. ［＋ 新規ノート］をクリックする。画面右上のボタンから新しいノートを開きます。カレンダーに登録していない突発の打ち合わせでは、この方法を使います。
4. 開始前の予定を開いておく。これから始まる会議のノートをあらかじめ開いた状態にしておくと、カレンダー上の開始時刻になった時点で自動的に始まります。

逆に言えば、ノートを開く操作をしていない会議が勝手に文字起こしされることはありません。会議が始まったのに文字起こしが動いていないように見えるときは、その会議のノート（または新規ノート）を開いているか、そしてカレンダー上ですでに開始時刻を過ぎているかを確認してください。

#録音ボットは参加しません

Pulseは、会議に参加者として入室する録音ボットを使いません。処理は利用者のパソコン上で動き、パソコンのシステム音声とマイクから音を受け取ります。参加者一覧に見慣れないアカウントが増えることはなく、会議の主催者側でボットの入室を許可する設定も必要ありません。この仕組みのため、文字起こしはパソコン上でデスクトップアプリが動いている間だけ行われます。

図画面キャプチャ: 会議中のノート画面。下部に音声取得中を示す緑色のバーが表示されている

文字起こしが動作している状態のノート画面全体。右下にチャット欄、その左に文字起こしパネルを開くアイコンが並ぶ。

#文字起こし中かどうかを見分ける

ノートを開いている間、画面下部に緑色の波形バーが動いていれば、音声の取得が行われています。バーが動いていない場合は音声が届いていないため、文字起こしがうまくいかないの手順で入力デバイスを確認してください。

画面下部のチャット欄「何でも質問」の左側に、音声の波形を模した小さなアイコンがあります。これをクリックすると、文字起こしパネルの表示と非表示が切り替わり、文字に変換されたテキストがその場で流れていきます。

他のアプリを前面に出している間は、画面の右端に会議中であることを示すインジケーターが浮かびます。クリックすると会議のノートに戻り、下部の取っ手をドラッグすれば表示位置を動かせます。

#文字起こしパネルでできること

ブロック単位の削除は、会議中に本題と関係のない雑談が入った場合や、記録に残したくない発言があった場合に使えます。削除したブロックは文字起こしから取り除かれます。

#色分けの見方

文字起こしの各ブロックは、音がどこから入ってきたかによって色と位置が変わります。

• 灰色の吹き出し（左寄せ）: システム音声から取得したもの。通常は自分以外の参加者の発言です。
• 緑色の吹き出し（右寄せ）: 自分のマイクから取得したもの。つまり自分の発言です。

話者ラベルを設定していない状態では、この2つの区別だけが手がかりになります。

#文字起こしが止まる条件

画面下部の停止ボタンを押せば、いつでも文字起こしを終了できます。加えて、次の状況では自動的に停止します。

• 会議が終わったと判定されたとき。判定には、文字起こしの長さ、会議アプリ（Zoom、Microsoft Teams、Google Meet など）を使い続けているかどうか、そしてカレンダーと紐づいた会議であれば予定上の終了時刻が使われます。
• 新しい音声が15分間まったく検出されなかったとき。
• パソコンをスリープさせたとき。

#カレンダーに紐づかない会議での注意

カレンダーの予定と結び付いた会議では、予定上の終了時刻が終了判定の材料のひとつになります。これに対して、［＋ 新規ノート］から始めた突発の打ち合わせには予定終了時刻がないため、会議アプリがマイクを使わなくなったかどうかだけが手がかりになります。

このため、通話を切ったあとも同じ部屋で会話を続けているような場合、音声が途切れないまま15分の無音タイマーも作動せず、文字起こしが続いてしまうことがあります。カレンダーに載っていない会議では、終わった時点で停止ボタンを押すのが最も確実です。

#macOS で自動終了が働かない場合

macOS では、会議の自動終了判定にそのMacの管理者権限が必要です。会社支給の端末など、管理者権限が付与されていない環境では自動終了が機能しないため、会議が終わったら手動で停止ボタンを押してください。

#会議が連続しているとき

1つ目の会議から続けて2つ目の会議に入ると、会議アプリが2つの通話の間もマイクを掴んだままになることがあります。この状態では1つ目の会議が終わったことを検出できず、2つの会議が1本の文字起こしとして繋がってしまう場合があります。会議ごとに別のノートを残したいときは、間で一度停止ボタンを押してください。

#終了後に再開する

会議が終わってノートが生成されたあとでも、同じノートで文字起こしを再開できます。文字起こしパネル（チャット欄の左にある波形アイコン）を開き、「再開」をクリックすると、新しい音声が既存の文字起こしの続きとして追記されます。追記後にノートを再生成すれば、後半の内容も要約に反映されます。

#取得される音声の範囲

Pulseは、パソコンのシステム音声とマイク入力を取得します。システム音声とは、パソコンが再生している音のことで、通常は自分以外の参加者の発言がここに含まれます。マイク入力は自分の発言です。音声がパソコンを通って再生される通話であれば、IP電話やインターネット通話アプリからの音声も文字起こしできます。これらの通話はカレンダーと結び付かないので、［＋ 新規ノート］から開始し、音声デバイスの設定が会議で使っている入出力と一致しているかを確認してください。

アプリごとに音声を切り分けることはできません。取得されるのはシステム全体の音声をまとめたものです。会議中に音楽や動画を再生すると、出力先のデバイスを分けていても、その音まで文字起こしに含まれます。

音声は文字起こしを行う目的で、マイクとシステム音声からUNCHAIN株式会社が委託する文字起こし処理の事業者へ直接渡されます。通話中の音声や映像そのものを録音・保存する仕組みは持たないため、あとから会議の音声ファイルを取り出すことはできません。文字起こしテキストの保存期間については、文字起こしの自動削除とセキュリティ対策を参照してください。

また、Pulseはその場で進行している会議の文字起こしを前提とした設計です。あらかじめ録音してあるMP3などの音声ファイルを読み込んで文字起こしすることはできません。

#話者を区別する

話者ラベルを有効にすると、文字起こしに「自分」「相手」ではなく参加者の表示名が入ります。対応している会議ツール、必要な設定、識別できる範囲は話者ラベルにまとめています。

話者ラベルが使えない、または未設定の環境では、文字起こしには「自分」と「相手」だけが表示されます。「自分」はマイク入力、「相手」はシステム音声に対応します。この状態でも、前後の文脈から誰の発言かが推測されてノートに反映されることが多く、名前が違っていればノート上で直接修正するか、チャットに修正を指示できます。

#精度を上げる

文字起こしの精度は、入ってくる音の質と、語彙の登録状況に大きく左右されます。次の3点を確認してください。

1. 固有名詞を登録する。社名、製品名、社内用語、担当者名などは、［設定］の言語設定にある個人用のジャーゴンに登録します。管理者がワークスペース単位のジャーゴンを設定している場合は、そちらも適用されます。手順は文字起こしのカスタマイズを参照してください。
2. 音声デバイスの設定を合わせる。会議アプリが使っている入出力デバイスと、Pulseが音を取得しているデバイスが一致している必要があります。マイクの入力音量が小さすぎないかもあわせて確認します。
3. 必要に応じてヘッドセットを使う。周囲の雑音や、スピーカーから出た音がマイクに回り込む現象を抑えられます。オフィスの共有スペースや複数人が同じ部屋から参加する会議では効果が出やすくなります。

#文字起こしを書き出す

文字起こしのテキストは、パネルからコピーして他のツールに貼り付けられます。

1. 会議のノートを開き、画面下部のチャット欄の左にある波形アイコンをクリックして文字起こしパネルを開きます。
2. 全文をコピーする場合は、パネル右上のコピーアイコンをクリックします。
3. 一部分だけが必要な場合は、対象のブロックをクリックし、表示されたコピーアイコンをクリックします。
4. 不要なブロックは、同じ操作で表示される削除アイコンから文字起こしから取り除けます。

ノートごと他のツールへ渡したい場合は、ノートを書き出すの手順を使ってください。

#うまくいかないときは

• 文字起こしが始まらない: ノートを開いているか、カレンダー上で開始時刻を過ぎているかを確認します。それでも始まらない場合は、音声デバイスの設定を確認したうえでアプリを再起動してください。詳しい手順は文字起こしがうまくいかないにあります。
• 2つの会議が1本にまとまってしまった: 会議アプリがマイクを掴み続けていたことが原因と考えられます。次回から会議の間で停止ボタンを押してください。
• 会議が終わっても止まらない: macOS で管理者権限がない環境では自動終了が働きません。停止ボタンで手動終了してください。

相手の声だけが入らない場合は、システム音声を取得できていない可能性があります。確認する場所はOSによって異なります。