自然語言處理(NLP)是指使用諸如英語之類的自然語言與智能系統(tǒng)進(jìn)行通信的 AI 方法。

如果您希望智能系統(tǒng)(如機(jī)器人)按照您的指示執(zhí)行操作，希望聽取基于對話的臨床專家系統(tǒng)的決策時(shí)，則需要處理自然語言。

NLP 領(lǐng)域涉及使計(jì)算機(jī)用人類使用的自然語言執(zhí)行有用的任務(wù)。 NLP 系統(tǒng)的輸入和輸出可以是 -

• 言語(說話)
• 書面文字

NLP的組成部分

在本節(jié)中，我們將了解 NLP 的不同組件。 NLP 有兩個組件。 這些組件如下所述 -

1. 自然語言理解(NLU)

它涉及以下任務(wù) -

• 將給定的自然語言輸入映射為有用的表示。
• 分析語言的不同方面。

2. 自然語言生成(NLG)

它是從一些內(nèi)部表現(xiàn)形式以自然語言的形式產(chǎn)生有意義的短語和句子的過程。 它涉及 -

• 文字規(guī)劃 - 這包括從知識庫中檢索相關(guān)內(nèi)容。
• 句子規(guī)劃 - 這包括選擇所需的單詞，形成有意義的短語，設(shè)定句子的語氣。
• 文本實(shí)現(xiàn) - 這是將句子計(jì)劃映射到句子結(jié)構(gòu)。

NLU的難點(diǎn)

NLU的形式和結(jié)構(gòu)非常豐富， 然而，它是不明確的。 可能會有不同程度的模糊性 -

詞匯含糊不清 它處于一個非常原始的層面，如單詞級別。 例如，將單詞“board”視為名詞或動詞？

語法級別歧義 一個句子可以用不同的方式解析。 例如，“他用紅色帽子舉起甲蟲?！?- 他用帽子舉起甲蟲，還是舉起了一頂帶有紅色帽子的甲蟲？

參照歧義 參考使用代詞的東西。 例如，里馬去了高里。 她說，“我累了。” - 究竟是誰累？

NLP 術(shù)語

現(xiàn)在讓我們看看 NLP 術(shù)語中的一些重要術(shù)語。

• 音韻 - 這是系統(tǒng)地組織聲音的研究。
• 形態(tài) - 這是建設(shè)從原始的有意義的單位的話的研究。
• 語素 - 它是語言中意義的原始單位。
• 語法 - 它是指安排單詞來表達(dá)一個句子。 它還涉及確定單詞在句子和短語中的結(jié)構(gòu)作用。
• 語義 - 它涉及單詞的含義以及如何將單詞組合成有意義的短語和句子。
• 語用學(xué) - 它處理在不同情況下使用和理解句子以及句子的解釋如何受到影響。
• 話語 - 它處理前面的句子如何影響下一句話的解釋。
• 世界知識 - 它包括關(guān)于世界的一般知識。

NLP 步驟

本節(jié)介紹 NLP 中的分析步驟。

詞匯分析 它涉及識別和分析單詞的結(jié)構(gòu)。 語言的詞匯表示語言中的單詞和短語的集合。 詞法分析將整個 txt 塊分成段落，句子和單詞。

句法分析(解析) 它涉及分析句子中的單詞，語法和安排單詞的方式，以顯示單詞之間的關(guān)系。“The school goes to boy”等句子被英語句法分析器拒絕。

語義分析 它從文本中提取確切含義或字典含義。 文本被檢查是否有意義。 它通過映射任務(wù)域中的語法結(jié)構(gòu)和對象來完成。語義分析器忽視諸如“熱冰淇淋”之類的句子。

話語整合 任何句子的含義都取決于在它之前的句子的含義。 此外，它也帶來了緊接著的后續(xù)句子的含義。

語用分析 在此期間，所說的重新解釋了它的實(shí)際意義。 它涉及推導(dǎo)需要真實(shí)世界知識的語言方面。