无人机视觉语言导航从入门到精通（十五）：视觉语言模型在 VLN 中的应用

摘要

视觉语言模型（Vision-Language Model, VLM）将视觉理解与语言能力统一在同一个模型框架中，为视觉语言导航带来了革命性的变化。本文将系统介绍 GPT-4V、LLaVA、Qwen-VL 等主流 VLM 的能力特点，以及它们在 VLN 任务中的应用方式、优势和局限性。通过本文的学习，读者将掌握如何利用 VLM 的多模态理解能力构建更强大的导航系统。

关键词：视觉语言模型、GPT-4V、LLaVA、Qwen-VL、多模态理解、具身智能

---

一、引言

在上一篇文章中，我们介绍了大语言模型在导航决策中的应用。然而，纯语言模型需要依赖外部视觉模块提供场景描述，这种管道式架构存在信息损失和误差累积问题。

**视觉语言模型（VLM）**直接处理图像和文本，实现端到端的多模态理解：

• 统一表示：视觉和语言在同一空间中对齐
• 直接感知：无需外部视觉模块
• 丰富推理：结合视觉细节进行推理
• 灵活交互：支持自然语言问答

---

二、主流视觉语言模型

2.1 GPT-4V(ision)

GPT-4V 是 OpenAI 推出的多模态版本 GPT-4，具备强大的视觉理解能力。

核心能力：

能力	描述	VLN 相关性
场景理解	识别物体、空间关系	高
文字识别	OCR、标识牌阅读	中
空间推理	深度、方向估计	高
常识推理	功能、用途推断	高
计数与定位	物体数量和位置	中

VLN 适用性：

# GPT-4V 导航示例
import openai
import base64

def encode_image(image_path):
    with open(image_path, "rb") as f:
        return base64.b64encode(f.read()).decode("utf-8")

def gpt4v_navigate(image_path, instruction, history):
    image_data = encode_image(image_path)

    response = openai.ChatCompletion.create(
        model="gpt-4-vision-preview",
        messages=[
            {
                "role": "system",
                "content": "You are a navigation agent. Analyze the image and follow the instruction."
            },
            {
                "role": "user",
                "content": [
                    {
                        "type": "text",
                        "text": f"Instruction: {instruction}\nHistory: {history}\nWhat action should I take?"
                    },
                    {
                        "type": "image_url",
                        "image_url": {"url": f"data:image/jpeg;base64,{image_data}"}
                    }
                ]
            }
        ],
        max_tokens=500
    )

    return response.choices[0].message.content

优势：

• 强大的零样本能力
• 丰富的世界知识
• 良好的指令遵循

局限：

• API 调用成本高
• 推理延迟较大
• 无法本地部署

2.2 LLaVA 系列

**LLaVA（Large Language and Vision Assistant）**是开源的视觉语言模型，具有良好的性能和可定制性。

架构设计：

版本演进：

版本	特点	参数量
LLaVA-1.0	基础视觉对话	7B/13B
LLaVA-1.5	高分辨率支持	7B/13B
LLaVA-1.6	动态分辨率、更强推理	7B/13B/34B
LLaVA-NeXT	视频理解支持	7B-72B

本地部署：

from llava.model.builder import load_pretrained_model
from llava.mm_utils import process_images, tokenizer_image_token
from llava.constants import IMAGE_TOKEN_INDEX
from PIL import Image
import torch

# 加载模型
tokenizer, model, image_processor, context_len = load_pretrained_model(
    model_path="liuhaotian/llava-v1.6-vicuna-7b",
    model_base=None,
    model_name="llava-v1.6-vicuna-7b"
)

def llava_navigate(image_path, instruction):
    image = Image.open(image_path)
    image_tensor = process_images([image], image_processor, model.config)

    prompt = f"<image>\nInstruction: {instruction}\nBased on the image, what navigation action should I take?"

    input_ids = tokenizer_image_token(
        prompt, tokenizer,
        IMAGE_TOKEN_INDEX,
        return_tensors='pt'
    ).unsqueeze(0).cuda()

    with torch.no_grad():
        output_ids = model.generate(
            input_ids,
            images=image_tensor.cuda(),
            max_new_tokens=256,
            do_sample=False
        )

    output = tokenizer.decode(output_ids[0], skip_special_tokens=True)
    return output

2.3 Qwen-VL 系列

Qwen-VL 是阿里云推出的视觉语言模型，支持中英双语。

特点：

• 多图理解能力
• 细粒度视觉定位
• 中文理解优势
• 支持边界框输出

架构：

$$\text{Qwen-VL}=\text{ViT-G}+\text{Resampler}+\text{Qwen-LM}$$

VLN 应用示例：

from transformers import AutoModelForCausalLM, AutoTokenizer
from PIL import Image

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen-VL-Chat",
    device_map="auto",
    trust_remote_code=True
).eval()
tokenizer = AutoTokenizer.from_pretrained(
    "Qwen/Qwen-VL-Chat",
    trust_remote_code=True
)

def qwen_navigate(image_path, instruction):
    query = tokenizer.from_list_format([
        {'image': image_path},
        {'text': f'导航指令：{instruction}\n请分析图像并告诉我下一步应该怎么走？'}
    ])

    response, history = model.chat(tokenizer, query=query, history=None)
    return response

2.4 其他重要 VLM

InternVL：

• 开源最强 VLM 之一
• 支持动态分辨率
• 强大的 OCR 能力

CogVLM：

• 视觉专家架构
• 高分辨率理解
• 灵活的部署选项

MiniGPT-4 / MiniGPT-v2：

• 轻量级设计
• 易于微调
• 资源友好

模型对比：

模型	参数量	开源	中文	视频	VLN 适用性
GPT-4V	~1T?	否	是	是	高
LLaVA-1.6	7-34B	是	一般	否	高
Qwen-VL	7-72B	是	优秀	是	高
InternVL	2-76B	是	是	是	高
CogVLM	17B	是	是	否	中

---

三、VLM 在 VLN 中的应用方式

3.1 直接决策模式

VLM 直接输出导航动作：

Prompt 设计：

You are a navigation agent. Given the current panoramic view and instruction,
select the best navigation action.

[Instruction]
{instruction}

[Available Actions]
1. Move forward to the hallway
2. Turn left towards the door
3. Turn right towards the window
4. Stop - goal reached

[Your Task]
Analyze the image, understand the instruction, and select the most appropriate
action. Explain your reasoning briefly.

多视角输入：

def vlm_navigate_panorama(views, instruction, action_candidates):
    """
    views: 多个视角的图像列表
    instruction: 导航指令
    action_candidates: 候选动作列表
    """
    # 构建多图 prompt
    prompt = f"""
    I'm navigating based on: "{instruction}"

    I can see multiple directions:
    - View 1 (Front): [Image 1]
    - View 2 (Left): [Image 2]
    - View 3 (Right): [Image 3]
    - View 4 (Back): [Image 4]

    Available actions:
    {format_actions(action_candidates)}

    Which direction should I go and why?
    """

    response = vlm.generate(prompt, images=views)
    return parse_action(response)

3.2 场景描述模式

VLM 生成场景描述，辅助决策：

描述生成 Prompt：

Describe this navigation scene in detail. Include:
1. Visible objects and their locations (left, center, right, near, far)
2. Possible paths and directions
3. Any landmarks or distinctive features
4. Spatial layout estimation

Be concise but comprehensive. Focus on navigation-relevant information.

示例输出：

Scene Description:
- Location: Indoor hallway
- Objects:
  - Door (wooden, closed) - right side, 3m away
  - Painting (landscape) - left wall
  - Plant (potted) - left corner, near
  - Window - end of hallway, far
- Paths:
  - Hallway continues forward (~10m)
  - Right: Door leads to unknown room
  - Left: No passage
- Landmarks: Red carpet on floor, numbered door (102)
- Layout: Narrow hallway, approximately 2m wide

3.3 问答交互模式

通过问答获取导航相关信息：

def qa_navigation(vlm, image, instruction):
    """问答式导航决策"""

    questions = [
        "What objects can you see in this image?",
        f"Based on the instruction '{instruction}', what landmark should I look for?",
        "Which direction has the most relevant features?",
        "Is the goal visible in this image?",
        "What obstacles or barriers can you see?"
    ]

    answers = {}
    for q in questions:
        answers[q] = vlm.ask(image, q)

    # 基于答案做决策
    decision_prompt = f"""
    Based on the following analysis:
    {format_qa(answers)}

    Instruction: {instruction}

    What action should I take?
    """

    action = vlm.generate(decision_prompt, image)
    return action

3.4 对比评估模式

VLM 评估多个候选视角：

def comparative_navigation(vlm, candidate_views, instruction):
    """对比式导航决策"""

    prompt = f"""
    I need to follow this instruction: "{instruction}"

    I have {len(candidate_views)} possible directions to go.
    Please analyze each view and tell me which one best matches the instruction.

    Rate each direction from 1-10 based on:
    - Relevance to instruction
    - Presence of mentioned landmarks
    - Progress towards goal
    """

    for i, view in enumerate(candidate_views):
        prompt += f"\n\nDirection {i+1}: [Image {i+1}]"

    response = vlm.generate(prompt, images=candidate_views)
    scores = parse_scores(response)

    return candidate_views[argmax(scores)]

---

四、代表性 VLM-VLN 方法

4.1 NaviLLM（2024）

NaviLLM 是专为具身导航设计的视觉语言模型。

架构特点：

• 统一的具身导航框架
• 支持多种导航任务
• Schema-based 指令格式

任务统一：

[Task Schema]
Task Type: Vision-Language Navigation
Environment: Indoor
Input: Instruction + Visual Observations
Output: Action Sequence

[Specific Instance]
Instruction: "Go to the kitchen and find the refrigerator"
Current Observation: [Image]
Action Space: [forward, left, right, stop]

训练策略：

1. 多任务预训练
2. 导航特定微调
3. 指令调优

4.2 VLN-Video（2024）

VLN-Video 利用 VLM 的视频理解能力处理导航历史。

核心思想：

将导航历史表示为视频序列，利用 VLM 的时序理解能力。

实现：

def video_vlm_navigate(observation_history, instruction, vlm):
    """
    将历史观测构建为视频，输入 VLM
    """
    # 构建视频
    video_frames = [obs['image'] for obs in observation_history]

    prompt = f"""
    You are navigating in an indoor environment.
    The video shows your navigation history from start to current position.

    Instruction: {instruction}

    Based on:
    1. What you've seen in the navigation history
    2. The current view (last frame)
    3. The instruction

    What should be your next action?
    """

    response = vlm.generate_from_video(video_frames, prompt)
    return parse_action(response)

4.3 MapGPT（2024）

MapGPT 结合 VLM 和认知地图进行导航。

方法：

1. VLM 描述每个观测
2. 构建认知地图（文本形式）
3. 基于地图和指令决策

认知地图构建：

class CognitiveMap:
    def __init__(self):
        self.nodes = {}  # 位置节点
        self.edges = {}  # 连接关系
        self.descriptions = {}  # 场景描述

    def add_observation(self, position, observation, vlm):
        # VLM 生成场景描述
        description = vlm.describe(observation)
        self.descriptions[position] = description

        # 提取地标
        landmarks = vlm.extract_landmarks(observation)
        self.nodes[position] = landmarks

    def to_text(self):
        """将地图转换为文本描述"""
        text = "Cognitive Map:\n"
        for pos, desc in self.descriptions.items():
            text += f"- Location {pos}: {desc}\n"
        return text

导航决策：

def mapgpt_navigate(cognitive_map, current_obs, instruction, vlm):
    map_text = cognitive_map.to_text()

    prompt = f"""
    {map_text}

    Current observation: [Image]
    Instruction: {instruction}

    Based on the cognitive map and current observation,
    where should I go next?
    """

    response = vlm.generate(prompt, images=[current_obs])
    return response

4.4 EmbodiedGPT（2024）

EmbodiedGPT 是面向具身智能的多模态模型。

特点：

• 端到端具身规划
• 支持机器人控制
• 多任务泛化

规划生成：

Input:
- Task: Navigate to the red chair
- Scene: [Panoramic Image]

Output:
1. I can see a living room with a sofa on the left
2. There's a red chair visible in the right corner
3. Plan:
   - Turn right (45 degrees)
   - Move forward (2 steps)
   - Adjust heading towards the chair
   - Approach the red chair
   - Stop when within 1 meter

---

五、VLM 能力分析

5.1 场景理解能力

测试维度：

能力	测试内容	GPT-4V	LLaVA	Qwen-VL
物体识别	识别常见物体	优秀	良好	良好
空间关系	左右、远近判断	良好	中等	良好
场景类型	识别房间类型	优秀	良好	优秀
细节感知	小物体、文字	优秀	中等	良好
深度估计	距离判断	中等	较弱	中等

场景理解测试：

def test_scene_understanding(vlm, test_images):
    questions = [
        "What type of room is this?",
        "List all visible objects",
        "Describe the spatial layout",
        "What is on the left/right?",
        "Estimate the distance to the nearest object"
    ]

    results = []
    for img in test_images:
        img_results = {}
        for q in questions:
            answer = vlm.ask(img, q)
            # 与 ground truth 比较
            score = evaluate_answer(answer, ground_truth[img][q])
            img_results[q] = score
        results.append(img_results)

    return aggregate_results(results)

5.2 指令理解能力

测试类型：

指令类型	示例	难度
简单动作	“Go forward”	低
地标参照	“Go to the door”	中
相对方向	“Turn left at the plant”	中
复合指令	“Pass the stairs, turn right, enter the bedroom”	高
条件指令	“Go until you see a red sign”	高

理解能力评估：

def test_instruction_understanding(vlm, test_cases):
    """
    test_cases: [(image, instruction, expected_parsing), ...]
    """
    results = []

    for img, instruction, expected in test_cases:
        prompt = f"""
        Parse the navigation instruction: "{instruction}"

        Extract:
        1. Actions (move, turn, stop)
        2. Landmarks (objects to look for)
        3. Spatial relations (at, near, past)
        4. Conditions (until, when)

        Format as JSON.
        """

        response = vlm.generate(prompt, images=[img])
        parsing = json.loads(response)

        score = compare_parsing(parsing, expected)
        results.append(score)

    return np.mean(results)

5.3 推理能力

推理类型：

推理类型	描述	示例
空间推理	基于观测推断位置关系	“厨房通常在餐厅旁边”
常识推理	利用世界知识	“卧室里会有床”
时序推理	基于历史推断	“我来过这里”
反事实推理	评估不同选择	“如果走这边会怎样”

推理能力测试：

[Test Case: Spatial Reasoning]
Image: Kitchen entrance visible
Question: If I'm looking for a dining table, which direction should I explore?

Expected reasoning:
- Dining areas are typically adjacent to kitchens
- The kitchen is visible ahead
- Dining table is likely in or near the kitchen area
- Should move towards the kitchen

5.4 多轮对话能力

对话式导航：

def conversational_navigation(vlm, env, instruction):
    """多轮对话式导航"""
    history = []

    while not done:
        observation = env.get_observation()

        # 构建对话
        if len(history) == 0:
            query = f"I need to: {instruction}. What do you see and suggest?"
        else:
            query = "I moved as suggested. What's the current situation?"

        response = vlm.chat(observation, query, history)
        history.append((query, response))

        # 提取动作
        action = extract_action(response)

        if action == "clarify":
            # 需要澄清
            user_input = get_user_clarification()
            history.append((user_input, ""))
        else:
            env.step(action)
            if action == "stop":
                done = True

---

六、优化策略

6.1 图像预处理

分辨率优化：

def prepare_image_for_vlm(image, target_size=336, mode='resize'):
    """
    为 VLM 准备图像

    mode:
    - resize: 直接缩放
    - pad: 保持比例，填充
    - tile: 分块处理高分辨率
    """
    if mode == 'resize':
        return image.resize((target_size, target_size))

    elif mode == 'pad':
        # 保持纵横比
        ratio = min(target_size / image.width, target_size / image.height)
        new_size = (int(image.width * ratio), int(image.height * ratio))
        resized = image.resize(new_size)

        # 填充
        padded = Image.new('RGB', (target_size, target_size), (128, 128, 128))
        offset = ((target_size - new_size[0]) // 2, (target_size - new_size[1]) // 2)
        padded.paste(resized, offset)
        return padded

    elif mode == 'tile':
        # 分块处理
        tiles = split_image(image, tile_size=target_size)
        return tiles

全景图处理：

def process_panorama(panorama, num_views=12):
    """
    将全景图分割为多个视角
    """
    width = panorama.width
    view_width = width // num_views

    views = []
    for i in range(num_views):
        left = i * view_width
        right = (i + 1) * view_width
        view = panorama.crop((left, 0, right, panorama.height))
        views.append(view)

    return views

6.2 Prompt 优化

结构化 Prompt：

def build_vlm_nav_prompt(instruction, action_space, history=None):
    prompt = """
=== Navigation Task ===
You are a navigation agent in an indoor environment.

=== Instruction ===
{instruction}

=== Current Observation ===
[Attached Image]

=== Available Actions ===
{actions}

=== Navigation History ===
{history}

=== Your Task ===
1. Analyze the current observation
2. Relate it to the instruction
3. Select the best action
4. Explain your reasoning

=== Response Format ===
Observation Analysis: <what you see>
Instruction Matching: <how it relates to instruction>
Selected Action: <action number>
Reasoning: <brief explanation>
"""

    return prompt.format(
        instruction=instruction,
        actions=format_actions(action_space),
        history=format_history(history) if history else "Starting navigation"
    )

自适应 Prompt：

def adaptive_prompt(observation, instruction, confidence, stuck_count):
    """根据情况调整 prompt"""

    base_prompt = build_base_prompt(observation, instruction)

    # 低置信度时要求更详细分析
    if confidence < 0.5:
        base_prompt += "\nPlease analyze more carefully as this is a difficult decision."

    # 卡住时鼓励探索
    if stuck_count > 3:
        base_prompt += "\nYou seem to be stuck. Consider exploring a different direction."

    # 接近目标时关注细节
    if near_goal_estimate(observation, instruction):
        base_prompt += "\nYou might be close to the goal. Look for specific landmarks."

    return base_prompt

6.3 输出解析

鲁棒的动作解析：

import re

def parse_vlm_action(response, valid_actions):
    """
    从 VLM 响应中解析动作
    """
    # 方法1：查找明确的动作声明
    action_patterns = [
        r"Selected Action:\s*(\d+)",
        r"I choose action\s*(\d+)",
        r"Action:\s*(\d+)",
        r"I will\s+(move forward|turn left|turn right|stop)"
    ]

    for pattern in action_patterns:
        match = re.search(pattern, response, re.IGNORECASE)
        if match:
            return normalize_action(match.group(1), valid_actions)

    # 方法2：基于关键词匹配
    action_keywords = {
        'forward': ['forward', 'ahead', 'straight'],
        'left': ['left', 'leftward'],
        'right': ['right', 'rightward'],
        'stop': ['stop', 'arrived', 'reached', 'goal']
    }

    response_lower = response.lower()
    for action, keywords in action_keywords.items():
        if any(kw in response_lower for kw in keywords):
            if action in valid_actions:
                return action

    # 方法3：使用另一个模型解析
    return llm_parse_action(response, valid_actions)

6.4 多模型集成

集成策略：

def ensemble_vlm_navigation(vlms, observation, instruction, action_space):
    """
    多个 VLM 投票决策
    """
    votes = {}

    for vlm_name, vlm in vlms.items():
        response = vlm.generate(observation, instruction)
        action = parse_action(response)

        if action not in votes:
            votes[action] = []
        votes[action].append({
            'vlm': vlm_name,
            'confidence': extract_confidence(response),
            'reasoning': extract_reasoning(response)
        })

    # 加权投票
    action_scores = {}
    for action, vote_list in votes.items():
        # 考虑投票数量和置信度
        score = sum(v['confidence'] for v in vote_list)
        action_scores[action] = score

    best_action = max(action_scores, key=action_scores.get)
    return best_action, votes[best_action]

---

七、实验评估

7.1 基准测试结果

R2R 数据集性能：

方法	VLM	SR	SPL	推理时间
传统方法	-	55%	50%	快
GPT-4V (零样本)	GPT-4V	48%	42%	慢
GPT-4V (少样本)	GPT-4V	58%	51%	慢
LLaVA-1.6	LLaVA	45%	40%	中
Qwen-VL	Qwen-VL	47%	42%	中
NaviLLM	专用VLM	62%	56%	中
混合方法	多模型	65%	58%	中

7.2 消融实验

图像分辨率影响：

分辨率	SR	细节识别
224×224	42%	差
336×336	48%	中
672×672	52%	良好
动态分辨率	55%	优秀

历史信息影响：

历史长度	SR	稳定性
无历史	38%	低
最近3步	48%	中
完整历史	52%	高
选择性历史	54%	高

7.3 失败案例分析

常见失败模式：

失败类型	比例	原因
方向混淆	25%	左右判断错误
目标误识	20%	类似物体混淆
过早停止	18%	错误判断到达
循环徘徊	15%	无法做出决策
指令误解	12%	复杂指令理解错误
其他	10%	各种边缘情况

改进方向：

失败案例：方向混淆
场景：指令要求"转左"，但 VLM 选择了右转

分析：
- 图像中左右不明确
- VLM 可能受到图像方向影响
- 缺乏明确的方向参照

改进：
1. 在图像上标注方向
2. 使用多视角确认
3. 增加方向相关的 prompt 引导

---

八、局限性与挑战

8.1 感知局限

深度感知不足：

VLM 从单张图像难以准确估计距离。

解决方案：

• 结合深度传感器
• 多视角几何推理
• 显式深度估计模块

8.2 推理延迟

实时性问题：

模型	推理时间/步	适用场景
GPT-4V	2-5秒	离线规划
LLaVA-7B	0.5-1秒	近实时
量化模型	0.1-0.3秒	实时

8.3 幻觉与可靠性

问题：VLM 可能描述图像中不存在的物体。

缓解策略：

def verify_vlm_perception(vlm_description, detection_results):
    """
    使用目标检测验证 VLM 描述
    """
    mentioned_objects = extract_objects(vlm_description)
    detected_objects = set(detection_results.keys())

    hallucinated = mentioned_objects - detected_objects
    missed = detected_objects - mentioned_objects

    reliability_score = len(mentioned_objects & detected_objects) / len(mentioned_objects)

    return {
        'hallucinated': hallucinated,
        'missed': missed,
        'reliability': reliability_score
    }

8.4 泛化挑战

领域迁移：

训练域	测试域	性能下降
室内	室内	0% (基准)
室内	室外	-25%
仿真	真实	-20%
白天	夜间	-30%

---

九、小结

本文系统介绍了视觉语言模型在 VLN 任务中的应用：

1. 主流 VLM：

   • GPT-4V：最强能力，API 访问
   • LLaVA：开源灵活，易于定制
   • Qwen-VL：中文友好，多图支持
   • InternVL/CogVLM：各有特色

2. 应用方式：

   • 直接决策：端到端动作输出
   • 场景描述：生成文本描述
   • 问答交互：逐步获取信息
   • 对比评估：候选方向评分

3. 代表性方法：

   • NaviLLM：具身导航专用
   • VLN-Video：视频理解
   • MapGPT：认知地图
   • EmbodiedGPT：具身智能

4. 能力评估：

   • 场景理解：良好
   • 指令解析：优秀
   • 空间推理：中等
   • 多轮对话：良好

5. 优化策略：

   • 图像预处理
   • Prompt 工程
   • 输出解析
   • 模型集成

6. 挑战与局限：

   • 深度感知不足
   • 推理延迟
   • 幻觉问题
   • 泛化困难

VLM 为 VLN 带来了统一的多模态理解能力，尤其在零样本泛化和复杂推理方面展现优势。在下一篇文章中，我们将讨论端到端与模块化架构的权衡，帮助读者理解如何设计实用的 VLN 系统。

---

参考文献

[1] OpenAI. GPT-4V(ision) System Card. 2023.

[2] Liu H, Li C, Wu Q, Lee Y J. Visual Instruction Tuning. NeurIPS, 2023.

[3] Bai J, et al. Qwen-VL: A Versatile Vision-Language Model. arXiv:2308.12966, 2023.

[4] Chen Z, et al. InternVL: Scaling up Vision Foundation Models and Aligning for Generic Visual-Linguistic Tasks. CVPR, 2024.

[5] Wang W, et al. CogVLM: Visual Expert for Pretrained Language Models. arXiv:2311.03079, 2023.

[6] Zheng K, et al. Towards Learning a Generalist Model for Embodied Navigation. CVPR, 2024.

---

下篇预告

下一篇文章《架构设计：端到端与模块化的权衡》将深入分析 VLN 系统的两种主要架构范式，讨论各自的优缺点、适用场景，以及如何在实际项目中做出合理的架构选择。