Versions (relevant - OpenSearch/Dashboard/Server OS/Browser):
2.19.1
Describe the issue:
I can not add a nested array of dictionaries to index. Result for each dictionary is shrinked to only the first key.
Example:
Initial data:
"all_documents": [
{"name": "name 1", "what_it_proves": "some proofs", "considered_by_court": true},
{"name": "name 2", "what_it_proves": "some proofs 2", "considered_by_court": true}]
After adding a doc,
GET /lawsuits-index/_doc/1
Results to:
"all_documents": [
{"name": "name 1"},
{"name": "name 2"}]
Why the rest keys and values are deleted?
Configuration:
Docker container with sample setup from here:
Relevant Logs or Screenshots:
INGESTION:
PUT /_ingest/pipeline/lawsuits-pipeline
{
"description": "An NLP ingest pipeline",
"processors": [
{
"text_embedding": {
"model_id": "NoBQUpYBM4rIdaEKP-bj",
"field_map": {
"court_decision": "passage_embedding"
}
}
}
]
}
INDEX CREATION:
PUT /lawsuits-index
{
"settings": {
"index.knn": true,
"default_pipeline": "lawsuits-pipeline"
},
"mappings": {
"properties": {
"judge_names": {
"type": "text"
},
"case_tags": {
"type": "text"
},
"claims": {
"type": "text"
},
"all_documents": {
"type": "nested",
"properties": {
"name": {
"type": "text"
},
"what_it_proves": {
"type": "text"
},
"considered_by_court" : {
"type": "boolean"
}
}
},
"key_documents": {
"type": "nested",
"properties": {
"name": {
"type": "text"
},
"rationale": {
"type": "text"
},
"explanation" : {
"type": "boolean"
}
}
},
"parties" :{
"type": "object"
},
"case_number": {
"type": "text"
},
"answer_type": {
"type": "text"
},
"court_name": {
"type": "text"
},
"court_decision": {
"type": "text"
},
"passage_embedding": {
"type": "knn_vector",
"dimension": 768,
"space_type": "l2"
}
}
}
}
INDEXING a DOC
PUT /lawsuits-index/_doc/1
{
"case_number": "А53-40279/24",
"answer_type": "case_data",
"court_name": "Арбитражный суд Ростовской области",
"judge_names": ["Кривоносовая О.В."],
"parties": {"plaintiff": ["Замалаев Павел Сергеевич"], "defendant": ["Отдел записи актов гражданского состояния Администрации города Новочеркасска Ростовской области"]},
"claims": ["признание недействительным ненормативного правового акта", "обязанность предоставить сведения"],
"court_decision": "Признать недействительным отказ Отдела ЗАГСа Администрации города Новочеркасска Ростовской области в представлении сведений конкурсному управляющему ООО «Гарантия» Замалаеву П.С., выраженный в письме от 19.07.2024 года № 58/723.",
"all_documents": [
{"name": "Решение Арбитражного суда города Москвы от 30.09.2021 по делу №А40-51398/20-70-88 Б", "what_it_proves": "ООО «Гарантия» признано несостоятельным (банкротом)", "considered_by_court": true},
{"name": "Определение Арбитражного суда города Москвы от 19.01.2023 по делу №А40-51398/20-70-88 Б", "what_it_proves": "Конкурсным управляющим назначен Замалаев Павел Сергеевич", "considered_by_court": true},
{"name": "Ответ Отдела ЗАГС г. Новочеркасска Ростовской области № 58/723 от 19.07.2024 года", "what_it_proves": "Отказ в представлении сведений конкурсному управляющему ООО «Гарантия» Замалаеву П.С.", "considered_by_court": true},
{"name": "Закон о банкротстве (Федеральный закон от 26.10.2002 № 127-ФЗ)", "what_it_proves": "Право арбитражного управляющего на получение информации", "considered_by_court": true}
],
"key_documents":[
{"name": "Ответ Отдела ЗАГС г. Новочеркасска Ростовской области № 58/723 от 19.07.2024 года", "rationale": "Отказ в представлении сведений конкурсному управляющему ООО «Гарантия» Замалаеву П.С.", "explanation": "Повлияло на решение суда"},
{"name": "Закон о банкротстве (Федеральный закон от 26.10.2002 № 127-ФЗ)", "rationale": "Право арбитражного управляющего на получение информации", "explanation": "Обоснование решения суда"}
],
"claim_tags": ["признание недействительным ненормативного правового акта", "обязанность предоставить сведения"],
"case_tags": ["банкротство", "конкурсное производство"]
}
SEARCH RESULT (embeddings skipped)
{
"_index": "lawsuits-index",
"_id": "1",
"_version": 1,
"_seq_no": 0,
"_primary_term": 1,
"found": true,
"_source": {
"judge_names": [
"Кривоносовая О.В."
],
"key_documents": [
{
"name": "Ответ Отдела ЗАГС г. Новочеркасска Ростовской области № 58/723 от 19.07.2024 года"
},
{
"name": "Закон о банкротстве (Федеральный закон от 26.10.2002 № 127-ФЗ)"
}
],
"passage_embedding": [ ... ],
"all_documents": [
{
"name": "Решение Арбитражного суда города Москвы от 30.09.2021 по делу №А40-51398/20-70-88 Б"
},
{
"name": "Определение Арбитражного суда города Москвы от 19.01.2023 по делу №А40-51398/20-70-88 Б"
},
{
"name": "Ответ Отдела ЗАГС г. Новочеркасска Ростовской области № 58/723 от 19.07.2024 года"
},
{
"name": "Закон о банкротстве (Федеральный закон от 26.10.2002 № 127-ФЗ)"
}
],
"claim_tags": [
"признание недействительным ненормативного правового акта",
"обязанность предоставить сведения"
],
"court_decision": "Признать недействительным отказ Отдела ЗАГСа Администрации города Новочеркасска Ростовской области в представлении сведений конкурсному управляющему ООО «Гарантия» Замалаеву П.С., выраженный в письме от 19.07.2024 года № 58/723.",
"answer_type": "case_data",
"case_tags": [
"банкротство",
"конкурсное производство"
],
"parties": {
"plaintiff": [
"Замалаев Павел Сергеевич"
],
"defendant": [
"Отдел записи актов гражданского состояния Администрации города Новочеркасска Ростовской области"
]
},
"claims": [
"признание недействительным ненормативного правового акта",
"обязанность предоставить сведения"
],
"case_number": "А53-40279/24",
"court_name": "Арбитражный суд Ростовской области"
}
}